«Рейтинги университетов составляются в интересах абитуриентов»

Интервью с генеральным директором «РАЭКС-Аналитика», заместителем председателя общественного совета при Минобрнауки РФ Дмитрием Гришанковым.
Место вуза в образовательном рейтинге важно для любого руководителя: ректора, проректора, для каждого, кто в университете отвечает за стратегическое развитие и качество учебного процесса.
В условиях конкуренции вузов за абитуриентов позиция в рейтинге может быть использована как инструмент пиара; в сотрудничестве с бизнесом и индустрией она позволяет чувствовать себя увереннее. Высокий показатель может быть важным аргументом университета перед учредителем, властью.
О важности институции рейтингования в высшем образовании мы поговорили с Дмитрием Гришанковым, генеральным директором «РАЭКС-Аналитика» — рейтингового агентства RAEX, составителя целого ряда образовательных рейтингов, включая «RAEX-100: лучшие вузы России», «Рейтинг вузов стран БРИКС» и «Московский международный рейтинг „Три миссии университета“».

«Рейтинги возникают там и тогда, когда возникает конкуренция и когда нужно доказать, кто ты есть».
Дмитрий Эдуардович, рады начать наш пятый сезон интервью с Вами. Вопросы, которые мы для Вас подготовили, — уверены — волнуют каждого университетского управленца, потому что рейтингование напрямую связано с качеством образования, с позиционированием вуза и другими очень важными для ректора задачами. Во всем этом у рейтингового агентства RAEX накоплен огромный опыт: Ваша команда работает с 1995 года.

— Надо сказать, что в то время всех интересовали рейтинги компаний, банков, страховых организаций. Вопрос о том, что давайте-ка упорядочим университеты, тогда никто не задавал. Впервые такая потребность возникла в полной мере в 2003 году, когда вышел Шанхайский рейтинг (Академический рейтинг университетов мира от Шанхайского университета Цзяо Тун. — Прим. ред.). После этого поднялась волна обсуждений о том, что нам тоже нужно сделать собственный рейтинг вузов.

Мы как рейтинговое агентство тогда пришли в совет ректоров и предложили составить такой рейтинг. Но разговора не получилось. Оказалось, что университетам это, вроде бы, и надо, а вроде бы, и не очень, и вопрос поставили на паузу. А спустя лет 7 или 8 представители ректорского сообщества сами пришли к нам с просьбой: сделайте, пожалуйста, вузовский рейтинг, — очень нужно! Мы спросили: а что изменилось-то? Несколько лет назад это было не нужно. Выяснилось, что как раз на эти годы пришелся очередной провал в демографии, и вузы впервые столкнулись с проблемой набора абитуриентов, начали всерьез конкурировать друг с другом за поступающих.

Возник вопрос: а как конкурировать? Как доказать, что мы — лучше других? И вот тут рейтинг стали воспринимать как инструмент пиара, как объективное независимое мнение, которое можно использовать в стратегии конкурентной борьбы. Рейтинги возникают там и тогда, когда возникает конкуренция и когда нужно доказать, кто ты есть.
— Методология составления рейтингов за эти годы неоднократно корректировалась. Какие изменения Вы считаете наиболее существенными или даже поворотными?

— Первая важная веха — это появление Шанхайского рейтинга, с которого, можно сказать, началась «мода» на образовательные рейтинги. Вторая веха — это 2012 год, когда мы сделали рейтинг лучших российских вузов, сегодня известный как «RAEX-100: лучшие вузы России». При его составлении мы, как и все наши международные коллеги, смотрели на показатели, которые оценивают уровень образования и научной работы. Позже к ним добавился блок показателей, связанный с востребованностью выпускников вузов, с мнением о них работодателей.

Дальнейшие события развивались так, что в 2014 году вышло поручение Президента о создании собственного международного рейтинга. Мы несколько раз собирались у президента Российского союза ректоров Виктора Антоновича Садовничего, и он тогда сказал коллегам, что нет смысла делать еще один рейтинг, вроде Рейтинга университетов мира QS, Times Higher Education (далее — THE) или U.S. News, — результаты российских вузов в нем будут такими же, как и в зарубежных рейтингах.

После долгих споров мы пришли к мнению, что за основу нашего рейтинга нужно взять три миссии университета: обучение, научное исследование и взаимодействие с обществом. Это был по-настоящему поворотный момент, который наши международные коллеги оценили не сразу. В 2017 году мне говорили, что мы используем совершенно неуместные для образования показатели, вроде популярности университета в соцсетях. А теперь уже ни один серьезный составитель рейтингов не обходит тему общества и включает ее либо как отдельный продукт, вроде импакт-рэнкинга у THE, либо вообще делает отдельный рейтинг, как у QS. В этом смысле мы развернули международную повестку в области рейтингования.

Наш свежий штрих — это рейтинг вузов стран БРИКС, который мы сделали в 2024 году. Задача была создать рейтинг, который будут признавать во всех государствах-участниках этого объединения. Весь прошлый год мы вели переговоры с официальными представителями всех стран БРИКС, под эгидой и при участии нашего Минобра, и все стороны заявили, что такой рейтинг нужен и существующие рейтинги их не устраивают, потому что ни QS, ни THE, ни U.S. News не отражают ни специфики стран БРИКС, ни целей их развития.

Мы провели совместные исследования по рейтинговым практикам в этих странах, сформулировали общие принципы рейтинга БРИКС и дальше на основе нашего рейтинга «Три миссии университета» выпустили пилотный проект.
Как в таком международном рейтинге учесть особенности национальных систем высшего образования? К примеру, ЕГЭ есть только в России, в других странах БРИКС такой формы государственной итоговой аттестации нет, а значит, это не может быть общим показателем при составлении рейтинга.

— Нам предстоит договориться о стандарте данных. Думаю, в течение года мы это сделаем.

В большинстве существующих глобальных рейтингов университетов есть две группы показателей: наукометрия и опросные показатели. Согласитесь, этого недостаточно для того, чтобы оценивать качество образования в том или ином университете. Это равносильно тому, как если бы в футболе победа засчитывалась не по количеству забитых голов, а по количеству дипломов у тренеров, и побеждала бы команда с самым дипломированным наставником. Примерно так же выглядит оценивание университетов только на основе научных достижений их преподавателей, исследователей.

Мы постоянно ведем поиск новых показателей, метрик. С трудом, но удается. Например, такой критерий, как участие студентов в международных олимпиадах. Еще до 2022 года американские коллеги нам говорили, что это некорректный показатель для международных рейтингов, потому что в англосаксонских странах нет традиции участвовать в олимпиадах, это соревнования для России, Китая. Мы провели исследования и выяснили, что на самом деле и студенты Стэнфорда, и Гарварда, и Оксфорда участвуют в олимпиадах, но побеждают в них другие университеты.
«Рейтинг на самом деле волнует всех: и тех, кто находится на первом месте, и тех, кто на последнем».
Вернемся к той истории, когда, поняв, что конкурентная борьба между вузами неминуема, к вам обратилась группа ректоров с просьбой сделать рейтинг, чтобы использовать его как один из инструментов оценки эффективности работы. Скорее всего, это были руководители университетов не из первой десятки ведущих вузов страны и не из последней, а из тех вузов, у которых были сильны амбиции побороться за свои позиции. Или все было иначе?

— Рейтинг на самом деле волнует всех: и тех, кто находится на первом месте, и тех, кто на последнем. На одном из форумов у нас по этому поводу была дискуссия, где многие представители вузов справедливо отмечали, что вузы из топ-10 в одном рейтинге незначительно поменяются друг с другом позициями и в другом рейтинге. А вот небольшой региональный вуз никогда не будет первым ни в одном крупном рейтинге, но это не значит, что туда не хотят поступать абитуриенты.
«Нужна система рейтингов, которая позволяет каждому вузу позиционироваться в той нише, которая соответствует его предназначению».
На мой взгляд, у каждого университета или группы вузов есть своя миссия, и под каждую из них нужен отдельный рейтинг: региональный или, допустим, предметный. Нужна система рейтингов, которая позволяет каждому вузу позиционироваться в той нише, которая соответствует его предназначению.
— Могут ли участники рейтингов повлиять на методику их составления? У Вас были случаи, когда предложения от вузов приводили к реальным корректировкам критериев?

— Представитель любого университета может обратиться к нам на горячую линию с предложением. Это должно быть не анонимное сообщение, чтобы мы понимали, от кого поступил запрос, и это должно быть не общее пожелание вроде просим учесть интеллектуальный уровень выпускников. Мы с радостью, но как его измерить? Не все можно измерить в принципе, а то, что можно, не всегда доступно для внешнего изучения. Важно сформулировать предложение конкретно: просим снизить вес или убрать какой-то критерий, или добавить такой-то новый критерий (с указанием, где и как можно получить качественные, объективные и, главное, измеримые данные для его измерения). Ну и, конечно, аргументация предлагаемых новаций.

Кроме того, в конце года мы приглашаем на очную встречу представителей порядка 20−30 вузов, и там иногда случаются многочасовые баталии и споры по поводу того, какие критерии нужно добавить к рейтингу и как можно скорректировать методику. Окончательное решение остается за нами, но мы обязательно взвешиваем все доводы за и против, чтобы наша методика развивалась и всегда была адекватна текущему положению дел в образовании.
— А кто участвует в этих встречах со стороны вузов? Кто чаще всего курирует рейтинговый вопрос в университетах?

— Рейтинги относятся к тем элементам, из которых складывается понимание, в какую сторону идет стратегическое развитие университета. Сама по себе позиция в рейтинге не может быть самоцелью, но она подталкивает вуз двигаться вперед в соответствии со своей миссией. И это вопрос ректора, за ним последнее слово. Но ректор не может заниматься рейтингами постоянно, в ручном режиме, поэтому как минимум в половине вузов эту задачу поручают проректору.

Я занимался рейтингами во многих сферах: финансы, устойчивое развитие, некоммерческий сектор, и могу сказать, что везде, где рейтинги становятся значимыми, то есть потребители или государство начинают на них ориентироваться, там в организациях всегда создают специальное аналитическое подразделение, которое отвечает за этот вопрос. Специалисты в таких отделах постоянно отслеживают информацию, которая может влиять на оценку, разрабатывают для руководства стратегии, что нужно делать, чтобы подняться выше в рейтинге. В некоторых вузах тоже есть такие подразделения под кураторством проректора.
— Вы сказали, что тщательно отбираете предлагаемые критерии, взвешивая все аргументы. А как Вы определяете, какой показатель на самом деле влияет на качество образования?

— Мы многократно получали от вузов предложения отбирать такие критерии, которыми бы ректор мог четко управлять, каждым по отдельности. Но не все можно измерить. В науке есть такое понятие, как «ненаблюдаемая переменная» — ее можно использовать в математической модели, но измерить ее напрямую невозможно, только опосредованно. Так же и в рейтингах — многие критерии носят косвенный характер.

Приведу пример. Мы первыми при составлении рейтинга стали использовать такой критерий, как количество статей про выпускников вузов в «Википедии», и получили за это массу критики и у нас, и за рубежом. Нам говорили: разве можно в достижения вуза записывать статью в «Википедии»?! Там же кто угодно может написать. После этого мы провели исследование, сравнили рейтинг, который сформировался по количеству статей в «Википедии», с рейтингом знаменитых политиков, бизнесменов, ученых, спортсменов в разных странах и выявили в них корреляцию на уровне 95−99%. Так мы аргументировали, что «Википедия» действительно косвенно отражает успешность выпускников университетов, потому что в статьях о выдающихся людях обычно указана их альма-матер. Сейчас уже мало кто спорит с этим критерием, за исключением людей, которые впервые сталкиваются с рейтингованием вузов.

— Как Вы проверяете достоверность и надежность сведений, поступающих от участников рейтинга? Какие механизмы позволяют минимизировать риски ошибок или искажений в этих данных?

— Искажения присущи любой области, где мы опираемся на данные, собранные из анкет. Такие сведения всегда требуют дополнительной проверки и верификации. Мой коллега из зарубежного рейтингового агентства как-то признался: «Я вам завидую, потому что большинство критериев вы берете из независимых источников». Это могут быть данные статистики, замеры интернет-активности, наукометрия. Мы стараемся работать с той информацией, которая не просто была передана нам вузами, она либо направлялась министерству в качестве официальной отчетности, либо была обнародована в виде публичной отчетности. Обманывать в публичном отчете, а тем более в официальном, крайне рискованно для любой организации.

Кроме того, мы сопоставляем полученные сведения с данными прошлых лет. В результате вся информация проходит многослойную систему верификации. Это не значит, что мы полностью избавлены от ошибок, но их риск минимален.
«Рейтинг — это просто математическая модель нашего представления о добре и зле».
— Часто ли случаются неожиданные результаты, когда, например, университет совершил резкий скачок вверх в рейтинге?

— Резкие перемещения в топ-10 и даже в топ-50 крайне редки. Обычно ротации там случаются на одну-две позиции. Это объясняется тем, что образование в целом консервативно, движения в нем происходят довольно медленно, и строительство научной школы в любом университете занимает десятилетия.
А вот вуз на невысоких местах в рейтинге, если там начинают внимательнее относиться к своей статистике, аккуратнее готовить отчетность, вполне может подняться на значимое количество позиций вверх. Мне известен случай, когда вуз вырвался с дальних позиций в рейтинге благодаря нескольким опубликованным научным статьям по определенной теме, и именно это сыграло ключевую роль в ротации, потому как чем дальше от начала рейтинга, тем выше погрешность.
Рейтинг — это просто математическая модель нашего представления о добре и зле. Как любая модель, он может быть более точным и менее точным, в зависимости от количества и качества доступных данных.
«У рейтинга вузов главный интересант — это абитуриент, именно в его интересах мы работаем и всегда выбираем только те критерии, что отвечают интересам поступающих».
— Дмитрий Эдуардович, мы с Вами начали разговор с того, что нахождение в рейтинге, тем более на топовых местах, ценно для любого университета. На какую аудиторию может реально повлиять позиция вуза в рейтинге?

— Я мечтаю написать книгу про рейтинги, потому что за годы работы накопилось много соображений по поводу тонкостей рейтингового дела. Так вот ваш вопрос в ней будет, наверное, одним из тех, что волнует каждого, кто хочет глубоко погрузиться в эту тему.

Каждый рейтинг должен отвечать на конкретный рейтинговый вопрос, иначе он будет строиться по принципу «мы за все хорошее и против всего плохого». И второе — рейтинг должен иметь конкретного интересанта — того, в чьих интересах он составляется. Например, кредитный рейтинг отвечает на вопрос, с какой вероятностью тот или иной банк или компания разорится и не вернет деньги, и составляется он в интересах инвестора — того, кто дает деньги.

У рейтинга вузов главный интересант — это абитуриент, именно в его интересах мы работаем и всегда выбираем только те критерии, что отвечают интересам поступающих. Абитуриенту этот критерий важен? Если нет, мы такой критерий не рассматриваем.
— Кроме рейтинга RAEX, в России есть и другие образовательные рейтинги. Может ли увеличение их количества девальвировать их значимость? Или чем больше рейтингов, тем лучше?

С одной стороны, да — чем больше рейтингов, тем лучше, потому что так растет объективность оценивания. С другой стороны, у составителей рейтингов должна быть возможность себя финансировать, потому что сделать качественный рейтинг достаточно затратно.

Возникает вопрос: как понять, что рейтинг подготавливается качественно? В прошедшем году в рамках постоянно действующего семинара БРИКС по рейтингам мы обсуждали эту тему и выработали 7 базовых рейтинговых принципов. Это и обязательства, которые берет на себя автор, — как минимум он не должен дискриминировать отдельных участников рейтинга или внезапно исчезнуть, игнорируя интересы пользователей. И минимизация конфликтов интересов, включая источники финансирования и наличия какого-либо заказчика, который может повлиять на расстановку мест. Это должна быть абсолютно прозрачная система, иначе рейтинг будет либо некачественным, либо ангажированным, и проверять ее должен аудитор. Сейчас его роль у нас выполняет Российский союз ректоров, совместно с Российской академией наук и Российской академией образования у них есть объединенная рабочая группа.

Вопрос, какому рейтингу следует доверять, а какому нет, невозможно возложить на плечи абитуриентов и их родителей. На мой взгляд, канву правил поведения задают те самые принципы рейтинга вузов стран БРИКС. Мы разработали их, во многом основываясь на рейтинговых принципах из финансовой сферы, где они прошли проверку и отработку не один десяток лет. Соблюдение этих принципов сильно сужает возможность недобросовестного поведения при составлении рейтингов.
«По мере того, как государственные органы начнут все больше использовать рейтинги для принятия особенно важных, судьбоносных решений, строже будет становиться и спрос с тех, кто их делает».
— Много ли у нас так называемых псевдорейтингов, тех самых — некачественных, необъективных, а может, и где-то ангажированных, способных ввести в заблуждение в том числе абитуриентов и их родителей? Вообще — проблема ли это, или нет?

— Проблема есть, но ситуация не настолько критична. Да, наличие некачественных рейтингов мешает отрасли, особенно когда непрофессионально выполненные проекты прикрываются громкими именами.

Думаю, с развитием отрасли выстроится и некая система контроля рейтингов, как это произошло в финансовой сфере. Общественная или государственная — не знаю. Пока на уровне БРИКС мы выстраиваем общественную систему, но по мере того, как государственные органы начнут все больше использовать рейтинги для принятия особенно важных, судьбоносных решений, строже будет становиться и спрос с тех, кто их делает.

Должна быть некая стабильность в методике составления рейтингов и в правилах того, как она может меняться. Полагаю, что рано или поздно мы к этому придем. Когда? Не берусь прогнозировать. Может быть, через год, а может, через 30 лет.
Беседовали: Александр Никифоров, Екатерина Позднякова
Текст подготовила: Екатерина Позднякова

Материал подготовлен редакцией информационно-аналитического портала «Ректор говорит!». При копировании ссылка на портал «Ректор говорит!» обязательна.

[ Рассылка ]
Каждую неделю — новый материал

Подписывайтесь на рассылку, чтобы первыми узнать о ключевых изменениях в академической среде, сенсационных научных открытиях, образовательных трансформациях и опыте ведущих вузов.
Подписаться на рассылку
Подписывайтесь на рассылку, чтобы первыми получать актуальную информацию о высшем образовании от руководства учебных и научных организаций, экспертов в области высшего образования и представителей профильных министерств.