— Вы сказали, что тщательно отбираете предлагаемые критерии, взвешивая все аргументы. А как Вы определяете, какой показатель на самом деле влияет на качество образования?
— Мы многократно получали от вузов предложения отбирать такие критерии, которыми бы ректор мог четко управлять, каждым по отдельности. Но не все можно измерить. В науке есть такое понятие, как «ненаблюдаемая переменная» — ее можно использовать в математической модели, но измерить ее напрямую невозможно, только опосредованно. Так же и в рейтингах — многие критерии носят косвенный характер.
Приведу пример. Мы первыми при составлении рейтинга стали использовать такой критерий, как количество статей про выпускников вузов в «Википедии», и получили за это массу критики и у нас, и за рубежом. Нам говорили: разве можно в достижения вуза записывать статью в «Википедии»?! Там же кто угодно может написать. После этого мы провели исследование, сравнили рейтинг, который сформировался по количеству статей в «Википедии», с рейтингом знаменитых политиков, бизнесменов, ученых, спортсменов в разных странах и выявили в них корреляцию на уровне 95−99%. Так мы аргументировали, что «Википедия» действительно косвенно отражает успешность выпускников университетов, потому что в статьях о выдающихся людях обычно указана их альма-матер. Сейчас уже мало кто спорит с этим критерием, за исключением людей, которые впервые сталкиваются с рейтингованием вузов.
— Как Вы проверяете достоверность и надежность сведений, поступающих от участников рейтинга? Какие механизмы позволяют минимизировать риски ошибок или искажений в этих данных?
— Искажения присущи любой области, где мы опираемся на данные, собранные из анкет. Такие сведения всегда требуют дополнительной проверки и верификации. Мой коллега из зарубежного рейтингового агентства как-то признался: «Я вам завидую, потому что большинство критериев вы берете из независимых источников». Это могут быть данные статистики, замеры интернет-активности, наукометрия. Мы стараемся работать с той информацией, которая не просто была передана нам вузами, она либо направлялась министерству в качестве официальной отчетности, либо была обнародована в виде публичной отчетности. Обманывать в публичном отчете, а тем более в официальном, крайне рискованно для любой организации.
Кроме того, мы сопоставляем полученные сведения с данными прошлых лет. В результате вся информация проходит многослойную систему верификации. Это не значит, что мы полностью избавлены от ошибок, но их риск минимален.