Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Многомерный мир

В дискуссиях об оценивании более всего раздражает стремление все свести к одной-единственной цифре. Примитивность такого подхода можно проиллюстрировать при помощи следующего образа: многомерное пространство, сведенное до пространства с нулевым измерением, то есть до точки! В самом деле, при суммировании взвешенных значений нескольких показателей для получения одной цифры теряется информация о каждой из осей многомерного пространства, которые репрезентируют тот или иной показатель. Только одновременный учет сразу нескольких показателей позволяет охватить разные измерения того или иного понятия, например понятия влияния (импакта) исследовательской работы.

Так, академическую среду интересует прежде всего научное влияние публикаций, но нельзя пренебрегать и другими типами влияния, для измерения которых подобрать корректные показатели не так трудно. Например, речь может идти об экономическом, социетальном, культурном, экологическом и политическом влиянии научных исследований. Иначе говоря, в случае университетов исследовательская функция институции должна рассматриваться наряду с другими ее функциями. К примеру, качество преподавания не может оцениваться исключительно в свете проводимых в университете исследований без учета той среды, в которую погружены учащиеся там студенты (качество зданий, библиотечные ресурсы и т. п.). Чтобы эти параметры получили надлежащее освещение, следует избавляться от «синдрома фонаря», то есть от привычки искать ключи там, где светло, а не в том месте (пусть и темном), где они были потеряны. Таким образом, необходимо отказаться от использования легкодоступных показателей и, подробно изучив отдельные кейсы, оценить наличие некоторых из этих типов влияния для каждого из основных показателей. Такой качественный подход затратен, однако он необходим для адекватной оценки влияния исследований в различных секторах [143]. Оценка показателей

В ряду проблем, связанных с оценкой научного труда, отдельно стоит наболевший вопрос о рейтингах. Хотя оценивание и рейтингование – это не одно и то же, обе операции требуют использования показателей, при работе с которыми нужно применять некоторые базовые принципы для обеспечения их валидности. Международная экспертная группа по рейтингам (International Ranking Expert Group) утвердила так называемые берлинские принципы контроля за качеством рейтингов. Члены этой самопровозглашенной группы, состоящей из экспертов по оцениванию, однажды собрались, чтобы определить хорошие практики при составлении рейтингов. Так были сформулированы следующие принципы: 1) ясно определять цели рейтингования; 2) обеспечивать прозрачность методологии; 3) выбирать адекватные и валидные показатели; 4) четко определять веса показателей и не менять их по ходу дела; 5) признавать разнообразие и специфику различных институций [144].

На первый взгляд эта инициатива кажется похвальной и разумной. Но если присмотреться, декларируемые принципы оставляют желать лучшего. Четвертый принцип, в соответствии с которым следует четко определять веса переменных, с тем чтобы впоследствии их не изменять, представляется парадоксальным. В соответствии с этим принципом, если выяснится, что изначальное распределение весов неадекватно, его не следует менять под предлогом обеспечения преемственности, что по меньшей мере проблематично. Пятый принцип, требующий признания разнообразия институций, – лишь благое пожелание. На самом деле ни один из этих критериев не применим к существующим рейтингам университетов, в частности к так называемому Шанхайскому рейтингу. А ведь разработчики рейтинга также входят в данную экспертную группу, что не мешает им проявлять полное безразличие к тому, что их собственные показатели не следуют принципам, которые они продвигают… Третий принцип, выбор адекватных и валидных показателей, вроде бы самоочевиден, однако при этом не указывается какой-либо нормы, которой они должны соответствовать. Мы уже показали, насколько важную роль играют источники и качество информации, содержащейся в базах данных, однако не менее важно и конструирование показателей. Не нужно думать, будто главное – это качественная база данных, а «не расчет того или иного показателя, при котором, по большому счету, выбирается то, что наиболее удобно» [145]. Чтобы быть валидным, показатель должен отвечать некоторым критериям, и эта сторона дела не зависит от используемых для его расчета баз данных. Валидный показатель, на мой взгляд, должен обладать тремя свойствами. Три главных свойства хорошего показателя