Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Можно часто слышать мнение, будто бы от рейтингов никуда не денешься и поэтому с ними «приходится считаться». Это вовсе не так. Благодаря сопротивлению исследователей подобные неразумные инициативы иногда удается остановить. Например, в Австралии остро негативная реакция ученых на рейтинги журналов заставила правительство пойти на попятную и отказаться от использования этих рейтингов для оценки исследовательской работы [134] 134 См.: http://theconversation.com/journal-rankings-ditched-the-experts-espond–1598; а также: Jerome K. Vanclay, “An evaluation of the Australian Research Council’s journal ranking,” in Journal of Informetrics , 5, 2011, pp. 265–274. . Также и во Франции протест со стороны многих исследователей привел к тому, что организации, продвигавшие подобные рейтинги, были вынуждены перейти к простому списку журналов, определяющему «периметр научности» [135] 135 Более подробно о французских дебатах по вопросу рейтингования журналов см.: Anne Saada, “L’évaluation et le classement des revues de sciences humaines par l’Agence de l’évaluation de la recherche et de l’enseignement supérieur (AERES),” in Connexions , 93, 2010, pp. 199–204; David Pontille, Didier Torny, “Rendre publique l’évaluation des SHS: les controverses sur les listes de revues de l’AERES,” in Quaderni , 77 (1), 2012, pp. 11–24. . Этот пример наглядно демонстрирует, что возможно очертить совокупность журналов, считающихся научными в той или иной области, не втягиваясь в порочную игру рейтингов, которые как раз и призваны механизировать процесс принятия решений в ущерб мнению компетентных коллег. Иными словами, научный мир не должен пасовать перед требованиями, не имеющими никакого научного обоснования и подчиняющимися чуждой ему логике.

Для наших целей нет необходимости подробно останавливаться на каждом из многочисленных более или менее бессмысленных показателей, предлагавшихся за последний десяток лет [136] 136 См. анализ валидности различных показателей, используемых для оценки научных исследований, в: Conseil des académies canadiennes [Совет канадских академий] , Éclairer les choix en matière de recherche, op. cit. . Более всего удивляет в этом возрастающем многообразии показателей отсутствие четких критериев, позволяющих судить об их валидности. Поэтому для начала необходимо напомнить основы любой процедуры оценивания. А затем я предложу некоторые критерии для проверки валидности показателей.

В последние пятнадцать лет мне как научному руководителю Обсерватории наук и технологий (OST) Квебекского университета в Монреале (UQAM) доводилось сотрудничать со многими организациями в целях проведения библиометрического анализа. Как ни странно, мне часто приходилось им напоминать, что процедуре оценивания должно предшествовать определение специфических целей и задач оцениваемой институции. А ведь должно быть ясно, во-первых, что подход к оценке правительственной лаборатории и университетского исследовательского центра не может быть одним и тем же; а во-вторых, что оценивание осуществляется в свете определенных целей, которые ранее поставила себе сама институция или финансирующая ее организация. Эти цели должны быть достаточно точно определены, чтобы было возможно разработать показатели, способные измерить, насколько они были достигнуты. Если главная задача правительственной лаборатории состоит в осуществлении мер по обеспечению безопасности граждан, то понятно, что количество публикаций в ученых журналах не будет главным показателем ее успеха! В свою очередь, университетская научная лаборатория, имеющая множество контрактов с промышленными предприятиями, но мало публикующая в научных журналах, выглядит проблематично в свете традиционной миссии университета, состоящей в приросте общедоступных знаний. Иными словами, не нужно сначала выбирать показатели, а затем подгонять под них миссию организации таким образом, чтобы их максимизировать. Напротив, следует сначала установить цели и задачи, а затем попытаться найти показатели, которые действительно отражают степень их реализации.

Несмотря на неоднократные призывы к инновациям в сфере оценки (сюда относится и недавнее движение altmetrics , альтернативной метрики, которая основана на социальных сетях, но еще более проблематична, чем обычный анализ цитирования), для конструирования показателей в научной сфере имеется ограниченное число исходных данных. На входе мы имеем научно-педагогические кадры, инструменты, бюджеты и виды деятельности, производимые при помощи этих ресурсов. На выходе же получаем публикации (книги, отчеты и статьи), патенты, конференции и, конечно же, выпускников вузов и их профессиональные карьеры. Чтобы отследить импакт, применение или результаты ( outcomes — менее четкий, но более широкий по охвату термин, чем «импакт»), можно прибегнуть к анализу цитирования статей, промышленного внедрения идей или, к примеру, занятости дипломированных специалистов. В эпоху интернета мы можем также наблюдать появление новых индикаторов, таких как число просмотров электронной версии статей или число скачиваний. Итак, конструирование показателей опирается на совсем небольшое число параметров, по-разному комбинируя которые можно корректно оценивать различные эффекты научной деятельности.