Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Первое свойство хорошего показателя — это его соответствие объекту. Насколько точно он отражает измеряемые характеристики объекта? Достоверны ли результаты, получаемые при измерении в свете того, что уже известно о данном понятии? Так, уровень инвестиций в исследования и разработки (R&D) является в первом приближении надежным индикатором интенсивности научных исследований в данной стране. Но представим, что требуется оценить научный импакт отдельного автора. Разумеется, можно провести опрос экспертов из той же области знания и предложить им расположить данного автора на некой шкале. Можно также предположить, что показателем этого научного импакта являются ссылки на его работы. Но недостаточно просто это постановить; нужно сначала протестировать наличие этой связи, выявив отношение между результатом анализа ссылок и другим, независимым от него индикатором. И действительно, как мы показали выше, наличие корреляции между уровнем цитируемости и репутацией, оцениваемой на основании полученных премий и научных званий, с 1970-х годов было неоднократно продемонстрировано в работах по социологии науки и библиометрии [147] 147 См.: J. R. Cole, S. Cole, Social Stratification in Science, op. cit. . Как мы уже отмечали, мнение о том, что великие ученые мало цитируются, является мифом. Однако валидность показателя цитируемости была подтверждена прежде всего в сфере естественных наук. Нельзя некритично переносить его в область социальных наук и тем более в гуманитарные науки и филологию, поскольку результаты, полученные в этих дисциплинах, публикуются в форме статьи реже, чем книги, а последние менее широко представлены в базах данных [148] 148 По этому вопросу см.: Vincent Larivière, Éric Archambault, Yves Gingras, Étienne Vignola-Gagné, “The place of serials in referencing practices: comparing natural sciences and engineering with social sciences and humanities,” in Journal of the American Society for Information Science and Technology , 57, June 2006, pp. 997–1004; Éric Archambault, Étienne Vignola-Gagné, Grégoire Côté, Vincent Larivière, Yves Gingras, “Benchmarking scientific output in the social sciences and humanities: the limits of existing databases,” in Scientometrics , 68, 2006, pp. 329–342. . Итак, чтобы убедиться, что показатель действительно адекватен объекту, следует проводить тесты и анализировать способы производства знаний в разных дисциплинах.

Во-вторых, хороший показатель должен быть однородным по своему составу. Например, в сфере науки однородным (для данной страны) показателем научной деятельности будет число статей, опубликованных в ведущих научных журналах. Этот показатель позволяет измерить результативность, которую можно сопоставить с вложенными ресурсами, такими как объем инвестиций в науку (выраженных в евро). По этим показателям можно сравнивать между собой страны и даже организации. С их помощью можно также картировать научную деятельность в двух разных аспектах: входящие ресурсы и результаты. Соотношение этих двух величин дает показатель производительности научного труда (затраты/выпуск). Однако если принять этот показатель за меру качества научных исследований (а не их эффективности), комбинируя его с репутационной шкалой, установленной экспертной группой, то получается неоднородный показатель, который может непредсказуемо варьироваться, причем установить точную причину этой вариации невозможно.

Шанхайский рейтинг университетов дает в этом смысле наилучший пример того, как делать не надо: в нем намешаны одновременно ссылки, Нобелевские премии и статьи в ведущих журналах, и всем этим критериям назначены веса абсолютно произвольным образом, чтобы в конечном счете получить одну цифру. Складывая столы со стульями таким образом, невозможно определить причину вариаций итогового показателя. К тому же известно, что использование весовых множителей для сложения показателей иногда дает бессмысленные результаты [149] 149 См.: Jean-Charles Billaut, Denis Bouyssou, Philippe Vincke, “Should you believe in the Shanghai ranking?” in Scientometrics , 84, 2010, pp. 237–263. . Критерий однородности также связан с принципами прозрачности и простоты показателей, что означает возможность их прямой интерпретации. Например, такая метрика значимости журналов, как Eigenfactor, основанная на алгоритме типа Page Rank, непрозрачным образом принимает в расчет качество цитирующих журналов [150] 150 См.: http://en.wikipedia.org/wiki/Eigenfactor. . Но на каком объективном основании можно заключить, что ссылка в журнале Science имеет больше веса, чем ссылка в Scientometrics ? Это только добавляет произвольности уже и без того сомнительному показателю. В реальности оказывается невозможно исправить плохой показатель, комбинируя его с другими и тем самым делая его еще менее прозрачным. Следует отказаться от такого показателя и найти другой, более адекватный и простой в интерпретации.