Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Схема 1. Классический цикл производства знания, оценивания и накопления авторитета

Очевидно, что в этой системе ключевым звеном является процедура рецензирования ( peer-review ), поскольку именно на этом этапе решается, будет ли существовать статья как социально признанная единица знания, циркулирующая в научном поле. Со времени институционализации в середине XVII века процедура рецензирования, разумеется, менялась в деталях (будучи анонимной или нет, внешней или осуществляемой силами самой редакции), но сохранила за собой базовую функцию поддержания барьеров ( gate-keeping ) на входе в научное поле [174] 174 Harriet Zuckerman, Robert K. Merton, “Patterns of Evaluation in Science: Institutionalization, Structure, and Functions of the Referee System,” in Minerva, 1971, 9, pp. 66–100; Daryl E. Chubin, Edward J. Hackett, Peerless Science. Peer Review and US Science Policy (Albany: SUNY Press, 1990); Mario Biagioli, “From Book Censorship to Academic Peer Review,” in Emergences, 2002, 12 (1), pp. 11–45; David Abraham Kronick, “Devant le deluge” and Other Essays on Early Modern Scientific Communication (Lanham, MD: Scarecrow, 2004); Lewis Pyenson, “Physical Sense in Relativity: Max Planck edits the Annalen der Physik, 1906–1918,” in Annalen der Physik , 2008, 17 (2–3), pp. 176–189. . Можно было бы ожидать, что растущее давление на научную систему с середины 1970-х годов приведет к усилению критики в адрес рецензирования [175] 175 Thane Gustafson, “The Controversy Over Peer Review,” in Science , 1975, 190 (12 December), pp. 1060–1066. . К концу 1980-х механизм рецензирования даже стал предметом систематического и долговременного анализа, особенно в биомедицинских науках, в рамках ежегодного Конгресса по рецензированию (Congress of Peer Review) [176] 176 Drummond Rennie, “Let’s make peer review scientific,” in Nature , 2016, 535 (7 July), pp. 31–33. . Однако несмотря на всю критику в адрес рецензирования, оно остается ведущим звеном базового цикла накопления научного кредита доверия. И по мере того, как научная статья превращается в простую отчетную единицу, используемую для оценивания исследователей и исследовательских институций, мы наблюдаем появление и распространение различных более-менее девиантных практик. В ответ на ужесточающиеся требования в отношении публикаций ученые пытаются манипулировать библиометрическими показателями или даже самим процессом рецензирования.

Библиометрия развивалась как особая исследовательская область в 1960–1970-е годы для изучения агрегированных характеристик публикаций и цитирования, предназначавшихся к использованию библиотекарями, историками и социологами науки. Но уже с 1990-х годов ее методы все чаще используются для упрощения процесса оценки исследователей [177] 177 См.: Yves Gingras, Bibliometrics and Research Evaluation. Uses and Abuses (Cambridge, Mass.: MIT Press, 2016). . Это новое явление идет в ногу с идеологией «бенчмаркинга» ( benchmarking ) и «менеджмента знаний», которая в 1980-х вторглась в публичный сектор, а в 1990-е добралась и до университетов [178] 178 Isabelle Bruno, Emmanuel Didier, Benchmarking: L’État sous pression statistique (Paris: La Découverte, 2013). . Уже с середины 1970-х годов использование такого «качественного» метода, как рецензирование, при принятии решений о карьерном продвижении или приеме на работу стало все чаще критиковаться за «субъективность». Для измерения «продуктивности» ученых было предложено доверять количественным показателям, основанным на подсчете статей [179] 179 Nicholas Wade, “Citation Analysis: A New Tool for Science Administrators,” in Science , 1975, 4187, pp. 429–432. . С тех пор на основе библиометрических методов были разработаны базовые метрики «импакта», который поборники «бенчмаркинга», «турнирных таблиц» и всяких «рейтингов» отныне мобилизуют для оценки как исследователей и журналов, так и университетов [180] 180 Wendy Nelson Espeland, Michael Sauder, Engines of Anxiety: Academic Rankings, Reputation, and Accountability (New York: Russell Sage Foundation, 2016). .

Традиционный цикл накопления авторитета не мог бы измениться вследствие одного только перехода к цифровым версиям журналов и статей, поскольку последний просто сделал статьи доступными через интернет для тех, кто принадлежит к институциям, подписанным на данные журналы. Тем не менее императив публикации «отчетных единиц» в целях оценки привел к серии значительных трансформаций (подытоженных на схеме 2 ), выведших на авансцену новых акторов и новые способы измерения. Первое важное изменение, малозаметное для самих ученых, — это само содержание библиометрических баз данных. Если в старейшем из них, Индексе научного цитирования (ныне переименованном в Web of Science), поначалу кодировалась только информация о первом авторе статьи (поскольку этого было достаточно, чтобы отыскать ее в информационной системе), то теперь библиометрические базы данных включают полный список авторов статей, ибо эти данные отныне используются для оценки, а не только для библиографического поиска. С 1980-х по 2000-е годы единственной прямой мерой «импакта» научных статей являлось число ссылок в других статьях, зарегистрированных в базе ИНЦ, которая обладала полной монополией, вплоть до создания в 2004 году издательской группой «Эльзевир» базы Scopus.