Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Эта книга обязана своим появлением Катрин Доннар, в июне 2011 года пригласившей меня прочитать лекцию об использовании библиометрии в Национальном институте агрономических исследований (Institut National de la Recherche Agronomique, INRA). Это приглашение убедило меня в том, что настало время разобраться с многочисленными и зачастую бессодержательными дебатами по поводу использования библиометрии в оценке научных исследований. За последние пятнадцать лет мне неоднократно приходилось выступать на эту тему на разных публичных площадках. Здесь я воспроизвожу и отчасти подробнее развиваю некоторые из этих выступлений, чтобы нарисовать как можно более полную картину того, как следует и как не следует использовать библиометрию [1] 1 Я здесь частично использую материалы моих предыдущих публикаций: Yves Gingras, “Les systèmes d’évaluation de la recherche,” Documentaliste-Science de l’information, 4, novembre 2009, pp. 34–35; “Du mauvais usage de faux indicateurs,” Revue d’histoire moderne et contemporaine , 5 (4 bis), supplt annuel, 2008, pp. 67–79; “Le classement de Shanghai n’est pas scientifique,” La Recherche , mai 2009, pp. 46–50; “Criteria for Evaluating Indicators,” in Blaise Cronin & Cassidy Sugimoto (dir.), Bibliometrics and Beyond: Metrics-Based Evaluation of Scholarly Research (Cambridge, MA, MIT Press, 2014). . Мне хотелось бы поблагодарить коллег, которые прочитали этот текст и сделали полезные замечания: Жерома Бурдье, Мишеля Гроссетти, Йохана Хейлброна, Камий Лимож, Венсана Ларивьера, Франка Пупо, Виктора Штоцковски и Жан-Филиппа Уаррена. Я также признателен Жан-Пьеру Робитаю и Филиппу Монжону за подготовку графиков. Разумеется, я несу полную ответственность как за содержание этой книги, так и за ошибки, которые могут в ней обнаружиться.

«Оценка»… Это слово вот уже несколько лет сотрясает академический и университетский мир. Особенно это ощущается в Европе, где с начала 2000-х годов идет процесс реформирования высшего образования [2] 2 См.: Abélard, Universitas calamitatum. Le Livre noir des réformes universitaires , Broissieux, éd. du Croquant, 2003; Christophe Charle et Charles Soulié (dir.), Les Ravages de la «modernisation» universitaire en Europe, Paris, Syllepse, 2007; Franz Schultheis, Marta Roca i Escoda et Paul-Frantz Cousin (dir.), Le Cauchemar de Humboldt. Les réformes de l’enseignement supérieur européen , Paris, Raisons d’agir, 2008; Claire-Akiko Brisset (dir.), L’Université et la recherche en colère. Un mouvement social inédit , Broissieux, éd. du Croquant, 2009. . Оценивать стремятся всех и вся: преподавателей, профессоров, исследователей, учебные программы и сами университеты. Показателей превосходства ( excellence ) и качества становится все больше, однако не всегда понятно, на каких основаниях эти показатели сконструированы.

Среди инструментов, используемых для создания многочисленных индикаторов превосходства, которые менеджерский подход к высшему образованию и науке повсеместно навязывает как некую очевидность, одно из почетных мест принадлежит сегодня библиометрии. В качестве критериев оценки научной продукции и ее различных применений этот исследовательский метод использует научные публикации и их цитирование. Подсчет числа публикаций и ссылок, производимый с целью рейтингования университетов, лабораторий или исследователей, часто выдается за объективную меру ценности тех или иных научных результатов.

Реагируя на распространение этих количественных показателей, многие исследователи критикуют библиометрию, ее изъяны и побочные эффекты, связанные с тем, что количество публикаций, а главное, число ссылок на них стали показателем качества и импакта их работ. Однако, как ни парадоксально, зачастую сами исследователи, принадлежащие к разным дисциплинам, спешат упомянуть об импакт-факторе журналов, в которых они публикуются, и кичатся своим индексом Хирша, как будто это гарантия их ценности и успеха. При этом они не всегда указывают на источник этих цифр и даже не вполне понимают реальное значение подобных показателей. Иными словами, невозможно всерьез вменять в вину одним лишь бюрократам всю эту «измерительную лихорадку». Ее сопровождает бешеная гонка к вершинам многочисленных рейтингов университетов, тогда как — и мы это покажем — эти рейтинги не имеют под собой ни малейшего научного основания.

Во Франции в результате принятия закона 2007 года об автономии университетов и попыток реформирования организации научных исследований возникла повышенная чувствительность к вопросам оценивания, которые прежде мало обсуждались во французских академических кругах. Под влиянием этого контекста и несмотря на то что использование библиометрии редко является единственным критерием оценки, утвердилось ложное и опасное представление о тождестве между библиометрией и оцениванием, как если бы библиометрия была нужна лишь для оценки исследователей. А ведь именно отсутствие серьезной методологической рефлексии дает простор для хаотического, если не сказать дикого использования библиометрии. Например, на страницах журналов