Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

И наконец, важно отметить вводящую в заблуждение строгость импакт-фактора, значение которого вычисляется с точностью до одной тысячной! В естественных науках редко встречаются явления, которые измерялись бы с такой аккуратностью! Кому есть дело до того, что завтра температура будет… 20,233 градуса? Почему бы не ограничиться первой цифрой после запятой? А потому, что иначе все эти рейтинги во многом потеряли бы смысл.

Поскольку экономисты являются особо ярыми сторонниками использования импакт-фактора [117], рассмотрим список экономических журналов в Web of Science (WoS) за 2011 год. Разумеется, среди 256 журналов довольно мало изданий имеют совершенно одинаковые импакт-факторы с четырьмя значащими цифрами (только у трех журналов ИФ равняется 1,000, у двух – 0,757, у трех – 0,743 и т. п.), что позволяет присваивать журналам, например, 22-е или 24-е место, как если бы за ними стояли существенные различия. Но поскольку невозможно всерьез считать, что эти десятые или тысячные имеют какое-либо действительное значение, рассмотрим рейтинг, составленный из целых чисел. В этом случае видно, что лишь два журнала стоят далеко впереди всех остальных, имея ИФ, равные 9 ( Journal of Economic Literature ) и 6 ( Quarterly Journal of Economics ). За ними идут два журнала с ИФ, равным 4, 12 – с ИФ, равным 3, и… 31 – с ИФ, равным 2. И наконец, у 118 журналов ИФ равен 1. Иными словами, невозможно провести рейтингование внутри каждой из этих больших групп, и добавление знаков после запятой – это не что иное, как произвольный способ конструирования искусственных рейтингов. Возможно, экономист скажет нам, что десятые доли бывают полезны, но даже при их учете остается четыре журнала с одинаковым ИФ, равным 2,7 (11–14-е места рейтинга), и 18 – в почетной компании World Bank Economic Review – с ИФ, равным 1,1 (70–87-е места). Таким образом, эта кажущаяся точность оказывается иллюзией.

В основе такого поведения, ведущего к злоупотреблению рейтингами и якобы точными показателями, лежит полное непонимание характеристик используемых индикаторов. Негативные последствия подобных практик совершенно очевидны. Без оппортунизма исследователей, пользующихся неправильно рассчитанными премиями, и оппортунизма журналов, которым на руку оценочное использование импакт-факторов, было бы невозможно заставить верить (или делать вид), что подобная система справедлива и рациональна.

Оценка факультетов и исследовательских лабораторий

Профессора и исследователи объединены в рамках университетских факультетов, лабораторий и исследовательских групп, которые тоже стали объектом оценки. Библиометрические методы начали использоваться на этом уровне организации науки в 1980-е годы. К примеру, сравнительный анализ лабораторий, работающих в определенной сфере, позволяет сопоставить их с другими похожими лабораториями за рубежом или в той же стране на основе библиометрических данных, касающихся количества публикаций сотрудников данной лаборатории и их заметности (измеряемой по числу ссылок) [118].

Наиболее сложная система оценивания университетских факультетов была введена в Англии эпохи Маргарет Тэтчер. Начиная с середины 1980-х годов каждые четыре-пять лет проводится процедура Research Assessment Exercise (RAE). Она состоит в оценке качества исследований на разных факультетах (то есть прежде всего качества их публикаций) комиссией внешних экспертов. После первого такого опыта в 1986 году, когда факультетам выставлялась оценка от 1 (национальное признание) до 4 (мировой лидер), рейтинг усложнился, включив промежуточные ступени (к примеру, 3a и 3b), а также уровни выше четвертого (5 и 5*). Часть правительственного бюджета, идущего на университеты, увязана с этими оценками: институции, занимающие высокие места в рейтинге, получают большую часть субсидий.

Эта система оценки была крайне сложной: в 15 секторах, поделенных на 67 исследовательских областей, задействованы около 1500 оценщиков [119]. После 2008 года оценка по этой системе была приостановлена, вероятно из-за того, что процедура была признана излишне тяжеловесной. Новая система, переименованная в Research Excellence Framework (REF), была введена в действие с 2014 года. Как и в случае RAE, полученные результаты влияют на объемы государственного финансирования, распределяемого между университетами. На самом деле процедура изменилась мало, оценку по-прежнему производит специальный комитет, определяющий место факультета в одной из пяти категорий: от одной до четырех «звезд» и «без места» для самых слабых [120]. Как и раньше, эти процедуры основаны прежде всего на мнении коллег, избираемых из числа представителей внешних институций. Эксперты посещают оцениваемые факультеты, анализируют их отчеты с целью составить представление об общем качестве преподавания и исследований, не используя при этом четко определенных количественных показателей. Публикации, разумеется, принимаются в расчет, но они являются лишь одним из элементов, из которых складывается общая оценка, носящая, по большому счету, качественный характер. И хотя британская система не основана на библиометрических данных, ее можно сравнить с неоправданно сложным механизмом, затратным как по времени, так и по деньгам.