Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Подобно тому как число «ссылок» стало «объективной» мерой качества статей, число которых слишком увеличилось для того, чтобы их внимательно читали члены оценочных комиссий, импакт-фактор журналов стал мерой ценности самих журналов – слишком многочисленных для того, чтобы их знали ученые и их оценщики. Этот показатель был впервые опубликован в 1975 году для измерения заметности журналов в научном поле и предназначался библиотекарям в качестве инструмента для управления журнальными фондами. И неудивительно, что он стал предметом острой полемики в научном поле с середины 1990-х годов, когда его стали использовать механически для оценки уже не журналов, а исследователей. Ведь главный недостаток использования «ссылок» на публикации как количественного показателя их «качества» состоит в том, что они накапливаются постепенно, тогда как «оценка» нужна «своевременно». Но прежде чем процитировать статью, нужно сначала, чтобы ее прочитали (или по крайней мере увидели ссылку на нее), потом написали новую статью с ее упоминанием, которая затем должна пройти рецензирование и уже после этого, наконец, выйти в свет. Это означает, что ссылки на статьи, как правило, начинают появляться лишь по истечении нескольких лет. Через 5–7 лет (в зависимости от научной области) достигается пик цитирования, а затем наблюдается спад упоминаний, по мере того как знание становится общепринятым – то, что Мертон называет «забвением вследствие поглощения» [183]. Столкнувшись с этим проблематично долгим сроком, оценщики склонялись к тому, чтобы вместо цитирований использовать более быстродоступный импакт-фактор журналов. И хотя он характеризует журнал, а не статью, импакт-фактор может рассматриваться как «косвенный» показатель «качества» и «импакта», который устраняет потребность выжидать пару лет, прежде чем выяснить, имела ли та или иная статья научное влияние в данном поле. Став мерой «качества», импакт-фактор начал использоваться компаниями для продвижения своих журналов и привлечения новых авторов. Это на первый взгляд незначительное изменение сделало место журналов в системе оценивания еще более центральным, поскольку предметом измерения и оценки стало место публикации, а не содержание статьи или ее заметность (определяемая количеством полученных ссылок).

Так, власти и исследовательские институты некоторых стран (Пакистана, Китая, Южной Кореи и Японии) даже ввели премии на основе цифрового значения импакт-фактора того или иного журнала, несмотря на то что эти значения в различных дисциплинах несопоставимы между собой [184]. В результате давление на ученых еще более усилилось и некоторые из них дошли до того, что ради публикации своих статей стали манипулировать журнальной системой рецензирования. Когда махинации вскрывались, издателям журналов приходилось отзывать публикацию статей, прошедшие лжерецензирование, то есть отрецензированные самими их авторами [185]. Таким образом, эти новые метрики могут напрямую влиять на доступ к необходимым для проведения исследований ресурсам ( схема 2 ).

Схема 2. Изменения в классическом цикле оценки (см. схему 1) вследствие превращения научной статьи в простую «единицу отчета» исследовательской деятельности, породившего целый ряд посредников и новых оценочных метрик

Ученые и специалисты по библиометрии неоднократно критиковали процедуры оценки, основанные на импактфакторе журналов. После десяти с лишним лет острой критики многие журналы, включая Nature и другие «элитные» издания, стали понемногу дистанцироваться от этого индикатора, который они долгое время использовали для своего брендирования, не желая более иметь ничего общего с примитивными методами оценки, грозящими запятнать их репутацию [186]. Поскольку считается, что журналы публикуют единицы знаний, они противятся превращению в простой измерительный инструмент. Похожая ситуация сложилась и с академическим книгоизданием в 1990-е годы. Когда в университетские издательства хлынул поток книг, необходимых их авторам для занятия профессорских должностей, они призвали университеты перестать увязывать карьерное продвижение с наличием такого рода публикаций [187].

В связи с тем, что количественные показатели продуктивности и импакта отныне заняли центральное место, был создан новый рынок для компаний, предлагающих свои услуги по «оценке» исследователей, лабораторий и университетов [188]. Поскольку статьи и журналы превратились в «единицы отчета», владеющие журналами компании получили возможность позиционировать себя на рынке как производителей новых оценочных индикаторов, основывающихся на их собственной подборке журналов. Параллельно они подталкивали институции к тому, чтобы те призывали своих исследователей публиковаться в их самопровозглашенных «высококачественных» журналах. Лучший пример такой стратегии – это созданный в 2014 году Nature Index, который котирует страны и институции на основе публикаций, издающихся всего лишь в 68 журналах, определяемых как «высококачественные научные журналы». При этом среди них 17 (25 %) относятся к группе Nature (принадлежавшей издательству «Мак-Миллан», недавно создавшему совместное предприятие со «Шпрингером»), которая является одним из крупнейших издателей научных журналов. Говорится, что этот новый рейтинг позволяет «составить картину высококачественных исследований на основе публикуемых статей» и «предоставляет институциям простой способ выявлять и выдвигать на первый план свои лучшие научные исследования».