Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Тем не менее у некоторых журналов оказывается анормально высокий уровень цитируемости. Фирма Thomson Reuters, не желая, чтобы полемика о манипулируемости импакт-фактором запятнала репутацию ее продукта, с 2007 года публикует черный список журналов, подозреваемых в подделке своих ИФ. Таким образом Thomson Reuters определяет журналы, для которых она не публикует ИФ. В 2007 году такой санкции подверглись девять журналов [111] 111 См.: James Testa, “Playing the system puts self-citation’s impact under review,” in Nature , 455, 9 October, 2008, p. 729. . Подобный надзор распространяется и на взаимные обмены ссылками между журналами. Такую практику выявить сложнее, однако Thomson Reuters разработала специальную программу для этих целей. Так, в выпуске Journal Citation Report за 2013 год 37 журналов попали в отдельную категорию, из которых 14 — за обмен ссылками. А в предыдущий год в этой категории оказались всего три журнала. Эти потенциально девиантные журналы остаются в черном списке два года, а потом проходят повторную оценку. Однако среди журналов, фигурирующих в WoS, таковых насчитывается менее 1 % [112] 112 См.: Paul Jump, “Journal citation cartels on the rise,” in Times Higher Education , 21 June 2013, http://www.timeshighereducation.co.uk/news/journal-citation-cartels-on-the-rise/2005009.article. .

Гонка за количеством публикаций приводит к учащению фальсификаций [113] 113 См.: Y. Gingras, Sociologie des sciences , op. cit., pp. 67–69. , а преувеличенно важное значение, приписываемое импакт-фактору, подталкивает редакторов журналов к нарушению академической этики. Так, летом 2013 года редактор бразильского медицинского журнала Clinics был отстранен от должности за то, что с 2009 года, стремясь максимизировать число ссылок на журнал, вступил в картель взаимного цитирования. Такое девиантное поведение — предсказуемое порочное последствие правительственной политики, оценивающей качество программ высшего образования в Бразилии на основе импактфактора журналов, где публикуются студенты. Издатели бразильских научных журналов выступают с жесткой критикой этой примитивной системы оценки, требуя ее изменения [114] 114 См.: Richard Van Noorden, “Brazilian citation scheme outed. Thomson Reuters suspends journals from its rankings for ‘citation stacking’,” in Nature , 500, 29 August, 2013, pp. 510–511. . Вообще для журнала может быть вполне естественным стремиться к максимизации заметности публикуемых им статей и просить у авторов ссылаться на релевантные статьи, вместо того чтобы ограничиваться лишь ссылками на англо-американские работы. На самом деле эти манипуляции с импакт-фактором не имели бы никакого значения и даже не представляли бы собой девиации, если бы этот показатель не стал критерием оценки.

ИФ, каким бы способом его ни высчитывали, остается мерой, связанной с журналом, а не со статьей. Главная причина, почему ИФ — это плохой показатель значимости индивидуальных статей , состоит в том, что распределение реальных ссылок на статьи одного и того же журнала подчиняется закону Парето, вариацией которого является распределение Лотки. Для распределения этого типа, в отличие от так называемого нормального распределения в форме колокола, среднее значение не является адекватной мерой центральной тенденции. Кривые типа Парето, напротив, крайне асимметричны и часто могут быть описаны формулой 20/80, где 20 % статей получают 80 % от общего числа ссылок (см. ил. 5). Например, редакторы журнала Nature , обладающего одним из самых высоких ИФ, подчеркивают, что этот показатель не следует использовать для оценки статей. В 2004 году 89 % всех ссылок на статьи из этого журнала были получены 25 % этих статей [115] 115 См.: Editorial, “Not so deep impact,” in Nature , 545, 23 June 2005, pp. 1003–1004. . Заметим, что это не очень далеко от соотношения 20/80, которое, конечно, не является в данном случае закономерностью, но просто способом описать высокую концентрацию ссылок. Иными словами, статья, вышедшая в журнале с высоким ИФ, может быть не процитирована ни разу! Поэтому, чтобы измерить заметность той или иной статьи, нужно учитывать фактические ссылки на эту статью, а не импакт-фактор журнала, в котором она опубликована.

Хотя с середины 1990-х годов эксперты по библиометрии постоянно напоминали об абсурдности использования ИФ журналов для оценки исследователей [116] 116 См.: Per O. Seglen, “Why the impact factor of journals should not be used for evaluating research,” in British Medical Journal , 314, 15 February, 1997, pp. 498–502. , это ничуть не предотвратило вопиющие злоупотребления со стороны научных администраторов и самих ученых. Более того, в некоторых странах (Пакистане, Китае, Южной Корее, Японии) министерские чиновники и руководители академических организаций даже учредили систему премий, напрямую увязанных со значением импакт-фактора журналов! Как докладывал в 2006 году журнал Nature, на основе подсчета суммы импакт-факторов статей за тот или иной год Министерство науки Пакистана назначает премии в размере от 1000 до 20 000 долларов! Пекинский Институт биофизики учредил похожую систему: ИФ от 3 до 5 приносит премию в размере 2000 юаней за балл, а если ИФ превышает 10, то за каждый балл назначается 7000 юаней. В редакционной статье того же самого номера редколлегия журнала раскритиковала подобную бессмыслицу. Но как бы мы ни относились к идее премирования исследователей за производительность, в данном случае проблема состоит в неверном понимании смысла самого показателя. Ведь совершенно невозможно, чтобы ИФ какого-нибудь математического журнала, к примеру, когда-либо сравнялся с ИФ медицинского журнала! И ни один здравомыслящий человек не станет утверждать, что статьи по медицине все как одна превосходят качеством статьи по математике и поэтому их авторам нужно начислять более высокие премии.