Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

О неправильном использовании импакт-фактора журналов

Самая серьезная проблема, связанная с использованием ИНЦ, касается научных журналов. Журнальная сфера превратилась в высококонкурентный рынок, поэтому для привлечения лучших статей и авторов журналы все чаще используют свой импакт-фактор в качестве инструмента саморекламы, адресованной библиотекам и авторам. С конца 1990-х годов импакт-фактор журналов рассматривается не только как показатель качества журнала, но и как мера качества публикуемых там статей, а это некорректно, как мы продемонстрируем ниже. Осознав важность этого индикатора, журналы принялись манипулировать им в целях его повышения! Чтобы понять, как некоторые из них дошли до таких крайностей, следует сначала напомнить определение импакт-фактора.

Импакт-фактор (ИФ) журнала, вычисляемый и публикуемый ежегодно с 1975 года компанией Thomson Reuters в Journal Citation Reports на основе данных Индекса научного цитирования, представляет собой просто среднее арифметическое числа ссылок, полученных всеми статьями того или иного журнала за двухлетний период. Иными словами, ИФ характеризует журналы, а не статьи [108]. Например, ИФ какого-либо журнала за 2006 год вычисляется так: число ссылок за 2006 год на статьи, опубликованные в нем в 2004–2005 годах, делится на число статей журнала за тот же период (2004–2005).

Выбор столь короткого, двухлетнего периода для вычисления ИФ не случаен. Есть тенденция противопоставлять высокие ИФ научных журналов (таких, как Science или Nature ) низким ИФ журналов по социальным наукам. Однако это во многом следствие того, что социальные и естественные науки обладают различными временными горизонтами. Действительно, достаточно увеличить период для подсчета ссылок до десяти лет, чтобы ИФ журналов по общественным дисциплинам достиг значений, вполне сопоставимых с ИФ естественно-научных изданий. Например, средний двухлетний показатель цитируемости статей медицинского журнала The Lancet в 1980 году составлял 2,4, а American Sociological Review – 1,8. Однако если подсчитать значение того же показателя за десятилетний период, то результаты будут совсем иными: импакт социологического журнала (20,9) будет гораздо выше, чем медицинского (14) [109]. Так что совершенно очевидно, что ИФ журналов по разным дисциплинам несравнимы между собой и что численное значение ИФ журнала имеет смысл не само по себе, а лишь в сопоставлении с журналами из той же самой области.

Другая важная характеристика ИФ состоит в том, что при его определении в общее число ссылок на данный журнал включаются и самоцитирования журнала. Вопрос о включении самоцитирований ставился еще в начале 1970-х годов, когда создавался этот показатель, однако он стал проблематичным только в 1990-е годы. К этому времени ИФ превратился в важный фронт конкурентной борьбы между журналами и стал все чаще использоваться для характеристики самих статей. Ввиду его стратегической важности редакторы и владельцы журналов стали требовать, чтобы авторы ссылались на статьи из их же журнала. Жалобы на такое принуждение начали появляться во второй половине 1990-х, и с тех пор их поступает все больше [110].

Проблема эта отчасти техническая, ведь достаточно было бы переопределить ИФ, исключив из него самоцитирование журналов, чтобы получить показатель, который подделать было бы нелегко. Для этого потребовалось бы, чтобы журналы объединились в картель для взаимного обмена ссылками. И некоторые журналы, не останавливаясь ни перед чем, по всей видимости, так и поступают. Однако Journal Citation Reports не стал предлагать нового определения, исключающего самоцитирование: наряду с обычным ИФ журналов Thomson Reuters стал публиковать значения того же показателя, полученные после исключения самоцитирования, а также указывать удельный вес самоцитирований журналов в общем числе полученных ссылок.

Не стоит, однако, рассматривать самоцитирование исключительно в негативном ключе. На самом деле это такая же нормальная практика, как и в случае цитирования авторами собственных работ: логично, что статьи, публикуемые в одном и том же журнале, связаны между собой через предмет изучения. Возьмем, к примеру, теорию узлов в математике. Разумеется, журналов, посвященных столь узкой сфере исследований, немного. На самом деле он всего один: Journal of Knot Theory and its Ramifications . Каждый, кто занимается теорией узлов, наверняка захочет опубликоваться в этом журнале, хотя и другие журналы, более общего профиля, принимают статьи по этой теме. К чему приводит для этого журнала исключение самоцитирования из подсчетов? Очевидно, что оно снижает его импакт-фактор. В Journal Citation Reports агентства Thomson Reuters за 2009 год обнаруживаем, что ИФ этого журнала – 0,523 и что он снижается до 0,311, если убрать самоцитирование, которое составляет в данном случае 40 % от общего числа ссылок. Но действительно ли это что-то меняет? Его импакт-фактор по идее не должен иметь значения при оценивании: очевидно, что все, кто занимается теорией узлов, знают, хорош этот журнал или нет. И если у другого математического журнала, мало публикующего про узлы, ИФ 0,822, это не означает, что он лучше, поскольку ИФ зависит от размера исследовательской области. Если в данной области работают всего 100 человек, то на одну статью неизбежно будет приходиться меньше ссылок, чем если бы в области работало в десять раз больше людей. Поэтому нормально, что в некоторых очень специализированных областях высок процент самоцитирования среди ссылок того или иного журнала.