Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

В мае 1975 года в журнале Science была опубликована подробная статья о растущем использовании цитатного анализа для оценивания исследователей. В ней упоминалась профессор биохимии, которая оспаривала свое увольнение как несправедливое, утверждая на основании количества ссылок на ее статьи, что ее цитировали гораздо чаще, чем коллег-мужчин, которых тогда же повысили в должности [100]. На этом примере видно, что цитирование – это орудие, используемое не только руководителями институций, но и самими исследователями в тех случаях, когда им это выгодно. В связи с упрощением доступа к базам данных по цитированию, таким как Google Scholar, некоторые ученые стали указывать в резюме число ссылок на свои статьи, а также свой h-индекс, тогда как ценность этих показателей сомнительна и может привести к ошибочной оценке значимости кандидатур. Эпидемия h-индекса

В середине 2000-х годов, когда в научных кругах стали разрабатывать библиометрические показатели для придания большей объективности индивидуальному оцениванию, американский физик Хорхе Е. Хирш из Калифорнийского университета в Сан-Диего предложил свой h-индекс (индекс Хирша).

Этот индекс равен числу статей N, опубликованных исследователем и процитированных по меньшей мере N раз каждая с момента их публикации. Например, у автора, опубликовавшего 20 статей, из которых 10 цитируются как минимум по 10 раз каждая, h-индекс равен десяти. Произвольность этого индекса просматривается уже в самом названии статьи, притом опубликованной в журнале, считающемся престижным, Proceedings Национальной Академии наук США: «Индекс для квантификации научной продукции ( output ) исследователя» [101]. В действительности этот индекс не измеряет ни количество ( ouput ), ни качество или импакт, а представляет собой некое сочетание этих двух параметров. Он произвольно комбинирует количество опубликованных статей и количество ссылок на них. Считается, что этот индекс позволяет не ограничиваться количеством статей и учитывать также их качество. В соответствии с распространенным стереотипом опубликовать огромное количество плохих статей просто; поэтому число опубликованных статей не считается надежным показателем достоинств исследователя. Но проблема в том, что было быстро доказано: h-индекс очень сильно коррелирует с общим числом опубликованных статей и, таким образом, оказывается избыточным [102].

Более того, у него нет ни одной из базовых характеристик хорошего показателя (мы еще вернемся к этому вопросу в главе IV). Людо Уолтман и Неес Ян ван Эк продемонстрировали, что при сравнении исследователей, количество ссылок на которых возрастает в равной пропорции, h-индекс может давать противоречивые результаты. Эти авторы заключают, что h-индекс «не может считаться подходящим показателем общего научного импакта исследователя» [103]. Этот небрежно сконструированный показатель даже опасен, когда служит для принятия решений о найме, поскольку его использование может приводить к непредсказуемым результатам. Это легко показать на одном простом примере. Сравним два случая: молодой исследователь опубликовал только три статьи, но каждую из них процитировали 60 раз (за фиксированный промежуток времени); второй исследователь того же возраста более плодотворен и имеет в активе 10 статей, каждая из которых процитирована 11 раз. Последний имеет, таким образом, индекс Хирша 10, тогда как первый – всего 3. Можно ли на основании этого заключить, что второй в три раза лучше, чем первый, и поэтому его нужно взять на работу или повысить в должности? Разумеется, нет…

Несмотря на эти непоправимые изъяны, h-индекс получил широкое распространение в некоторых научных дисциплинах. Создается впечатление, что он прямо для того и создан, чтобы тешить раздутое эго некоторых исследователей [104]. Росту его популярности способствовало также то, что он определяется автоматически во всех библиометрических базах данных, то есть он получается без каких-либо усилий! Тем не менее достоин сожаления тот факт, что ученые, обучавшиеся математике, теряют всякую способность к критическому мышлению перед примитивной цифрой. Судя по всему, права старая английская пословица, так похожая на этот социальный закон: «Any number beats no number». Иными словами, лучше уж плохая цифра, чем вовсе никакой…

Если верить Хиршу, его индекс способствует «более демократичной оценке научных исследований» [105]. Но судя по всему, скорее верно обратное: эта «демократия», не опирающаяся на знания об условиях валидности показателя, быстро трансформируется в оценочный популизм. В ответ на рост неконтролируемого использования библиометрии комитет Международного математического союза отмечал, что точно так же, как мы идем к врачу, когда болеем, нам следовало бы обращаться к специалисту по статистике всякий раз, когда мы производим статистические подсчеты [106]. При ознакомлении с их отчетом, где заново подчеркиваются обычные характеристики и ограничения библиометрических данных, известные уже не одно десятилетие, можно было бы добавить, что ученым, использующим библиометрию, следовало бы консультироваться со специалистами по библиометрии… [107]