Джеймс Скотт - Анархия? Нет, но да!

Первая и наиболее очевидная проблема с такими методами измерения заключается в том, что они часто не работают, т. е. хоть сколько-нибудь точно измерить то, что мы рассчитываем измерить с их помощью, получается редко. Индекс научного цитирования, этот дедушка всех остальных индексов, был придуман Юджином Гарфилдом (Eugene Garfield) в 1963 году. Его целью было измерение влияния на науку отдельной исследовательской работы и – в более широком смысле — отдельного учёного или отдельной лаборатории, в соответствии с тем, с какой частотой данная работа цитировалась другими исследователями. Почему бы и нет? Такой способ оценивания уж точно лучше, чем неформальные репутации, гранты, трудноразличимые внутренние иерархии в каждом институте, не говоря уж о простой плодовитости данного учёного. В конце концов, более половины всех научных публикаций, кажется, исчезают без следа; их никто и никогда не цитирует! 80% работ цитируются только однажды. Индекс научного цитирования, казалось, обеспечивал нейтральный, точный, прозрачный, непредвзятый и объективный способ измерить влияние данного учёного на последующие работы по теме. Какой удар по репутации! И так оно и было, по крайней мере, сначала в сравнении со способами, основанными на привилегиях и должностях, которые этот индекс стремился заменить.

Индекс научного цитирования быстро получил всеобщее признание не в последнюю очередь оттого, что его постоянно рекламировали — не забываем, что это коммерческое предприятие. Спустя немного времени им стали пользоваться повсеместно: для определения того, заслуживает ли данный учёный звания профессора, для продвижения журналов, для составления рейтингов учёных и институтов, а также в технологических анализах и правительственных исследованиях. Вскоре за этим индексом последовал Индекс цитирования в сфере общественных наук, а после этого не мог не прийти черед индекса цитирования в сфере гуманитарных дисциплин и искусств.

Что именно измерял индекс научного цитирования? В первую очередь бросается в глаза бессмысленный и абстрактный, сродни компьютерному, сбор данных. Индекс засчитывал цитаты самого себя, что добавляло самолюбования и без того чрезвычайно заметному в научных кругах нарциссизму. Также засчитывались негативные упоминания: «Статья учёного N — это худшее исследование, какое я когда-либо встречал!» Один балл в копилку учёного N!

Как сказала Мэй Уэст: «Слава не бывает плохой — вы только правильно напишите моё имя!» Цитаты из книг, в противоположность цитатам в научных статьях, не подлежат учету. Зададим более серьезный вопрос: что, если, как это часто бывает, никто и никогда не читает статьи, в которых упоминается данная работа?

Вдобавок отметим провинциализм этого предприятия: в конечном итоге этот индекс учитывает по большей части работы, написанные на английском языке. По мнению Гарфилда, французская наука провинциальна, потому что она не приняла английский язык в качестве языка науки. Что касается социальных наук, такое утверждение по меньшей мере нелепо; при этом, если вы переведете и продадите свою статью сотне тысяч китайских, бразильских или индонезийских учёных, это ничего не даст для вашего индекса цитирования, разве что они выразят свою благодарность в англоязычном журнале или в одном из горстки иноязычных журналов, включенных в волшебный список.

Обратите внимание и на то, что индекс цитирования чисто статистически должен давать преимущество специализациям, по которым производится больше всего исследований, т. наз. «научному мейнстриму» или, выражаясь языком Куна, «нормальной науке». Наконец, заметьте, что «объективированная субъективность» индекса цитирования в сфере общественных наук интересуется исключительно настоящим временем. А если современное направление исследований через три года признают тупиковым? Нынешняя волна публикаций и произведенный ею статистический пик может позволить счастливому исследователю, невзирая на явную ошибку, по-прежнему почивать на лаврах.

Распространяться о недостатках индекса научного цитирования нет нужды. Они интересуют нас лишь потому, что демонстрируют неизбежный разрыв между способами измерений такого рода и качеством, которое они пытаются измерить. Печально, что многие из вышеперечисленных недостатков можно исправить реформами и усовершенствованием методик расчёта индекса, потому что на практике предпочтительны более схематичные, абстрактные и простые в вычислении способы измерения — из-за легкости их использования и, соответственно, более низкой стоимости. Однако кажущееся объективным измерение количества упоминаний скрывает в себе множество «условностей подсчёта», тайком проникших в оценки, глубоко политических по своей сути и имеющих далеко идущие последствия.