Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

С начала 1970-х годов библиометрию использовали финансирующие науку организации, такие как ННФ, чтобы выяснить, позволяет ли процесс коллегиального оценивания выявлять лучших исследователей. Было показано, что в области химии более 80 % грантов получают исследователи, на которых в предыдущие пять лет ссылались в среднем более 60 раз, и что публикации ученых с четырех лидирующих университетских факультетов, получающих бóльшую часть грантов, цитируются примерно 400 раз за тот же самый период. Эти результаты послужили ответом критикам процесса оценивания, утверждавшим, что он является по сути своей предвзятым [91]. С тех пор этой теме было посвящено множество библиометрических исследований как по отдельным факультетам или исследовательским группам, так и по целым университетам, в чем легко убедиться, пролистав подшивки таких журналов, как Scientometrics или Research Evaluation [92].

Оценка исследователей

На следующем уровне оцениваются отдельные исследователи. С распространением и принятием модели Берлинского университета в 1810 году в большинстве университетов, присваивающих степени магистра и кандидата наук, профессор должен также быть исследователем. Руководство университета (в централизованных системах это министерство, а в случае автономных учреждений – декан или завкафедрой) чаще всего обращается к внешним по отношению к данному факультету экспертам, прежде чем нанять новых преподавателей на постоянную должность (tenure) или повысить их в должности [93]. Эти эксперты, которые выбираются среди коллег, выносят общее суждение об оригинальности работ кандидата. После вступления кандидата в должность оценивание проводится реже и его характер сильно варьируется в зависимости от стран и институций.

Использование библиометрических данных для индивидуальной оценки исследователей стало вызывать возражения с самого зарождения библиометрии как метода, и Гарфилд мгновенно отреагировал на это беспокойство. Прибегнув к яркому образу, он предположил, что было бы абсурдно каждый год вручать Нобелевскую премию наиболее часто цитируемым авторам. Ведь если, по его словам, исходить из одного лишь показателя цитируемости научных работ, то следовало бы признать Лысенко одним из величайших исследователей 1950-х годов [94]. По мнению Гарфилда, ссылки позволяют находить статьи и тех, кто их цитирует, тем самым помогая составить мнение о том или ином исследователе. Но подсчет ссылок не может заменить собой процесс оценки, при котором необходимо учитывать и другие переменные. Число полученных ссылок, в частности, зависит от характера статьи. Статья методологического характера, описывающая конкретную методику, цитируется гораздо дольше, чем обычный текст, представляющий новые результаты по тому или иному предмету. Точно так же обзорная статья, передающая актуальное состояние знаний в данной области, будет ожидаемо цитироваться в течение длительного времени, даже если она не содержит результатов какого-либо открытия.

Будучи горячим сторонником использования ИНЦ, Гарфилд утверждал, что анализ цитирования позволяет предсказать, кому будет присуждена Нобелевская премия [95]. Но это было явным преувеличением: хотя Thomson Reuters и делает регулярно такие предсказания, чтобы популяризировать использование ИНЦ, они все-таки нереалистичны, поскольку один анализ ссылок не позволяет учесть все разнообразие исследовательских областей, а также стратегии Нобелевских комитетов, которые заботятся о соблюдении баланса между дисциплинами от года к году. А главное, часто цитируемых авторов слишком много по сравнению с небольшим числом Нобелевских премий, присуждаемых ежегодно [96].

Гарфилду как основателю Индекса научного цитирования было очевидно, что любой инструмент может быть использован не по назначению и необоснованно. «Научному сообществу надлежит предотвращать злоупотребления при использовании ИНЦ, обращая должное внимание на его корректное использование» [97]. Ту же позицию он занимает и в отношении журнального импакт-фактора, который был создан для помощи в отборе журналов библиотечными работниками, но который, как мы видим, в отсутствие критической рефлексии превратился в инструмент оценивания исследователей.

Несмотря на эти призывы к бдительности, библиометрия начала постепенно проникать в процесс оценивания исследователей уже с 1970-х годов. Как отмечает социальный психолог Джанет Бавелас, академический мир начиная с 1960-х годов настолько изменился, что стало невозможным, как прежде, назначать профессоров лишь по принципу включенности в персональные сети ( old boy network ) и основываясь на авторитете деканов или заведующих кафедрами [98]. И как раз в момент поиска системы оценки, которую можно было бы считать более демократической, объективной и менее произвольной, стал доступен Индекс научного цитирования. К тому же быстрый рост числа вузовских преподавателей и исследователей в течение этого периода (1965–1975) делал еще более сложным поиск и отбор кандидатур, которых стало слишком много, чтобы все могли знать их лично. Добавим к этому, что цифры с давних пор обладают аурой объективности [99]. Так были созданы все необходимые предпосылки к тому, чтобы цитирование стало использоваться как показатель качества.