Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Несмотря на неоднократные призывы к инновациям в сфере оценки (сюда относится и недавнее движение altmetrics , альтернативной метрики, которая основана на социальных сетях, но еще более проблематична, чем обычный анализ цитирования), для конструирования показателей в научной сфере имеется ограниченное число исходных данных. На входе мы имеем научно-педагогические кадры, инструменты, бюджеты и виды деятельности, производимые при помощи этих ресурсов. На выходе же получаем публикации (книги, отчеты и статьи), патенты, конференции и, конечно же, выпускников вузов и их профессиональные карьеры. Чтобы отследить импакт, применение или результаты ( outcomes – менее четкий, но более широкий по охвату термин, чем «импакт»), можно прибегнуть к анализу цитирования статей, промышленного внедрения идей или, к примеру, занятости дипломированных специалистов. В эпоху интернета мы можем также наблюдать появление новых индикаторов, таких как число просмотров электронной версии статей или число скачиваний. Итак, конструирование показателей опирается на совсем небольшое число параметров, по-разному комбинируя которые можно корректно оценивать различные эффекты научной деятельности.

Источники данных

Составить список данных, необходимых для оценки научных исследований, нетрудно. Другое дело – убедиться в том, что они надежны и что стоимость доступа к этим данным не слишком высока. Базы данных по затратам на науку и результативности исследований не всегда доступны в подходящем виде. Такова, к примеру, ситуация с общей суммой ассигнований на научные исследования, получаемых университетами, поскольку не все страны собирают подобные данные централизованно. И сбор этих данных может быть дорогостоящим.

Что касается научных публикаций, здесь доступны три источника: Web of Science (WoS), Scopus и Google Scholar. Доступ к первым двум осуществляется только по подписке, а вот третий находится (пока) в свободном доступе в интернете. Преимущество первых двух источников в плане оценки состоит в том, что их содержание контролируется и список входящих в них журналов известен. Однако их недостаток состоит в том, что доступ к ним стоит весьма дорого. Google Scholar находится в свободном доступе, однако проблема в том, что его содержание не контролируется и непрерывно меняется, настолько, что невозможно составить себе представление о его реальном содержании в тот или иной момент. Действительно, там можно обнаружить как статьи из реферируемых журналов, так и тексты, кем-то вывешенные на своей персональной веб-странице. Статьи могут появляться и исчезать, так что невозможен никакой контроль за валидностью показателей, рассчитываемых на основании этого источника. К тому же в этой базе данных не упоминается институциональный адрес авторов, что еще более ограничивает возможности ее использования в целях оценки. Наконец Google Scholar – потенциально манипулируемый источник [137].

Сириль Лаббе, французский программист из университета Жозеф-Фурье, показал, как можно манипулировать контентом Google Scholar таким образом, чтобы увеличить h-индекс фиктивного исследователя, названного им Ике Анткаре [138]. Он сфабриковал сотню коротких статеек, взаимно цитирующих друг друга, и вывесил их на веб-сайте. Когда они были проиндексированы Google Scholar, h-индекс этого фиктивного исследователя оказался равен 94, а ведь это почти невозможно для реального исследователя! Этот случай был использован для того, чтобы указать на ограниченность библиометрического метода. На самом же деле это ничего не доказывает по поводу библиометрии, а лишь ставит под вопрос состоятельность Google Scholar как базы данных для библиометрических изысканий. Трюк с Ике Анткаре был бы невозможен в Scopus или Web of Science, поскольку в них учитываются лишь журналы, публикующие анонимно рецензируемые статьи, а не спонтанно вывешиваемые в интернете документы. И хотя на агрегированном уровне наблюдается корреляция между результатами, полученными при использовании разных баз данных, в случае, когда оценка производится на индивидуальном уровне, качество базы данных имеет ключевое значение для правильной интерпретации показателей цитируемости.

Бесплатный и неконтролируемый доступ к Google Scholar и к интернету, в отличие от платного доступа к Scopus и Web of Science, разумеется, внес свою лепту в создание атмосферы оценочной анархии, которая нередко расценивается как демократизация [139]. В самом деле, теперь любой исследователь может попробовать измерить свою заметность и качество, состряпав спонтанный показатель, основанный на количестве посещений веб-страницы (hits) в Google Scholar и, с недавних пор, упоминаний в «Твиттере»! В результате в последнее время участились спонтанные применения оценивания и создание фиктивных показателей научного импакта, приводящие к некоторому хаосу в академическом мире, чьи представители не всегда способны адекватно оценить качество запускаемых в оборот измерений. Такие показатели способствуют созданию рейтингов, больше похожих на «черные ящики», но подающихся в качестве надежных фактов, которые должны приниматься во внимание чиновниками разных уровней при проведении научной политики.