Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Библиометрический анализ опровергает некоторые расхожие представления. Возьмем для примера средний возраст ссылок, содержащихся в пристатейных списках литературы. Часто приходится слышать, что цитируются только статьи менее четырех- пятилетней давности и что быстрый рост числа публикаций только усиливает тенденцию ссылаться на самые свежие результаты. Однако глобальное исследование временнóй динамики среднего (или даже медианного) возраста ссылок показывает, что на самом деле в последние тридцать лет он только увеличивается! [61] 61 См.: Vincent Larivière, Éric Archambault, Yves Gingras, “Long-term variations in the aging of scientific literature: from exponential growth to steady-state science (1900–2004),” Journal of the American Society for Information Science and Technology, 59, 2008, pp. 288–296. Точно так же несостоятельна идея о том, что бóльшая часть статей никогда не цитируется: в реальности доля нецитируемых статей снижается с течением времени, особенно с 1970-х годов [62] 62 См.: Matthew L. Wallace, Vincent Larivière, Yves Gingras, “Modeling a century of citation distributions,” in Journal of Informetrics , 3, 2009, pp. 296–303. . Значение данного показателя, разумеется, зависит от того, какой временной промежуток взят для анализа. Если ограничиваться двухлетним периодом, то удельный вес нецитируемых статей будет выше в социальных науках, чем в медико-биологических. Зато если увеличить этот временной интервал, например до десяти лет, то разрыв между дисциплинами сокращается. Так что прежде чем приниматься за оценивание, в особенности отдельно взятых исследователей, важно хорошо понимать технические характеристики цитирования.

Противники цитационного анализа приводят в качестве аргумента тот факт, что статьи с ошибочными и даже поддельными результатами исследований могут широко цитироваться, тогда как новаторские работы иногда игнорируются. Однако с точки зрения истории и социологии науки это не является проблемой. Напротив, изучая такие ссылки, можно выявить динамику научных споров, а также способы научной коммуникации и распространения знаний. Анализ цитирования также позволяет исследовать пути рецепции той или иной теории, не вынося при этом суждения о ее истинности или ложности, ведь этот аспект скорее относится к прерогативам самого научного сообщества. Рассмотрим для примера случай холодного ядерного синтеза, о котором с большой помпой объявили в 1989 году электрохимики Стэнли Понс и Мартин Флейшман. В исследовании, опубликованном ISI, демонстрируется, что через 10 месяцев после объявления об их революционном «открытии», в соответствии с которым ядерный синтез считался возможным при комнатной температуре в пробирке, 52 % ссылок на их статью носили негативный характер, 27 % — позитивный, а все остальные упоминания были нейтральными. Интересный факт: позитивную оценку давали в основном теоретики, пытавшиеся объяснить этот феномен [63] 63 См.: “Citations track the fate of cold fusion,” in New Scientist , 1713, 21 April 1990. .

Если статья не цитируется, это просто означает, что ученых не интересует ее тема. Впоследствии ученые могут заинтересоваться данным предметом и начать цитировать давнюю статью. В библиометрии этот феномен известен под названием «спящая красавица» ( sleeping beauty ) [64] 64 Anthony F. J. van Raan, “Sleeping beauty in science,” in Scientometrics , 59, 2004, pp. 461–466. . Так, статья итальянского физика Этторе Майораны по релятивистской теории вращения элементарных частиц, опубликованная в 1937 году, «проспала» до середины 1960-х, когда благодаря ускорителям было открыто большое количество новых частиц. И с тех пор данный вопрос получил актуальность, которой у него не было за тридцать лет до этого, когда единственными известными частицами были электрон и нуклон (протон/нейтрон) со спином ½. Однако следует отметить, что Майорана не был безвестным ученым и другие его публикации часто цитировались [65] 65 См.: Y. Gingras, “La carrière des publications d’Ettore Majorana. Une étude bibliométrique,” in Revue de synthèse , 134, 2013, pp. 75–87. .

Согласно другому расхожему мнению, важнейшие тексты того или иного ученого могут долгое время оставаться почти не замеченными. Так, в статье, часто приводимой в качестве примера критиками библиометрии, британский биолог Питер Лоуренс утверждает, что самая важная работа XX века очень редко цитировалась в первые десять лет после ее публикации [66] 66 Peter A. Lawrence, “The mismeasurement of science,” in Current Biology , 17, 2007, pp. R584–R585. . Поскольку речь шла о статье Уотсона и Крика о структуре ДНК, опубликованной в Nature в 1953 году, это утверждение меня заинтриговало. Надо заметить, что оба исследователя были награждены Нобелевской премией в 1963 году, спустя всего девять лет после своего открытия, что кажется очень коротким сроком. В этой связи представляется маловероятным, чтобы их текст остался незамеченным. Решив внимательнее рассмотреть этот случай, я методично проанализировал все ссылки на эту статью между 1953 и 1970 годами и пришел к выводу, что утверждение Лоуренса — это миф. Источник его — в неправильном использовании библиометрии, когда выводы делаются, основываясь на абсолютном числе ссылок, без учета специфики изучаемой научной области и периода, а также всей совокупности журналов, где встречаются ссылки на данный текст. Статья Уотсона и Крика вовсе не прошла незамеченной, напротив, вплоть до 1970 года она оставалась наиболее часто цитируемой среди текстов, опубликованных в Nature в 1953 году. К примеру, в период с 1953 по 1955 год она цитировалась в 36 раз чаще, чем в среднем другие статьи, вышедшие в Nature в 1953 году. А если вспомнить, что среднее значение этого показателя для журнала Nature сильно превышает его значение для совокупности статей, публикуемых во всех журналах по биологии вместе взятых, то становится ясно, что текст Уотсона и Крика стал широко известен сразу после публикации. В 1956–1958 годах его цитируют в 65 раз чаще, чем в среднем все другие статьи. Иными словами, социологическая догадка была верна: столь фундаментальные статьи не проходят незамеченными в рамках адекватного научного сообщества [67] 67 См.: Y. Gingras, “Revisiting the ‘quiet debut’ of the double helix: a bibliometric and methodological note on the ‘impact’ of scientific publications,” in Journal of the History of Biology , 43, 2010, pp. 159–181. .