Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

В качестве одного из основных показателей интернационализации журнала можно рассматривать географическое происхождение публикующихся в нем авторов. Например, в 2000–2012 годах 81 % авторов American Journal of Sociology (AJS) работали в США, тогда как доля британских авторов в British Journal of Sociology составляла 61 %. Так, мы видим, что первый журнал – в основном американский, то есть локальный, и менее международный по степени своей открытости, чем второй или даже чем канадский аналог AJS, в котором только 72 % авторов – канадцы. Для измерения международной заметности этих журналов можно также посмотреть на языковое разнообразие цитирующих их статей. И здесь обнаруживается, что 97 % ссылок на American Journal of Sociology приходится на англоязычные статьи и только 3 % – на статьи на других языках. Для сравнения, например, только 64 % ссылок на французский журнал Actes de la recherche en sciences sociales происходят из франкоязычных источников, 26 % – из англоязычных и 3 % – из немецкоязычных. Географическое происхождение ссылок также указывает на более ярко выраженный локальный характер American Journal of Sociology , поскольку две трети ссылок происходят из США. Для сравнения, лишь 40 % учтенных в Web of Science ссылок на статьи, напечатанные в Actes de la recherche en sciences sociales , имеют источником французские издания [131]. Итак, мы видим, что хотя общий объем цитирования американского журнала в десять раз выше, чем у французского журнала, это вовсе не означает большей степени его интернационализации.

Будучи глухими к этим тонкостям, как и к рискам возможных злоупотреблений, сторонники механистической количественной оценки опираются исключительно на статистику, способствуя вытеснению из процесса оценивания качественного аспекта, считающегося субъективным. Количественные показатели могут анализироваться людьми, абсолютно далекими от рассматриваемой научной области. Но парадокс состоит в том, что для оценки исследователя необходимо собрать комиссию, состоящую из коллег, хорошо разбирающихся в своей области. Эти специалисты хорошо знают, какие журналы являются лучшими в их области, и не нуждаются в списке, составленном группой неизвестных экспертов, распределивших журналы по категориям A, B и С. Напротив, людям, ничего не понимающим в данной области, эти рейтинги дают основание считать, что они выносят обоснованное суждение. Но они и не должны принимать участие в оценочных комиссиях! Распространение все новых плохо сконструированных показателей, таким образом, способствует вытеснению компетентной оценки, которая должна принимать во внимание показатели продуктивности, но интерпретировать их в специфическом контексте. И тот факт, что некоторые исследователи участвуют в разработке этих рейтингов и сами пользуются этими бессмысленными показателями, ничуть не отменяет того, что данные методы минимизируют роль качественной оценки научной работы, заменяя ее оценками механистическими.

За оценку без рейтингов

Часто путают оценку и рейтингование. В действительности это две совершенно разные операции. Если вторая подразумевает первую, то первая вовсе не обязательно приводит ко второй. В отличие от оценки, которая призвана в определенный момент времени подвести промежуточный итог работе, проделанной индивидом или организацией, и адресуется прежде всего данному человеку или организации, рейтинг всегда связан с публичностью и пиаром. Но донесение до общественности – процесс отнюдь не безобидный, чреватый побочными эффектами, способными причинить ущерб репутации.

Следует также различать официальный и неофициальный рейтинги. Любой исследователь спонтанно ранжирует для себя журналы своей дисциплины. Некоторые журналы более престижны, чем другие. Ученый-физик знает, что ему лучше публиковаться в Physical Review Letters , чем в Il Nuovo Cimento . Но эти субъективные и более-менее общепринятые рейтинги подвижны и различаются от человека к человеку. Однако ситуация кардинально меняется, когда официальная организация публикует официальный список, где во всеуслышание объявляется, что журналу Il Nuovo Cimento присвоена оценка C, а журналу Physical Review Letters – оценка A. Такая официализация неизбежно порождает негативные эффекты, к которым не приводят спонтанные рейтинги среди самих исследователей. Действительно, журнал X публикует множество статей, и некоторые из них оригинальные, выдающиеся и более значительные, чем статьи, опубликованные в журнале Y . И исследователи, внимательно следящие за развитием своей научной области, это прекрасно знают. Благодаря неформальному общению внутри сообщества и различным типам взаимодействий складывается спонтанная, подвижная и нестигматизирующая оценка. Таким образом, негласная иерархия журналов в той или иной научной области ни в коей мере не равнозначна официальному рейтингу.