Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Долгое время оценивание науки ограничивалось оценкой публикаций коллег и соперников в научном поле. Поначалу журналы имели общий профиль и охватывали несколько областей, а позже, в течение XIX века, специализировались и стали отраслевыми. С появлением дисциплинарных журналов связано формирование относительно независимых друг от друга областей, объединяющих исключительно представителей одной дисциплины (химия, математика, физика и т. п.) [84] 84 См.: Y. Gingras, Sociologie des sciences, op. cit ., pp. 48–51. .

До начала XX века оценивание носило достаточно формальный характер: редактор журнала или редколлегия решали, достаточно ли им компетенции, чтобы самим оценить предложенный текст, а если нет, то выбирали среди своего близкого окружения эксперта, способного написать отчет о значимости присланного текста. Доля отказов в публикации в целом была очень незначительной. Даже в Annalen der Physik , ведущем журнале по физике начала XX века, по оценкам Макса Планка, отказы составляли менее 10 %, и сам он предпочитал скорее предложить внести исправления в текст, чем отказывать своим коллегам в публикации [85] 85 См.: Lewis Pyenson, “Physical sense in relativity: Max Planck edits the Annalen der Physik , 1906–1918,” in Annalen der Physik , 17, 2008, pp. 176–189. .

А вот пример того, как медленно развивался процесс оценивания. В 1936 году Альберт Эйнштейн, привыкший к тому, что его публикации принимались быстро и без возражений, был удивлен тем, что статья, предложенная им в американский Physical Review , прошла оценку анонимного рецензента, написавшего в своем отчете, что великий ученый ошибся в своих расчетах! Эйнштейн ответил, что никогда не давал разрешения редактору показывать кому-либо свой текст до публикации, и не счел целесообразным отвечать на комментарии, показавшиеся ему ошибочными, сообщив редакции журнала, что попросту отзывает свой текст. По всей видимости, он тогда просто не знал, как функционирует этот американский журнал, который тогда более строго следовал процедурам, чем его европейские аналоги. Однако это не помешало ему учесть замечания рецензента и опубликовать на следующий год отредактированную версию своей статьи в другом журнале [86] 86 См. подробнее эту историю в: Daniel Kennefick, “Einstein versus the Physical Review ,” in Physics Today , 58, September 2005, pp. 43–48. .

Схожий процесс коллегиального оценивания имеет место и при подаче заявок на финансирование исследований. Система грантов институционализировалась в течение XX века в большинстве стран, где стали появляться агентства по финансовой поддержке научных исследований, особенно после Второй мировой войны. Во Франции в 1901 году была создана Касса научных исследований для финансирования индивидуальных исследовательских проектов. Впоследствии такие гранты стали выдаваться как министерствами, так и Национальным центром научных исследований (CNRS). Созданное в 2005 году Национальное агентство исследований (ANR) является продолжением и наиболее ярким выражением этого тренда. В Северной Америке подобные агентства по финансированию науки, независимые от министерств, имеют гораздо более давнюю историю. Канадский Национальный совет научных исследований с 1916 года распределяет гранты среди исследователей, подавших свои научные проекты [87] 87 См.: Y. Gingras, Les Origines de la recherche scientifique au Canada (Montréal: Boréal, 1991). . Однако в США ведущая роль в этом процессе перешла к федеральному центру лишь в 1950 году, когда был создан Национальный научный фонд (ННФ) [88] 88 См.: James M. England, A patron for pure science: the National Science Foundation’s formative years, 1945–57 (Washington D. C., NSF, 1982). . Оценка проектов, зачастую в форме живого обсуждения в рамках комитетов из 10–20 человек, долгое время оставалась достаточно неформальной и слабо регулируемой — компромисс по вопросу выбора лучших проектов достигался в ходе непосредственного общения. Как показали социологи Джонатан и Стивен Коулы, в этой системе есть значительная доля произвольности и одни и те же проекты могут оцениваться очень по-разному в зависимости от состава комитета [89] 89 Stephen Cole, Jonathan R. Cole, Gary A. Simon, “Chance and consensus in peer review,” in Science , 214, 1981, pp. 881–886. . Известно также, что критерии, используемые членами экспертных комиссий, значительно разнятся в зависимости от дисциплины и содержат весомую долю артистического произвола: так, проект, который одному кажется «впечатляющим», «захватывающим» и «оригинальным», другой расценивает как «непоследовательный» и «методологически слабый» [90] 90 См. подробное исследование критериев оценки в: Michèle Lamont, How professors think. Inside the curious world of academic judgment (Cambridge, MA: Harvard University Press, 2009). .