Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Для того чтобы упорядочить этот субъективный процесс, постепенно стали вводиться балльные системы оценивания, основанные на подсчете баллов, выставленных каждым членом комиссии, — иначе говоря, коллективное рейтингование. Однако за внешней объективностью этой арифметики суть осталась неизменной, ведь решение поставить галочку в компьютерной программе под оценкой 2,5, а не 4,0 остается абсолютно непрозрачным и не поддающимся анализу. Квантификация вынесенных суждений, перекодирующая «супер!» в цифру 3, а «ничтожество» — в 1,5, ни в коей мере не отменяет фундаментальной субъективности суждения, а лишь скрывает ее за кажущейся объективностью цифры. Однако благодаря этой процедуре становится возможно произвести некоторые арифметические операции с оценками отдельных членов комиссии: вычислив «среднее арифметическое» этих суждений, можно определить «дисперсию» оценок и сфокусировать процесс принятия решения на суждениях, сильно отклоняющихся от этого среднего показателя. Если все участники поставили 2, то консенсус оказывается полным, а суждение окончательным по сравнению с каким-нибудь другим проектом, где средний показатель 4. При этом не имеет значения, если за одной и той же оценкой стоят суждения, вынесенные каждым в соответствии со своими особыми критериями. Итак, здесь по-прежнему действует модель дискуссии, имеющая целью убеждение и достижение компромисса (или по крайней мере большинства голосов) для отбора лучших проектов. А квантификация оценки на самом деле служит лишь упорядочиванию процесса обмена мнениями и более быстрому достижению коллективного решения.

С начала 1970-х годов библиометрию использовали финансирующие науку организации, такие как ННФ, чтобы выяснить, позволяет ли процесс коллегиального оценивания выявлять лучших исследователей. Было показано, что в области химии более 80 % грантов получают исследователи, на которых в предыдущие пять лет ссылались в среднем более 60 раз, и что публикации ученых с четырех лидирующих университетских факультетов, получающих бóльшую часть грантов, цитируются примерно 400 раз за тот же самый период. Эти результаты послужили ответом критикам процесса оценивания, утверждавшим, что он является по сути своей предвзятым [91] 91 См.: Thane Gustafson, “The controversy over peer review,” in Science , 190, 12 December 1975, pp. 1060–1066. . С тех пор этой теме было посвящено множество библиометрических исследований как по отдельным факультетам или исследовательским группам, так и по целым университетам, в чем легко убедиться, пролистав подшивки таких журналов, как Scientometrics или Research Evaluation [92] 92 См.: R. N. Kostoff, “Performance measures for government-sponsored research: overview and background,” in Scientometrics , 36 (3), 1996, pp. 281–292; см. также: Fabien Jobard, “Combien publient les politistes. La productivité des politistes du CNRS et leurs supports de publication,” in Revue française de science politique , 60, 2010, pp. 117–133. .

На следующем уровне оцениваются отдельные исследователи. С распространением и принятием модели Берлинского университета в 1810 году в большинстве университетов, присваивающих степени магистра и кандидата наук, профессор должен также быть исследователем. Руководство университета (в централизованных системах это министерство, а в случае автономных учреждений — декан или завкафедрой) чаще всего обращается к внешним по отношению к данному факультету экспертам, прежде чем нанять новых преподавателей на постоянную должность (tenure) или повысить их в должности [93] 93 См. анализ суждений по поводу найма профессоров в: Christine Musselin, Le Marché des universitaires (Paris: Presses de Sciences Po, 2006). . Эти эксперты, которые выбираются среди коллег, выносят общее суждение об оригинальности работ кандидата. После вступления кандидата в должность оценивание проводится реже и его характер сильно варьируется в зависимости от стран и институций.

Использование библиометрических данных для индивидуальной оценки исследователей стало вызывать возражения с самого зарождения библиометрии как метода, и Гарфилд мгновенно отреагировал на это беспокойство. Прибегнув к яркому образу, он предположил, что было бы абсурдно каждый год вручать Нобелевскую премию наиболее часто цитируемым авторам. Ведь если, по его словам, исходить из одного лишь показателя цитируемости научных работ, то следовало бы признать Лысенко одним из величайших исследователей 1950-х годов [94] 94 См.: Eugene Garfield, “Citation indexes in sociological and historical research,” in American Documentation , 14 (4), 1963, pp. 289–291. . По мнению Гарфилда, ссылки позволяют находить статьи и тех, кто их цитирует, тем самым помогая составить мнение о том или ином исследователе. Но подсчет ссылок не может заменить собой процесс оценки, при котором необходимо учитывать и другие переменные. Число полученных ссылок, в частности, зависит от характера статьи. Статья методологического характера, описывающая конкретную методику, цитируется гораздо дольше, чем обычный текст, представляющий новые результаты по тому или иному предмету. Точно так же обзорная статья, передающая актуальное состояние знаний в данной области, будет ожидаемо цитироваться в течение длительного времени, даже если она не содержит результатов какого-либо открытия.