Леонард Млодинов - (Не)совершенная случайность. Как случай управляет нашей жизнью

Работы Лапласа и Лавуазье, а также ряда других ученых, прежде всего Шарля-Огюстена де Кулона, проводившего опыты с электричеством и магнетизмом, преобразили экспериментальную физику. Кроме того, эти работы внесли вклад в развитие в 1790-х гг. новой метрической системы, пришедшей на смену множеству разрозненных и несопоставимых систем, тормозивших развитие науки и нередко служивших причиной споров между торговцами. Новую метрическую систему, разработанную группой ученых, сформированной по указу Людовика XVI, революционное правительство узаконило уже после падения Людовика. По иронии судьбы, Лавуазье был одним из членов этой группы.

Требования как астрономии, так и экспериментальной физики были таковы, что на долю математиков конца XVIII — начала XIX вв. выпали прежде всего осмысление и подсчет случайной ошибки. Их усилиями возникла новая область — математическая статистика, занимающаяся разработкой методов для интерпретации данных наблюдений и опытов. Специалисты в области статистики зачастую считают, что рост современной науки начался именно с этих разработок — с развития теории измерения. Однако статистические методы используются и для решения задач повседневной жизни: например, для оценки эффективности лекарственных препаратов или популярности политиков. Поэтому понимание правил осуществления статистических выводов важно не только для тех, кто занимается наукой, но и для каждого из нас.

Один из парадоксов нашей жизни заключается в том, что хотя измерения всегда несут в себе некоторую погрешность, когда речь заходит об измерениях, реже всего говорят именно о погрешности. Если въедливый полицейский докладывает судье, что его радиолокатор показал, будто бы вы ехали со скоростью 62 км в час в зоне, где допустимый предел скорости — 56, то штрафа вам не избежать, хотя в показаниях прибора возможны отклонения на несколько км в час {123} 123 Дискуссию на тему ошибок радиолокаторов смотрите: Nicole Weisensee Egan, «Takin' Aim at Radar Guns», Philadelphia Daily News, March 9, 2004. . И хотя большинство школьников (не говоря уже об их родителях) согласились бы даже спрыгнуть с крыши, если бы это увеличило балл на выпускном тесте по математике с 598 до 625, исследования, о которых вам расскажет редкий работник в области образования, показывают: достаточно высока вероятность получить лишних 30 баллов, если пройти тест еще разок-другой {124} 124 Charles T. Clotfelter and Jacob L. Vigdor, «Retaking the SAT» (working paper SAN01-20, Terry Sanford Institute of Public Policy, Duke University, Durham, N.C., July 2001). . А иногда малозначащие различия попадают в выпуски новостей. Некоторое время тому назад в августе Статистическое управление министерства труда США сообщило, что безработица находится на уровне 4,7%. В июле управление сообщало о показателе 4,8%. Изменение показателя немедленно нашло отражение в газетных заголовках; к примеру, вот что напечатала на первой странице «Нью-Йорк Таймс»: «Количество рабочих мест и уровень заработной платы за прошлый месяц несколько выросли» {125} 125 Eduardo Porter, «Jobs and Wages Increased Modestly Last Month», New York Times, September 2, 2006. . Однако, как замечает Джин Эпштейн, редактор отдела экономики «Barron's», «из того, что изменилась цифра, совершенно не обязательно следует, что изменилось положение дел. Например, всякий раз, когда показатель безработицы изменяется на десятую долю процента… изменение это столь незначительно, что никоим образом нельзя утверждать, будто бы оно вообще имело место» {126} 126 Gene Epstein on «Mathemagicians», On the Media, WNYC radio, broadcast August 25, 2006. . Иными словами, если Статистическое управление измерит показатель безработицы в августе и повторит измерение через час, то лишь благодаря случайной ошибке второе измерение будет с высокой вероятностью отличаться от первого по меньшей мере на десятую долю процента. И что. неужели мы прочитаем в «Нью-Йорк Таймс»: «Количество рабочих мест и уровень заработной платы к двум часам пополудни несколько выросли»?

Погрешность измерения становится еще более серьезной проблемой, когда количественные показатели приписываются субъективно, как в случае с сочинением Алексея. Например, группа исследователей в Пенсильванском университете Клэрион собрала 120 курсовых работ и проверила их с таким тщанием, с каким работы вашего ребенка не будут проверяться никогда: каждую курсовую независимо друг от друга оценивали восемь сотрудников факультета. Итоговые оценки (по шкале от A до F ) иногда различались на два и более деления шкалы. В среднем различие между ними составило около одного деления шкалы {127} 127 Legene Quesenberry et al., «Assessment of the Writing Component within a University General Education Program», November 1, 2000; http://wac.colostateedu/aw/articles/quesenberry2000/quesenberry2000.pdf . . Поскольку будущее студентов очень часто зависит от подобного рода оценок, столь высокая погрешность — факт довольно печальный. Однако ее можно понять, если учесть, что взгляды и философия профессоров любого факультета в любом из университетов охватывают весь диапазон от Карла Маркса до Граучо Маркса. Можно ли подвергнуть этот фактор контролю? Например, дать экзаменаторам четкие критерии оценивания и потребовать следования этим критериям? Исследователь в университете штата Айова предъявил около 100 студенческих работ группе аспирантов, специалистов в области риторики и коммуникации, которых заранее обучил применению подобных критериев {128} 128 Kevin Saunders, «Report to the Iowa State University Steering Committee on the Assessment of ISU Comm-English 105 Course Essays», September 2004; www.iastate.edu/~isucomm/InYears/ISUcomm_essays.pdf (accessed 2005; site now discontinued). . Каждую работу оценивали по шкале от 1 до 4 два независимых «экзаменатора». При сопоставлении оценок выяснилось, что мнения экзаменаторов совпали лишь примерно в половине случаев. Аналогичные результаты были получены в Техасском университете при анализе оценок за вступительное сочинение {129} 129 University of Texas, Office of Admissions, «Inter-rater Reliability of Holistic Measures Used in the Freshman Admissions Process of the University of Texas at Austin», February 22, 2005; http://www.utexas.edu/student/admissions/research/Inter-raterReliability2005.pdf . . Даже почтенная Центральная приемная комиссия признается, что в случае двух экзаменаторов, согласно ее ожиданиям, «92% сочинений получат оценки, различающиеся в пределах ±1 балла по шестибалльной шкале для сочинений» {130} 130 Emily J. Shaw and Glenn B. Milewski, «Consistency and Reliability in the Individualized Review of College Applicants», College Board, Office of Research and Development, Research Notes RN-20 (October 2004): 3; http://www.collegeboardcom/research/pdf/RN-20.pdf . .