Бен Орлин - Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность

Байесовцам безразлично, пользуемся ли мы условным фильтром фантомов, чтобы отсеять ложные результаты. Они заботятся о том, позволяют ли новые данные поколебать наши предварительные оценки.

Байесовцы чувствуют, что пробил их час. Они утверждают: режим приверженцев частотной вероятности потерпел крах и пришло время провозгласить новую эру. Поклонники частотной вероятности парируют: предварительные суждения слишком произвольны, чересчур уязвимы, дают широкие возможности для злоупотреблений. Они предлагают свои собственные реформы, например снижение порога p -значения от 0,05 (т. е. 1 из 20) до 0,005 (т. е. 1 из 200) [178].

Пока специалисты по статистике предаются размышлениям, наука не стоит на месте. Исследователи в области психологии начали медленный, сложный процесс борьбы с хакерскими взломами p -значения. Они составили манифест реформ во имя прозрачности: предварительная регистрация исследований; перечисление всех измеренных переменных; регламент, заранее предписывающий, когда прекращать сбор данных и в каких случаях исключать значения, которые резко выделяются на общем фоне. Все это означает: если ложноположительные результаты проскочили фильтр p -значения ниже 0,05, вы можете заглянуть в статью и ознакомиться с результатами 19 предыдущих неудачных попыток. Один эксперт сказал мне, что эти реформы существенно важнее, чем вопросы математической философии.

Между прочим, моя дипломная работа отвечает большинству из этих стандартов. Я перечислил все собранные переменные, не исключал резко выделяющиеся результаты и разъяснил, что анализ носит предварительный характер. Тем не менее, когда я показал эту главу Кристине, она заметила: «Забавно читать в 2018 году диплом десятилетней давности. Сегодня все мои студенты предварительно фиксируют свои гипотезы, размеры выборки и т. д. Насколько же мы выросли и как многому мы научились!»

Все это должно замедлить поток варваров, прорывающихся сквозь ворота. Однако еще остается проблема с теми варварами, что засели внутри цитадели науки. Есть всего один способ выявить их: повторные исследования.

Представьте, что тысяча человек предсказывают, как выпадут десять монет. Скорее всего, одна из догадок окажется верной. Но, прежде чем вы начнете щелкать селфи с новоиспеченным другом-экстрасенсом, нужно повторить эксперимент. Попросите его снова (и, возможно, еще пару раз) предсказать, как выпадут десять монет. Настоящий экстрасенс выдержит это испытание. Тот, кому просто повезло, сядет в лужу.

То же самое относится ко всем положительным результатам. Если вывод верен, повтор эксперимента в принципе должен привести к тому же выводу. Если вывод ложен, он рассеется, как мираж.

Повтор экспериментов — медленная и неблагодарная работа. Она требует времени и денег, но не ведет к сенсационным открытиям. Однако психологи понимают, что поставлено на карту, и начинают изгонять своих демонов. В 2015 году были опубликованы результаты нашумевшего проекта по тщательному повтору экспериментов ста психологических исследований [179]. Новостные заголовки запестрели информацией о том, что выводы 61 из них не подтвердились.

Мне кажется, что эта мрачная новость свидетельствует о прогрессе. Сообщество исследователей трезво вглядывается в зеркало и признает правду, какой бы ужасной она ни была. Теперь социальные психологи надеются, что представители других наук, например медики, последуют их примеру.

Наука никогда не утверждала свою непогрешимость или сверхчеловеческое совершенство. Всегда речь шла о здоровом скептицизме, проверке всех гипотез. В этой борьбе статистика — сильный союзник. Да, она позволяет ученым вырваться на передовую, но также помогает в случае необходимости отступить назад.

На третьем десятке лет я провел, наверное, около 5000 школьных уроков. Взрослые наблюдали не больше 15 из них. Даже в наше время подотчетности школ классная комната остается непрозрачным, тускло освещенным, малоизученным местом. Я понимаю, почему политики и посторонние отчаянно хотят заглянуть внутрь. И по-моему, будет увлекательно посмотреть их глазами, каким образом они пытались разглядеть внутреннюю работу школы и повлиять на нее.