Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Посредственный лектор, но в то же время проницательный писатель, обладавший чутьем к драматическим сюжетам, он оставался отличным и востребованным собеседником за обедом. Интересы Фишера были невероятно широкими. Один из лучших биологов и генетиков своего времени, но при этом беззастенчивый сторонник элитизма, он искренне оплакивал тот факт, что у представителей бедных классов имелось значительно больше потомства, чем у интеллектуалов {580}(сам Фишер, следуя собственным убеждениям, с осознанием собственного долга дал жизнь восьмерым отпрыскам).

Возможно, Фишер в большей степени, чем кто-либо еще, отвечает за то, какими статистическими методами мы широко пользуемся в настоящее время. Он разработал терминологию проверки статистической значимости и значительную часть соответствующей методологии. Он не относился к числу больших поклонников Байеса и Лапласа, но именно он впервые использовал термин «байесовский» (Bayesian) в опубликованной статье, причем довольно уничижительным образом {581}, а в другой статье утверждал, что теория Байеса «должна быть полностью отвергнута» {582}.

Фишер и его современники не видели проблемы в формуле, называемой теоремой Байеса, как таковой , поскольку это обычное математическое выражение. Скорее, они беспокоились о том, как следует ее применять. В частности, у них вызывало вопросы понятие байесовского априорного значения {583}. Оно казалось им слишком субъективным: мы должны заранее предусмотреть, насколько вероятным мы считаем какое-то событие, прежде чем пуститься в эксперименты? Не противоречит ли это понятиям объективной науки?

Поэтому Фишер и его современники решили разработать набор статистических методов, которые, как они надеялись, освободят нас от любого возможного негативного влияния предубеждений и искажений. Это направление статистики обычно называется «фреквентизм» (frequentism), хотя также его называют «фишеровской статистикой» (в противовес байесовской) {584}.

Идея фреквентизма состоит в том, что неопределенность в статистической проблеме возникает исключительно из-за того, что сбор данных производится на выборке, а не на всей популяции. Это имеет вполне разумные основания, когда мы изучаем, допустим, результаты политических опросов. Например, при проведении опросов в Калифорнии выборка составляет всего 800 человек, а не 8 млн, которые придут голосовать на очередных выборах, в результате возникает так называемая ошибка выборки. Величина ошибки, которую вы видите в описании политических опросов, измеряет именно это – насколько велика вероятность ошибки из-за того, что вы опрашиваете 800 представителей популяции из 8 млн? Методы фреквентистов как раз и призваны дать этому параметру количественную оценку.

Однако даже в контексте политических выборов ошибки выборки не всегда позволяют рассказать всю историю. В течение короткого интервала между конференцией демократической партии в Айове и первичными выборами демократической партии в Нью-Гемпшире в 2008 г. в последнем штате было опрошено около 15 тыс. человек {585} – невероятно много для столь небольшого штата, притом что предел погрешности теоретически составлял ±0,8 %. Однако реальная ошибка оказалась в 10 раз выше: Хиллари Клинтон выиграла выборы в штате с перевесом в 3 %, хотя, по данным опросов, уступала Бараку Обаме 8 %. Ошибка выборки – единственный тип ошибки, которому фреквентисты дают право на существование, – была, пожалуй, меньшей из проблем, возникшей при проведении опросов в Нью-Гемпшире.

Кроме того, некоторые организации, занимающиеся опросами, стабильно демонстрируют искажение в сторону той или иной партии {586}. С тем же успехом они могли бы опросить все 200 млн взрослых американцев и все равно получить неверные результаты. Байес разобрался с этими проблемами уже 250 лет назад. Если вы используете искаженный инструмент, то не важно, как много измерений вы произведете, вы неправильно сформулировали цель.

По сути, фреквентистский подход к статистике пытается изо всех сил утвердиться в мысли о том, что частая причина неверных предсказаний – это человеческая ошибка. Этот подход рассматривает неопределенность как нечто, присущее эксперименту, а не нашей способности понимать реальный мир. Фреквентистский метод также предполагает, что чем больше данных мы собираем, тем меньше становится ошибка. Со временем она приблизится к нулю. Таким образом, наличие данных считается необходимым и достаточным для решения любой проблемы. Многие из куда более проблемных вопросов предсказания, описанных в этой книге, связаны с областями, в которых полезные данные встречаются крайне редко, и порой их сбор действительно является важным и ценным делом. Однако неправильное использование этого метода вряд ли поставит вас на верный путь к статистическому совершенству. Как заметил Иоаннидис, эра Больших данных лишь ухудшает проблемы ложных позитивных выводов в исследовательской литературе.