Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Хациус, мягкий почти до меланхолии немец, занимающий должность главного экономиста Goldman Sachs с 2005 г. {396}, через восемь лет после начала работы в компании вызывает уважение даже у тех, кто скептически относится к большим банкам.

«[Ян] очень хорош, – рассказывал мне Пол Кругман. – Я надеюсь, что присущее Ллойду Бланкфейну злорадство не отразится на Яне и его людях». Кроме того, Хациус на удивление спокойно относится к своей способности предсказывать направление развития экономики США.

«Никто даже не представляет себе, – рассказывал он мне на встрече в офисе Goldman со стеклянными стенами, расположенном на Уэст-стрит в Нью-Йорке, – насколько сложно прогнозировать цикл бизнеса. Понимание сути такого комплексного процесса, как экономика, – это невероятно сложный процесс».

С точки зрения Хациуса, у людей, занимающихся экономическими прогнозами, имеются три фундаментальные проблемы. Во-первых, очень сложно выявить причинно-следственные связи на основании анализа одной лишь экономической статистики. Во-вторых, экономика постоянно меняется, поэтому объяснения экономического поведения, подходящие для одного цикла бизнеса, могут быть неприменимы для другого. И, в-третьих, плохи не только сами прогнозы экономистов, но и данные, с которыми им приходится работать.

Ежегодно правительство рассчитывает около 45 тыс. экономических показателей {397}, а в частных источниках отслеживается не менее 4 млн данных {398}. Многие экономисты поддаются искушению закинуть все эти данные в блендер и заявить о том, что возникающая в результате каша представляет собой образец высокой кухни. С момента окончания Второй мировой войны в стране было всего 11 рецессий {399}. Если у вас есть статистическая модель, которая призвана объяснить 11 реальных событий, но должна выбирать для этого исходные данные из 4 млн входных параметров, многие из выявленных вами связей будут ложными (это еще один классический пример оверфиттинга – ошибочного принятия шума за сигнал – проблема в предсказании землетрясений, описанная в главе 5).

Только представьте себе, насколько креативным нужно быть, когда набор экономических переменных, имеющихся в вашем распоряжении, представляет собой перечень толщиной с телефонный справочник. Например, когда-то основным показателем экономического развития считался победитель Суперкубка по американскому футболу. Начиная с Суперкубка I, состоявшегося в 1967 г. и заканчивая Суперкубком XXXI в 1997 г., рост фондового рынка до конца года {400}составлял в среднем 14 %, если кубок выигрывала команда из Национальной футбольной лиги (NFL) {401}. Если же выигрывала команда из Американской футбольной лиги (AFL), то рынок падал почти на 10 %.

До 1997 г. этот индикатор достаточно точно «предсказывал» направление развития фондового рынка в 28 из 31 случаев. Однако стандартный тест статистической значимости показывает {402}, что вероятность того, что экономический рост является следствием спортивного результата, составляет лишь 1 к 4 700 000.

Разумеется, это было всего лишь совпадением, и со временем индикатор начал давать сбои. В 1998 г. Суперкубок выиграла команда Denver Broncos из Американской футбольной лиги. Очевидно, что это можно было считать плохим знамением. Однако вместо того, чтобы упасть, фондовый рынок вырос на 28 % на фоне бума доткомов. В 2008 г. команда New York Giants из NFL обыграла в финале благодаря потрясающему маневру Дэвида Туре команду New England Patriots из AFL. Но даже Туре не смог предотвратить коллапса пузыря на жилищном рынке, заставившего рынок рухнуть на 35 %. Фактически с 1998 г. фондовый рынок вел себя на 10 % лучше, когда Суперкубок выигрывала команда из AFL, то есть показывал результат, строго противоположный тому, что прогнозировал индикатор.

Каким же образом этот индикатор, невзирая на всю свою статистическую невероятность, мог, как казалось, предсказывать будущее? Это происходило по той же самой причине, по которой, несмотря на крайне небольшие шансы выигрыша в лотерею Powerball (1 шанс из 195 000 000 {403}), кто-то выигрывает джекпот каждые несколько недель. Шансы любого участника лотереи минимальны, но, поскольку ежемесячно продаются миллионы билетов, кому-то обязательно везет.

Точно так же, учитывая, что в мире оцениваются миллионы статистических показателей, может случиться, что некоторые из них очень хорошо коррелируют с ценами на акции, показателем ВВП или уровнем безработицы. Если не победитель Суперкубка, то, допустим, им может стать показатель поголовья кур в Уганде. Однако эта связь будет не более чем результатом совпадения.