Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Могу сказать, что не был полностью согласен с методологией, предлагавшейся в этом исследовании. Прогнозы Intrade смогли переиграть FiveThirtyEight только после того, как Вольферс и Ротшильд произвели в своей методике ряд корректировок постфактум; в противном случае выигрывал FiveThirtyEight {705}. Возможно, еще более важным является тот факт, что новый прогноз FiveThrityEight достаточно часто приводил к движению цены Intrade в том же направлении. Это могло означать, что игроки пытались использовать мои прогнозы для спекуляций (по крайней мере, до какой-то степени).

Тем не менее существуют достаточно сильные эмпирические и теоретические свидетельства, что в агрегированном изучении различных прогнозов есть свои преимущества. В целом ряде дисциплин, начиная от макроэкономического прогнозирования и заканчивая политическими опросами, простое среднее значение из нескольких прогнозов зачастую позволяет снизить ошибку прогнозирования на 15 или 20 % {706}.

Однако, перед тем как вы начнете объединять и выводить среднее из данных, вам следует учитывать три следующих обстоятельства.

Во-первых, хотя агрегированный прогноз будет, в сущности, всегда лучше, чем обычный индивидуальный прогноз, это не значит, что он обязательно будет хорошим . Например, даже агрегированные макроэкономические прогнозы слишком грубы, чтобы предсказать рецессию более чем за несколько месяцев. При этом они все же лучше прогнозов отдельных экономистов.

Во-вторых, целый ряд свидетельств показывает, что данный принцип мудрости толпы работает, когда прогнозы сначала делаются независимо и лишь затем усредняются. В рынке с реальными ставками (включая фондовый рынок) люди могут и действительно реагируют на поведение друг друга. В условиях, когда толпа начинает вести себя более динамично, групповое поведение становится более сложным.

В-третьих, хотя агрегированный прогноз и лучше типичного индивидуального, он не всегда оказывается лучше, чем лучший из индивидуальных прогнозов. Возможно, например, что где-то в мире существует фирма, анализирующая политические события настолько хорошо и точно, что нам лучше использовать именно ее данные и не смешивать их с данными менее точных коллег.

Однако при изучении результатов в долгосрочной перспективе почти всегда оказывалось так, что агрегированный прогноз оказывается лучше любого индивидуального. Можно привести такой пример. Исследование экономических индикаторов высококлассных компаний показало, что агрегированный прогноз их изменений в течение ряда лет оказывался лучше, чем прогнозы, созданные любым из 70 экономистов, входивших в состав группы экспертов {707}. Другие работы Вольферса, в которых изучались предсказания результатов футбольных игр в рамках НФЛ, показали, что основанные на консенсусе прогнозы букмекеров были на 99,5 % точнее, чем прогнозы отдельных участников {708}. И это, безусловно, распространяется и на политические опросы. Модели, в которыхк результатам одного-единственного опроса относятся, как к Святому Граалю, гораздо чаще допускают примечательные ошибки {709}. Снижение величины ошибки на 15–20 % при совмещении прогнозов может казаться не особенно впечатляющим результатом, однако ему сложно что-то противопоставить на конкурентном рынке.

Поэтому я сказал Вольферсу и Ротшильду, что готов признать принцип, лежащий в основе их заключения, хотя и не согласен с некоторыми деталями. Людям, делающим ставки на Intrade, ничто не мешает использовать прогнозы FiveThirtyEight для создания своих предсказаний, равно как и пользоваться любой другой информацией, которую они считают уместной (например, прогнозами наших конкурентов). И, разумеется, они могут неправильно интерпретировать имеющуюся у них информацию, поэтому испытывать проблемы.

Но нельзя считать прогнозы FiveThirtyEight, как и любой другой компании, совершенно безупречными. Казалось, что Вольферс разочарован тем обстоятельством, что я был готов уступить свои позиции. Если я не уверен в том, что могу победить Intrade, то почему просто не присоединиться к ним и не пользоваться их предсказаниями как своими собственными?

«Честно говоря, я удивлен вашей реакцией, – сказал он мне. – Если есть что-то, способное переигрывать всех конкурентов, то почему вы продолжаете заниматься своей работой?» На это я ответил, что, прежде всего, нахожу создание прогнозов интересным делом с интеллектуальной точки зрения – и они увеличивают трафик на мой блог.