Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Сложите вместе все эти соображения — и мы готовы приступать. Как Арчи Кокрану и другим пионерам медицины, основанной на свидетельствах, нам нужно проводить аккуратно организованные эксперименты. Собрать прогнозистов. Задать им, избегая двусмысленностей, большое количество вопросов с конкретными временными рамками. Потребовать от прогнозистов, чтобы они использовали выраженные в числах степени вероятности. И подождать какое-то время. Если исследователи сделали свою работу, результаты будут четкими. Информацию можно проанализировать и получить ответы на ключевые вопросы («Насколько хороши прогнозисты?», «Кто из них лучший?», «Что их отличает?»).

Этим я и начал заниматься в середине 1980-х, но сразу натолкнулся на сложности. Несмотря на то, что я практически умолял лучших специалистов принять участие в исследовании, никто из них не согласился. И тем не менее я умудрился завербовать 284 серьезных профессионала, дипломированных эксперта, зарабатывающих на жизнь анализом политических и экономических тенденций и событий. Некоторые из них были из академической среды — университетов или НИИ. Другие работали в разных департаментах правительства США, в международных организациях вроде Всемирного банка или Международного валютного фонда или в СМИ. Кое-кто из них даже был довольно знаменит, другие хорошо известны в профессиональных сообществах, некоторые только начинали карьеру и пока ничем не прославились. И все равно следовало гарантировать им анонимность, потому что даже те эксперты, которым далеко было до уровня элиты вроде Тома Фридмана, не хотели рисковать своими репутациями ради нулевой профессиональной отдачи. Анонимность также гарантировала, что участники не будут испытывать давления или бояться попасть впросак, а значит, сделают лучшие предположения. Эффекты публичности могли подождать до следующего исследования.

Первые вопросы, заданные экспертам, касались их самих. Возраст? (Средний — сорок три года.) Рабочий опыт в соответствующей области? (Средний — 12,2 года.) Образование? (Почти все прошли постдипломную подготовку, у половины — кандидатские степени.) Также их спросили об идеологических воззрениях и предпочтительных подходах к решению политических проблем.

Вопросы для прогнозов задавали временны́е рамки от одного до десяти лет вперед и затрагивали различные темы, поднимающиеся в текущих новостях: политических и экономических, местных и международных. На такие темы обычно рассуждают эксперты в СМИ и коридорах власти. Это означало, что нашим экспертам иногда попадались вопросы по их специализации, но чаще — нет, что позволило сравнивать точность прогнозов настоящих профессионалов и умных и хорошо информированных любителей. В общем и целом наши эксперты сделали примерно 28 тысяч предсказаний.

На задавание вопросов ушли годы. Затем потянулось ожидание — испытание терпения даже для людей со стажем. Я начал эксперимент, когда Михаил Горбачев и советское Политбюро были ключевыми игроками, вершащими судьбы мира. К тому моменту, когда началось оформление результатов, СССР существовал только на исторических картах, а Горбачев снимался в рекламе для «Пиццы Хат». Окончательные результаты появились в 2005-м — спустя 21 год, шесть президентских выборов и три войны после того, как я поучаствовал в комиссии Национального совета по исследованиям, заставившей меня задуматься о прогнозировании. Я опубликовал результаты в академическом трактате «Экспертное политическое суждение ( Expert Political Judgment ): насколько оно хорошо? Откуда мы можем это узнать?». В целях упрощения я буду называть всю эту исследовательскую программу аббревиатурой EPJ .

Если перед тем, как открыть эту книгу, вы не знали комических результатов EPJ , то сейчас они вам уже известны: среднестатистический эксперт оказался точен примерно как шимпанзе, играющий в дартс. Но, как предупреждают студентов на вводных уроках статистики, средние показатели могут вводить в заблуждение. Отсюда старая шутка про статистиков, которые спят, сунув ноги в духовку, а голову в морозилку из-за комфортности средней температуры.

По результатам EPJ эксперты разделились на две статистически отличающиеся группы. Первая не смогла подняться выше произвольного угадывания, а в долгосрочных прогнозах умудрилась проиграть даже шимпанзе. Вторая группа обошла шимпанзе, хоть и не с разгромным счетом, так что особых поводов для гордости у них тоже не было. На самом деле они всего лишь слегка превзошли простые алгоритмы вроде «всегда предсказывай отсутствие изменений» или «предсказывай текущий уровень изменений». И все же, каким бы скромным ни был их дар предвидения, он имелся.