За первый год GJP обошел официальную контрольную группу на 60 %. За второй год — на 78 %. GJP оказался лучше своих соперников — Мичиганского университета и МТИ, причем с заметным отрывом, от 30 до 70 %, и обогнал даже профессиональных разведывательных аналитиков, имеющих доступ к секретной информации. По итогам двух лет результаты GJP настолько превосходили результаты его конкурентов, что IARPA рассталась с остальными командами [11] P. E. Tetlock, B. Mellers, N. Rohrbaugh, and E. Chen. Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate // Current Directions in Psychological Science. 2014. P. 290–295.
.
Позже я углублюсь в детали; сейчас же хочу просто отметить два ключевых вывода этого исследования. Первый: дар предвидения существует на самом деле. Некоторые люди, вроде Билла Флэка обладают им в избытке. Они, конечно, не гуру и не оракулы, способные заглянуть на десятилетия в будущее, но у них есть реальный, измеримый талант прогнозировать то, как в течение трех, шести, двенадцати или восемнадцати месяцев могут развернуться важные события. Второй вывод касается того, почему прогнозисты так успешны. Суть не в том, кто они, а в том, что они делают. Предсказание — не загадочный дар, дающийся при рождении; это результат определенного хода мысли, сбора информации, уточнения своих представлений. Соответствующие мыслительные привычки может выработать и культивировать в себе любой умный, думающий, целеустремленный человек. Причем начать обучение не так уж сложно. Меня больше всего удивил совершенно неожиданный результат проведенного исследования — тот эффект, который оказывает на участников руководство, излагающее базовые принципы прогнозирования. Позже мы его рассмотрим и познакомимся с кратким его содержанием, данным в приложении в виде Десяти заповедей. Чтобы прочитать это руководство, нужен всего час; при этом оно улучшило точность предсказаний примерно на 10 % в течение всего турнирного года. Да, на первый взгляд, 10 % — довольно скромная планка, но ведь она была достигнута практически без дополнительных усилий. Не стоит забывать, что даже скромные улучшения предвидения, выработанные с течением времени, в сумме дают неплохой результат. Я говорил об этом с Аароном Брауном — автором книг, ветераном Уолл-стрит и главным менеджером по рискам AQR Capital Management , хедж-фонда с активами на сумму более 100 миллиардов долларов. «Разницу сложно заметить, потому что она не очень внушительна, — сказал он, — но, учитывая длительность эффекта, это разница между человеком, который постоянно выигрывает и зарабатывает этим себе на жизнь, и человеком, который неизменно терпит крах» [12] Аарон Браун, в беседе с автором, 30 апреля 2013 года.
. Международная звезда покера, которую мы позже встретим на страницах этой книги, полностью бы с ним согласилась. Разница между корифеями и дилетантами, как она считает, в том, что корифеи видят разницу между ставкой 60 к 40 и ставкой 40 к 60.
И все-таки: если точность предвидения можно улучшить с помощью измерений и если получаемые в результате преимущества столь существенны, почему же измерения точности прогнозов не являются общепринятой практикой? По большей части ответ на этот вопрос лежит в области нашей психологии: мы убеждаем себя, что знаем то, о чем на самом деле понятия не имеем, — например, точный ли прогнозист Том Фридман. В главе 2 я подробно рассмотрю эту психологическую особенность. Она веками тормозила прогресс в медицине. Когда врачи наконец признали, что их опыт и восприятие — ненадежные средства оценки эффективности лечения, они обратились к научному тестированию — и только после этого медицина начала быстрыми шагами двигаться вперед. Та же самая революция должна произойти и в прогнозировании.
Осуществить ее будет непросто. Глава 3 расскажет, какие усилия нужно приложить, чтобы тестировать предсказания так же тщательно, как современные экспериментальные методы лечения. Это сложнее, чем может показаться. В конце восьмидесятых я разработал методологию и составил на тот момент самую большую аналитическую подборку политических прогнозов экспертов. Одним из ее результатов много лет спустя стал тот самый анекдот, который теперь вызывает у меня раздражение. Другое же открытие, совершенное в ходе моего исследования, не получило и десятой доли внимания, уделенного анекдоту, хотя заслуживает его гораздо больше: из всех экспертов одна группа действительно обладала хоть и скромной, но реальной способностью к предвидению. В чем же заключалась разница между «способными» экспертами и совершенно безнадежными, опустившими общий результат до уровня играющего в дартс шимпанзе? Дело не в каком-то мистическом даре, и не в доступе к информации, которой нет у других, и не в определенной совокупности воззрений — как раз мнения у них зачастую расходились очень широко, и не имело значения, что именно они думали. Важно то, как они думали.
Читать дальше