Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

IARPA искала вопросы в обитаемой зоне сложности — не такие простые, чтобы на них мог ответить любой внимательный читатель New York Times , но и не до такой степени сложные, что на них не мог ответить ни один человек на планете. IARPA считала, что в обитаемой зоне можно будет найти новых талантливых прогнозистов и протестировать новые методы культивирования талантов. Будущий турнир не должен был походить на проведенное мною ранее исследование EPJ : самые большие временные рамки в нем предполагались меньше самых маленьких в моем. IAPRA не хотело тратить время и заставлять людей делать то, что, как мы теперь знаем, просто невозможно. Человеческое зрение никогда не сможет распознать нижнюю строчку таблицы Снеллена со стометрового расстояния. И как бы вы ни упражняли глазные мышцы, вы этого не измените. Как показало EPJ и другие исследования, человеческая система мышления никогда не сможет предсказать поворотные моменты в жизни людей и государств на несколько лет вперед, и никакие героические поиски суперпрогнозистов этого не изменят.

План IARPA заключался в том, чтобы с помощью турниров стимулировать лучших исследователей делать точные вероятностные оценки для вопросов из обитаемой зоны [70]. Команды исследователей будут соревноваться друг с другом и с независимой контрольной группой. Команды должны обойти общий прогноз («мудрость толпы») контрольной группы, причем с отрывом, который мы все тогда сочли устрашающим. IARPA хотело, чтобы за первый год команды превзошли этот стандарт на 20 %, а к четвертому году отрыв уже должен был достичь 50 %.

Но это было только частью плана. Внутри каждой команды исследователи могли проводить эксперименты в стиле Арчи Кокрана, чтобы определить, что́ на самом деле работает против внутренних контрольных групп. Например, исследователи думают, что базовый тренинг поможет улучшить точность прогнозистов. Но если они проведут тренинг всем прогнозистам, что это докажет? Если их точность возрастет, это может быть благодаря тому, что тренинг сработал. Или вопросы стали легче. Или прогнозистам просто повезло. Если же точность снизится, это может быть из-за того, что тренинг возымел обратный эффект, или, возможно, точность без тренинга снизилась бы еще сильнее. Не было бы ни одного способа это выяснить. Узнаете проблему? Та самая, с которой сталкивались врачи в течение всей истории медицины. Арчи Кокран увидел решение: прекратить притворяться, что ты что-то знаешь, и начать эксперименты. Тренинг можно было провести с одной случайно выбранной группой прогнозистов и не проводить с другой. Все остальные факторы не должны меняться. Затем сравниваются результаты. Если прогнозисты, прошедшие тренинг, стали более точными, чем не прошедшие, значит, он сработал.

Возможности исследований ограничивались только воображением, но, чтобы их реализовать, нам нужно было большое количество прогнозистов. Мы с коллегами распространили информацию о проекте через блоги и профессиональную сеть: «Хотите ли вы предсказывать будущее мира? У вас есть шанс! И вам даже не нужно выходить из дома: просто уделяйте каждый день какое-то время политически-экономическим загадкам и выдвигайте ваши лучшие предположения». Наши общие усилия не пропали даром. За первый год в проект записалось несколько тысяч добровольцев. Из них 3200 прошли нашу начальную серию психометрических тестов и приступили к работе. Мы, как я уже говорил, назвали нашу команду исследователей и всю программу «Проект „Здравое суждение“».

Исследования подобного масштаба стоят много миллионов долларов в год. Но не это делало инициативу IARPA такой дерзкой по бюрократическим меркам. В конце концов, ежегодный бюджет разведывательного сообщества около 50 миллиардов долларов — это больше, чем ежегодный ВВП большинства стран. Рядом с такой горой денег стоимость турнира IARPA выглядела скромным муравейником. Нет, дерзость крылась в том, что проект мог выявить.

Вот одно из возможных открытий: представьте себе, что вы собрали пару сотен обычных людей для предсказания геополитических событий. Вы видите, как часто они редактируют свои прогнозы и какова точность этих прогнозов, и используете эту информацию, чтобы отобрать около сорока лучших. Затем вы просите всех делать много прогнозов. На этот раз рассчитываете общий прогноз группы — «мудрость толпы», — но с дополнительной нагрузкой, данной сорока лучшим прогнозистам. Затем вы вносите в прогноз окончательную поправку — «экстремизируете» его, то есть сдвигаете ближе к 100 или к 0 %. Если в прогнозе указывается 70 % вероятности, вы можете повысить процент, скажем, до 85. Если 30 % — уменьшить до 15 [71].