Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

IARPA знало, что такое может случиться, когда устроило турнир, именно поэтому его решение так необычно. Тестирование, очевидно, может быть в интересах организации, но организация состоит из людей с собственными интересами, из которых самый явный — это сохранение и упрочение комфортного статус-кво. Как знаменитые и прославленные эксперты категорически не желают рисковать репутациями в ходе публичной проверки точности их предсказаний, точно так же и ключевые игроки внутри организаций вряд ли захотят попробовать свои силы в турнирах прогнозирования, если это будет означать, что их суждения подвергнутся проверке. Боб, сидящий в кресле генерального директора, не захочет знать, что какой-то экспедитор по имени Дэйв лучше прогнозирует состояние рынка, чем он сам, — не говоря уже о том, чтобы это узнали другие. Однако же IARPA пошло именно на такой шаг: поставило миссию разведывательного сообщества выше интересов конкретных членов этого сообщества. Во всяком случае, тех, которые не хотели раскачивать бюрократическую лодку.

Цель аргументов, которые здесь приведены, — убедить читателя. Но я надеюсь, что вы не убеждены по поводу этих суперпрогнозистов. Пока еще. Представьте, что я попросил каждого из моих 2800 добровольцев предсказать, как упадет монетка, которую собираюсь подбросить: орлом или решкой. Они предсказывают. Я бросаю монетку и записываю, кто был прав. Повторяю процедуру 104 раза (количество прогнозов, сделанных за первый год турнира). Результаты будут выглядеть как классическая гауссова кривая:

«Орел или решка»

Абсолютное большинство моих прогнозистов верно предсказали, как упадет монета, примерно в 50 % случаев — их можно найти в середине кривой. Но некоторые выдали другие результаты. Кто-то в основном ошибался (левая часть кривой), кто-то в основном угадывал верно (правая часть кривой). Что эти экстремальные результаты говорят нам о мастерстве людей, которые их получили? Если вы не верите в экстрасенсорику, то ничего. Тут нет никакого мастерства. Человек, правильно предсказывающий, как упадет монетка, не демонстрирует способность к прогнозированию падения монетки — не важно, сколько раз он это сделает, один или сто. Это все — чистая удача. Конечно, нужно много удачи, чтобы правильно угадать 70 % из 104 подбрасываний, и если в вашей игре участвовал только один угадывающий, это было бы крайне маловероятно. Но с 2800 участниками маловероятное становится вполне вероятным.

Это не сложные материи. Но неправильно интерпретировать случайность очень легко. У нас нет для нее интуитивного чувства. Случайность невидима с ракурса «за кончиком носа». Мы можем ее увидеть, только если посмотрим со стороны.

Психолог Эллен Лэнгер продемонстрировала, как плохо мы воспринимаем случайность, в серии экспериментов. В одном она попросила студентов Йельского университета поучаствовать в игре «Орел или решка» и угадать, как упадет подброшенная кем-то тридцать раз монетка. Студенты не могли видеть, как монетку подбрасывают, но им после каждого броска сообщали результаты. Результаты, правда, были подтасованы: у всех студентов оказался одинаковый результат — 15 угадываний и 15 промахов, но при том половине студентов сказали, что они угадали первые несколько раз подряд, в то время как другие начали с череды промахов. Затем Лэнгер спросила у студентов, как, по их мнению, у них получится, если эксперимент повторить. Студенты, которые начали с череды угадываний, имели завышенное представление о своих способностях и заявили, что снова будут блистать. Лэнгер назвала это «иллюзией контроля» и «иллюзией предсказания». Подумайте о контексте: в эксперименте участвовали студенты элитного университета, которые знали, что их интеллектуальные способности тестируют с помощью занятия, являющегося воплощением случайности. Как написала Лэнгер, можно было ожидать от них «сверхрациональности». Однако первый же результат, с которыми столкнулись студенты, обманул их и заставил искренне верить в то, что они могут предсказать случайные итоги [74].

За пределами лабораторий Йельского университета иллюзии подобного рода — обычное дело. Взять хотя бы деловые новости по телевизору, где говорящих голов часто представляют, упоминая их драматические успехи в прогнозировании: «Педро Зифф предсказал обвал 2008 года!» Это делается для укрепления их репутации, чтобы мы захотели узнать их следующий прогноз. Но даже если предположить, что предыдущий их прогноз был успешным — а это далеко не всегда соответствует действительности, — нам это практически ничего не говорит о точности гостя, как поняли бы зрители, если бы включили ненадолго мыслительную систему 2. Даже играющий в дартс шимпанзе может попасть в яблочко, если бросит достаточное количество дротиков. И любой может запросто «предсказать» очередной обвал биржевого рынка, если постоянно будет предрекать, что тот вот-вот обвалится. В то же время многие люди серьезно воспринимают эти пустые заявления.