Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Это совсем простая идея, но, как происходило в медицине в течение тысячелетий, ею стандартно пренебрегают. Например, ЦРУ дает своим аналитикам инструкцию, написанную Ричардсом Хейером, бывшим аналитиком, которая содержит в себе полезные психологические подсказки, включая предубеждения, которые могут помешать мышлению аналитика. Это тонкая работа. И в этом есть смысл: базовое знакомство с психологией может помочь аналитикам избегать когнитивных ловушек и таким образом выдавать лучшие суждения. Но так ли все на самом деле? Никто не знает. Это никогда не проверялось. Некоторые аналитики думают, что подобная подготовка имеет такую инстинктивную привлекательность, что ее не нужно подвергать проверке. Звучит знакомо, правда?

Даже на вопрос на 50 миллиардов долларов — «Насколько точны прогнозы разведывательных аналитиков?» — нет ответа. Конечно, некоторые думают, что они знают. Высокопоставленные чиновники могут утверждать, что РС не ошибается в 80 или 90 % случаев, но это только предположения. Как врачи XIX века, которые были уверены, что их лекарства излечивают пациентов в 80–90 % случаев, они могут быть правы, или почти правы, или совсем не правы. В отсутствие мерок для подсчета точности не существует ни одного осмысленного способа призвать разведывательных аналитиков к ответственности за точность. Заметьте слово «осмысленного» в последнем предложении. Потому что, когда директора национальной разведки тащат распекать в Конгресс — это тоже ответственность за точность. Пусть к ответу в данном случае призывают люди плохо проинформированные и своевольные, пусть процедура не служит никакой иной цели, кроме как политической игре на зрителя, но это ответственность. По контрасту, для того чтобы осмысленно призвать к ответственности, требуется не просто расстроиться, когда что-то пошло не так. Требуется систематическая оценка точности — по всем вышеизложенным причинам. Но прогнозы разведывательного сообщества никогда не подвергались систематической оценке. Вместо этого существует ответственность за процесс: разведывательным аналитикам говорят, что они должны делать, когда проводят исследования, думают и оценивают ситуацию, и они несут ответственность за соответствие этим стандартам. Рассматривали ли вы альтернативные гипотезы? Искали ли вы контрдоказательства? Это все разумно, но суть прогнозирования не в том, чтобы проставить галочки во всех пунктах списка «как делать прогноз», а в том, чтобы предвидеть будущее. Ответственность за процесс, а не за результат — это как если бы от врачей требовали, чтобы они мыли руки, осматривали пациента и думали обо всех симптомах, но не проверяли при этом, как работает назначенное ими лечение.

Разведывательное сообщество не одиноко в таком подходе к работе. Количество организаций, которые производят или покупают прогнозы, не заботясь о том, чтобы проверить их на точность, просто ошеломляет. Но благодаря шоку от катастрофы, которая случилась с предсказанием ОМП в Ираке, а также тычку со стороны комиссии Государственного совета по исследованиям и усилиям некоторых преданных своему делу чиновников, РС решило что-нибудь по этому поводу предпринять. А именно IARPA решило. Агентство передовых исследований в области разведки очень мало кому известно за пределами разведывательного сообщества. И это неудивительно. В этом агентстве нет шпионов и приключений, нет там и аналитиков, которые интерпретируют информацию. Его работа — организовывать и поддерживать исследования с высоким риском, но и высокой отдачей, которые повысили бы возможности РС. В этом IARPA похоже на DARPA , но последнее гораздо более знаменито, потому что оно крупнее, дольше существует и часто финансирует высокие технологии. Большинство разведывательных исследований не столь экзотично, хотя может иметь такую же важность для национальной безопасности.

Летом 2010 года два официальных представителя IARPA , Джейсон Мэтни и Стив Рибер, навестили Беркли. Мы с Барбарой Меллерс встретились с ними в отеле с видом на Сан-Франциско — настоящей приманкой для туристов. Новости, которыми они поделились, были такими же прекрасными, как открывавшаяся из окна панорама. Они планировали претворить в жизнь главную рекомендацию заключения Государственного совета по исследованиям — а я-то с уверенностью предсказал, что эта рекомендация благополучно покроется пылью. IARPA решила спонсировать масштабный турнир, чтобы выяснить, кто сможет изобрести лучшие методы для производства прогнозов, подобных тем, которые разведывательные аналитики делают каждый день. Сбежит ли президент Туниса в уютное изгнание в течение ближайшего месяца? Унесет ли начавшаяся эпидемия птичьего гриппа жизни более десяти человек в ближайшие шесть месяцев? Упадет ли евро ниже отметки 1,20 доллара в течение года?