Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Числа — это прекрасно и очень нужно, сказал бы я в той параллельной вселенной, но нужно быть осторожными и не позволять им порабощать нас. «Не все, что считается, может быть посчитано, — говорится в известном высказывании, — и не все, что может быть посчитано, считается» [234]. В современную эру компьютеров и алгоритмов некоторые социологи об этом забыли. Как выразился критик-культуролог Леон Визельтир в New York Times , «есть „метрики“ для явлений, которые просто не могут быть метрически измерены. Числовые ценности приписываются вещам, которые не могут быть выражены в числах» [235]. Этот наивный позитивизм распространяется повсеместно, занимая области, в которых ему нечего делать. Как поэтически выразился Визельтир, «где раньше была мудрость, теперь будет подсчет».

На самом деле я с ним даже согласен. Для слишком многих людей числа являются священными тотемами, дарящими божественное откровение. По-настоящему одаренные математически люди знают, что числа — инструменты, ничего более, а их качество может варьироваться от никудышного до великолепного. Грубая версия системы конечного результата Кодмана, которая просто подсчитывает процент выживших пациентов, может привести к тому, что какая-нибудь больница похвастается 100 %-ной выживаемостью пациентов — умолчав, что просто не принимает серьезных больных. Числа необходимо постоянно проверять и улучшать, что может оказаться весьма нервным процессом, потому что он бесконечен. Прогрессирующее улучшение достижимо. Идеал — нет [236].

Именно так я воспринимаю результат Брайера, которым оценивается точность прогнозов, — как несовершенный. Одна из проблем заключается в том, что он оценивает ложные сигналы тревоги так же, как промахи. Но когда дело доходит до вещей вроде террористических атак, людей гораздо больше волнуют именно промахи, а не ложные сигналы тревоги. К счастью, эту проблему исправить несложно. Достаточно заранее предупредить прогнозистов: «Ложно-утвердительные результаты будут стоить вам в 10 раз меньше ложно-отрицательных», — чтобы они могли откорректировать в соответствии с этим свои суждения.

Но то, что система оценивания требует некоторых поправок, вовсе не значит, что она не вносит больших улучшений. Вспомните рейтинги кредитования, которые так часто подвергаются критике. Десятилетия назад, когда их не существовало, кредитный специалист принимал решение практически произвольно — и ваша судьба зависела от того, не напомнили ли вы ему кого-нибудь неприятного, или хорошо ли он спал ночью, или нет ли у него стереотипов об «инертных черных» или «ветреных женщинах». Возможно, кредитные истории далеки от идеала, но все-таки они представляют собой значительный прогресс. Также и я, хоть и не могу говорить, что моя система оценивания идеальна, все равно утверждаю, что она лучше, чем та, что используется для оценки прогнозиста в наши дни: по его титулам, уверенности, умению рассказать интересную историю, количеству проданных книг, появлений на CNN и времени, проведенному в Давосе.

Но даже самый скептически настроенный профессор гуманитарных наук, я полагаю, признает эти аргументы. Проблема лежит глубже — и возвращает нас к высказыванию относительно исчисляемого, которое не всегда считается.

Весной 2013 года я встретился с Полом Саффо, футуристом и сценарным консультантом из Силиконовой долины. В этот период на Корейском полуострове зрел очередной тревожный кризис, поэтому, описывая Саффо идею турнира прогнозистов, я упомянул заданный IARPA вопрос: попытается ли Северная Корея запустить многоступенчатую ракету в период между 7 января и 1 сентября 2013 года? Саффо счел вопрос тривиальным. Он сказал, что несколько полковников в Пентагоне могли бы им заинтересоваться, но вряд ли бы его задало большинство людей. «Более фундаментальный вопрос — „Чем все это обернется?“. И он куда сложнее». Затем Саффо предложил собственный ответ, длинный и гладко переходящий со страны на страну, с лидера на лидера, — яркое представление, знакомое каждому, кто посещал научно-исследовательские конференции или смотрел выступления экспертов по телевидению. Но был ли Саффо прав? Я даже сегодня не знаю. То, что он сказал, было слишком расплывчато, чтобы судить, — типичная форма для ответов на большие, важные вопросы из серии «чем все это обернется?».

Таким образом, мы сталкиваемся с дилеммой. То, что имеет значение, — большой вопрос, но ответ на него нельзя оценить. Маленький вопрос не имеет значения, но ответ на него можно оценить, поэтому турнир IARPA его задал. Вы могли бы сказать: мы с таким упорством пытались выглядеть учеными, что посчитали то, что не считается.