Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Эту фразу обычно приписывают Эйнштейну, но на самом деле ее автор — скорее всего, социолог Уильям Брюс Кэмерон, если верить Quote Investigator : http://quoteinvestigator.com/ 2010/05/26/everything-counts-einstein/.

Leon Wieseltier. Among the Disrupted // New York Times . 2015. January 18.

Elisabeth Rosenthal. The Hype over Hospital Rankings // New York Times . 2013. July 27. Усилия, которые предпринимаются, чтобы определить «суперов» (супербольницы, суперучителей или суперразведывательных аналитиков), легко снять со счетов по двум причинам: 1) превосходство многогранно, а мы можем лишь несовершенно отразить некоторые из этих граней (выживаемость пациентов, или результаты тестов, или результат Брайера); 2) как только мы назначаем официальную метрическую систему, мы создаем соблазн обмануть ее: не принимать тяжелых больных или выгонять проблемных учеников. Но решение проблемы не в том, чтобы отбросить все мерила. Решение в том, чтобы не переусердствовать с их интерпретацией.

Thomas Friedman. Iraq Without Saddam // New York Times . 2002. September 1.

Thomas Friedman. Is Vacation Over? // New York Times . 2014. December 23.

Caleb Melby, Laura Marcinek, and Danielle Burger. Fed Critics Say ‘10 Letter Warning Inflation Still Right // Bloomberg. 2014. October 2. http://www.bloomberg.com/news/articles/2014–10–02/fed-critics-say-10-letter-warning-inflation-still-right.

Некоторые считают, что название «Священный Грааль» очень подходит проекту, поскольку он очень наивен. При таком уровне враждебности невозможно объединить противоборствующие лагеря. Джонатан Хайдт обосновал пессимистический подход в проницательном исследовании 2012 года «Праведное сознание». Но даже несколько успешных случаев уже стали бы чудесными прецедентами. Есть веские причины предполагать, что, как только люди начинают делать прогнозы в турнирах с публичным обнародованием победителей, они становятся более непредвзятыми. Примечательно, что на публичном турнире IARPA гораздо больше выверенных прогнозов по сравнению с моими прошлыми турнирами EPJ , гарантировавшими анонимность. А результаты лабораторных экспериментов еще более очевидны. Публичные турниры создали форму ответственности, приучающую к возможности неправоты. Турниры оказывают эффект, который Сэмюел Джонсон приписывал виселице: они помогают концентрировать сознание (в случае турниров — для того чтобы избежать репутационной смерти). См.: P. E. Tetlock and B. A. Mellers. Structuring Accountability Systems in Organizations / ed. B. Fischhoff and C. Chauvin // Intelligence Analysis: Behavioral and Social Scientific Foundations . Washington, DC: National Academies Press, 2011. P. 249–270; J. Lerner and P. E. Tetlock. Accounting for the Effects of Accountability // Psychological Bulletin 125. 1999. P. 255–275.

Выдуманная, несуществующая страна. — Примеч. ред.

Билл Флек, в беседе с автором, 5 августа 2014 года.

Jo Graven McGinty. To Find a Romantic Match, Try Some Love Math // Wall Street Journal . 2015. February 14.

Greg Mankiw. The Overoptimism of Research Assistants. http://gregmankiw.blogspot.com/2013/11/the-excessive-optimism-of-research.html.

Обязательно, необходимо (фр.). — Примеч. ред.

Есть и альтернативная гипотеза. Разные подходы к подсчету вероятности в случае со спортом и терроризмом можно защитить тем, что спортивные события повторяются, а поиски Бен Ладена были единичным случаем. То, что Обама был более уверен, когда речь шла о спорте, вполне извинительно: суждения о баскетболе основываются на результатах предыдущих игр, в то время как суждения о терроризме словно извлечены из воздуха. Эту теорию могли бы подтвердить или опровергнуть ответы на два вопроса: 1) Так ли ясны высказывания Обамы об очевидно повторяющихся событиях уровня национальной безопасности, например атаках беспилотников, как его высказывания о спорте? 2) Стали бы политики отказываться от своих «предубеждений» в области менее повторяемых событий, если бы знали, что эти суждения так же надежны, как суждения по поводу более повторяемых событий? К сожалению, тестирование последней гипотезы невозможно, потому что политики не видят ценности в сборе вероятностных суждений о событиях, которые кажутся уникальными, не говоря уже об оценке их точности.

Tommy Lasorda and David Fisher. The Artful Dodger. New York: HarperCollins, 1986. P. 213.

Одиннадцатая «заповедь», представляющая собой оксюморон, напоминает нам о необходимости творческого подхода. Например, подготовка к «беспрецедентному» — к таким черным лебедям, как изобретение атомной бомбы, суперкомпьютеров и генной инженерии, — требует не так строго придерживаться ключевых заповедей: меньше полагаться на исторические базовые ставки и чаще кричать: «Волк!» при виде «маловероятных» сценариев. Конечно, бесплатного сыра не бывает. Сценаристы с богатым воображением обычно не могут сделать большую ставку на редкое событие с большими последствиями (попасть в цель) и одновременно не сделать такие же большие ставки на события, которые никогда не произойдут (промахнуться). Решим ли мы, что цена, заплаченная за увеличившееся количество попаданий, слишком высока, — зависит от того, насколько низким будет уровень ложных попаданий и как хорошо мы сумеем застраховать себя от событий, которые остальные не смогут себе представить. Как я уже говорил, суперпрогнозирование — это постоянная эквилибристика.