Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Хорошо откалиброванный, но трусливый (сверху);

хорошо откалиброванный и смелый (снизу)

Математическая основа этой системы была разработана Гленом В. Брайером в 1950 году. Соответственно, ее результаты называются результатами Брайера. По сути, они показывают дистанцию между вашим прогнозом и тем, что на самом деле случилось. Поэтому тут как в гольфе: чем ниже результаты, тем лучше. Идеал — ноль. Прогноз от подстраховщика с вероятностью 50 на 50 или произвольное угадывание в целом даст результат Брайера 0,5. Прогноз, максимально неверный, — то есть такой, в котором утверждается, что событие произойдет с вероятностью 100 %, а оно не происходит, — получает катастрофический результат 2,0, настолько удаленный от Истины, насколько это вообще возможно [56] Результат Брайера «правильный», потому что побуждает прогнозиста высказывать свое настоящее мнение, а не подстраивать его под политические требования. Прогнозист, которого заботит только результат Брайера, выскажет свое искреннее мнение, что, допустим, есть 4 % вероятности, что Иран проведет ядерные испытания в 2015 году; но прогнозист, который переживает, что его назначат козлом отпущения, может поднять процент вероятности, чтобы не допустить возможных обвинений впоследствии — «но вы же говорили, что вероятность всего 4 %!». Результат Брайера предусматривает потери в репутации из-за самоуверенности, и они соответствуют финансовым потерям, которые несут игроки, допустившие такие же ошибки. Если вы не готовы сделать ставку в соответствии с вашим расчетом вероятности, пересчитайте вероятность. Glenn W. Brier. Verification of Forecasts Expressed in Terms of Probability // Monthly Weather Review 78. 1950. № 1. P. 1–3; Robert L. Winkler. Evaluating Probabilities: Asymmetric Scoring Rules // Management Science 40. 1994. № 11. P. 1395–1405. .

Итак, мы прошли долгий путь. У нас есть вопросы для прогнозирования с четко сформулированными терминами и временны́ми рамками. У нас есть много предсказаний с числами и есть математическая основа для подсчета результатов. Мы устранили двусмысленность настолько, насколько это вообще в человеческих силах, и готовы полным ходом отправиться в эпоху Нового Просвещения, так?

Не вполне. Вспомните: основная суть наших занятий — определение возможности оценить точность предсказаний, чтобы понять, что в прогнозировании работает, а что нет. Чтобы сделать это, мы должны интерпретировать значение результатов Брайера, что требует еще двух параметров: эталона для сравнения и сопоставимости.

Давайте предположим, что у вас обнаружили результат Брайера 0,2. Это далеко от божественного всезнания (0), но намного лучше угадывания шимпанзе (0,5), так что такой результат соответствует уровню ожидания от, скажем, человеческого существа. Но этим дело не ограничивается. Значение результата Брайера зависит от того, на что именно составляется прогноз. Например, очень просто представить обстоятельства, при которых результат Брайера 0,2 будет выглядеть разочаровывающим. Например, возьмем погоду в Фениксе, штат Аризона. Каждый июнь там очень жарко и солнечно. Прогнозист, который будет следовать бездумному правилу «всегда ставь 100 % на жарко и солнечно», получит результат Брайера, близкий к нулю, и легко обставит результат 0,2. Настоящее мастерство покажет здесь только тот прогнозист, который способен на большее, нежели бездумно предсказывать «без изменений». Это момент всегда недооценивают. Например, после президентских выборов 2012 года Нейта Сильвера, а также Сэма Вонга из Принстона и других предсказателей превозносили за то, что они угадали итоги по всем пятидесяти штатам, но при этом почти никто не заметил, что самое грубое универсальное предсказание «без изменений» (если штат голосовал за демократов или республиканцев в 2008 году, он сделает то же самое в 2012-м) дало бы результат 48 из 50. Поэтому восторженные восклицания, слышные в то время: «Он угадал все 50 штатов!» — самую малость преувеличивали суть дела. К счастью, предсказатели выборов — профи, они знают, что улучшение прогнозов, как правило, происходит миллиметр за миллиметром.

Еще один эталон сравнения — другие прогнозисты. Кто может обставить всех остальных? Кто может побить совокупный прогноз? Как они умудряются это делать? Чтобы ответить на эти вопросы, требуется сравнить результаты Брайера — что, в свою очередь, требует равных условий. Прогноз погоды в Фениксе гораздо легче предсказания погоды в Спрингфилде, штат Миссури, где она постоянно меняется, так что несправедливо было бы сравнивать результаты Брайера метеорологов в Фениксе и в Спрингфилде. Результат Брайера 0,2 в Спрингфилде может быть знаком того, что перед нами — метеоролог мирового класса. Вывод простой, но несет в себе важную подоплеку: выкапывание старых прогнозов из газет редко предоставляет возможность сравнить, так сказать, яблоко с яблоком, потому что вне пределов турниров прогнозисты редко предсказывают одинаковые события в один и тот же временной период.