Дэн Хиз - Ловушки мышления. Как принимать решения, о которых вы не пожалеете

Раздраженный Тетлок решил разработать методику, которая впервые заставила бы экспертов отвечать за свои слова {80}. Он нанял на работу 284 специалиста, зарабатывавших на жизнь «комментариями или советами по политическим или экономическим вопросам». Почти все они имели ученые степени, более половины были докторами философии [62]. Их мнениями постоянно интересовались, 61 % из них давали интервью средствам массовой информации.

Он попросил каждого сделать прогноз в своей области знаний. Экономистам задавали вопросы типа:

Учитывая экономические показатели, следует ли нам ожидать, что в течение двух ближайших лет темпы роста ВВП ускорятся, замедлятся или останутся примерно такими же?

Политологам задавали следующие вопросы:

Вы считаете, что после следующих выборов в США настоящее должностное лицо / партия [то есть демократы или республиканцы] потеряет контроль, сохранит контроль со снижением поддержки населения или сохранит контроль с повышением поддержки населения?

С точки зрения методики вопросы обычные – ничего более сложного, чем выбор из нескольких вариантов и заполнение опросника. Но Тетлок старался добиться предельной четкости формулировок, чтобы экспертам некуда было спрятаться в случае ошибки. Так, с середины 1980-х он начал понемногу собирать прогнозы. Когда он понял, какие это богатые и интересные данные, его энтузиазм возрос. К 2003 году он накопил 82 361 прогноз. Два года спустя он опубликовал свой блестящий анализ в книге под названием «Экспертное политическое мнение: насколько оно правильно? Как узнать?» (Expert Political Judgment: How Good Is It? How Can We Know?).

Хорошо ли работают эксперты? Да они вообще не справляются, мягко говоря. Даже лучшие составители прогнозов делают это хуже, чем так называемый алгоритм сырой экстраполяции – простое вычисление, в котором учитываются базовые ставки и делается предположение, что тенденции последних нескольких лет не изменятся (например, прогноз, что экономика, которая в течение последних трех лет вырастала в среднем на 2,8 %, продолжит расти на 2,8 %). Если вы вспомните советы из предыдущей главы – доверять ли экспертам в отношении базовых ставок, но не предсказаний, – то результаты Тетлока не станут для вас сюрпризом.

Тетлок сообщает плохую новость: «Подсчитывая баллы и переменные в разных регионах в разные периоды времени… невозможно найти какую-либо область , в которой люди явно превосходили бы алгоритм сырой экстраполяции». Другими словами, если вы дали подростку некоторую информацию по базовым ставкам и способу расчета, он запросто сделает лучший прогноз, чем эксперты.

Дополнительное образование не повышает точности. Тетлок обнаружил: доктора наук делают прогнозы не лучше, чем люди без ученой степени. Опыт также не оказывает значительного влияния: эксперты с двадцатилетним стажем не лучше, чем новички. Однако одна черта действительно имела прогностическую ценность: внимание СМИ. Эксперты, которые чаще выступали в средствах массовой информации, как правило, оказывались худшими специалистами по прогнозам (это подтвердит любой, кто провел хотя бы час, смотря новости по кабельному телевидению). Это факт. Эксперты с безупречной репутацией работают хуже, чем бездумные алгоритмы, которые помогают рассчитать, что в этом году повторится лишь то, что случилось в прошлом.

К сожалению, ученые мужи не единственные, кто испытывает проблемы с прогнозированием. Предыдущие исследования показали, что психологи, врачи, инженеры, юристы и автомеханики также плохие специалисты по прогнозам. В одной статье в академическом издании, где приводится обзор этого исследования, есть подзаголовок, хорошо отражающий суть: «Почему специалисты знают так много, а предсказывают так плохо?» Означает ли это, что заключения специалистов ничего не стоят? Нет. В какой-то момент Тетлок дал группе психологов из Беркли [63]ряд основных фактических данных по политике и экономике различных стран и попросил их сделать соответствующие прогнозы. Они справились еще хуже. Например, когда студенты объявляли себя на 100 % уверенными в каком-либо событии, то ошибались в 45 % случаев. Когда были полностью уверены эксперты, они ошибались «всего лишь» в 23 % случаев. (Что тоже неудовлетворительно. Представьте, если бы такой «точностью» обладал домашний тест на беременность.)

Так что данные показывают: если вы хотите сделать прогноз, то применение базовых ставок эффективнее, чем мнения экспертов, которые лучше, чем прогнозы новичков (замыкают шествие люди, которые ушли в леса за несколько дней до 2000 года, поверив прогнозам о крушении цивилизации).