Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Научный прогресс значительно сложнее поддается оценке, чем экономический {32}. Однако одним из его индикаторов может служить количество выданных патентов, особенно в области инвестиций в исследовательскую деятельность. Если после внедрения нового изобретения происходит снижение цен на тот или иной продукт, то это значит, что мы мудро используем имеющуюся информацию и успешно превращаем ее в знание. Если же цены начинают расти, это дает основания считать, что мы видим сигналы в шуме и напрасно тратим время, двигаясь в неверном направлении.

В 1960‑х гг. в Соединенных Штатах было потрачено около 1,5 млн долл. (с учетом инфляции {33}) на каждую патентную заявку {34}, поданную американским изобретателем. Однако на заре информационной эпохи эта цифра скорее росла , а не снижалась, а пиковое значение, достигнутое в 1986 г., составило примерно 3 млн долл. (рис. В. 3) {35}.

Рис. В. 3.Расходы на научно-исследовательскую работу, необходимые для подачи заявки на патент

По мере того как мы начали более реалистично оценивать пользу от применения новых технологий, ситуация стала вновь улучшаться в 1990‑е гг. Мы реже оказывались в тупиковых ситуациях; компьютеры сделали нашу повседневную жизнь лучше и стали помогать нашей экономике. Зачастую то, что выглядело прогрессивным в будущем, в скором времени приводило к регрессу. То, что кажется предсказуемым в долгосрочной перспективе, способно нарушить наши самые продуманные планы в настоящем.

В наши времена модным стал термин «Большие данные» [2]. По расчетам компании IBM, мы ежедневно создаем 2,5 квинтильона байтов данных, а 90 % информации, имеющейся в нашем распоряжении, было получено за последние два года {36}.

Этот экспоненциальный рост информации, как и компьютеры в 1970‑е гг., порой представляется нам лекарством от всех болезней. Крис Андерсон, редактор журнала Wired, писал в 2008 г., что сам по себе огромный объем данных способен заменить собой теорию и даже научный метод {37}.

Книга, которую я написал, стои́т на стороне науки и технологии, и я считаю подобную позицию вполне оптимистичной. Однако следует помнить, что мы склонны допускать массу ошибок. Цифры сами по себе не умеют говорить. Именно мы говорим за них. Мы наполняем их смыслом. Как и Цезарь, мы можем трактовать их в свою пользу, что порой уводит нас слишком далеко от объективной реальности.

Управляемые данными предсказания способны обеспечить нам успех – или привести к неудаче. Шансы на неудачу возрастают, когда мы отрицаем собственную роль в процессе. Перед тем как потребовать большего от данных, мы должны потребовать больше от себя.

Если вы знаете мою предысторию, то такая точка зрения может показаться вам довольно странной. Многие слышали о том, что я умею работать с данными и статистически их обрабатывать. Я использую имеющуюся информацию для создания довольно успешных прогнозов. В 2003 г., когда мне уже порядком надоело консультировать клиентов, я занялся созданием системы, получившей название PECOTA, цель которой состояла в предсказании результатов игроков Главной бейсбольной Лиги. Она имела целый ряд инноваций (например, ее прогнозы носили вероятностный характер, и в них указывался диапазон возможных исходов для каждого игрока). Сравнив наши результаты с соответствующими результатами конкурирующих систем, мы обнаружили, что смогли их переиграть. В 2008 г. я создал веб-сайт FiveThirtyEight, призванный предсказать результаты надвигавшихся выборов. Прогнозы FiveThirtyEight правильно назвали победителя президентского голосования в 49 из 50 штатов, а также победителей голосования в 35 штатах по итогам выборов в Сенат.

После выборов со мной связалось несколько издателей, желавших заработать на издании пользовавшихся успехом книг типа «Moneyball» и «Фрикономика» [3](в которых были приведены истории «ботаников», завоевавших мир). Они хотели, чтобы и в моей книге рассказывалось бы о чем-то подобном, то есть о предсказаниях, основанных на данных в различных областях, начиная от бейсбола и заканчивая финансами и национальной безопасностью.

Однако, пообщавшись в течение четырех лет более чем с сотней экспертов в десятке областей, прочитав сотни журнальных статей и книг и пропутешествовав в ходе своего расследования от Лас-Вегаса до Копенгагена, я постепенно понял, что предсказания в условиях эры Больших данных оказываются не особенно успешными. Мне же повезло сразу на нескольких уровнях: во-первых, из-за того, что я достиг успеха, несмотря на огромное количество сделанных ошибок (о которых я поговорю позднее), и, во-вторых, из-за того, что я правильно выбирал свои битвы.