Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Расчеты трафика приводятся на основании данных Alexa.com.

Хотя может показаться, что осадки в виде снега в 25 см больше, чем 2,5 см осадков в виде дождя, на самом деле они оказываются почти одинаковыми, поскольку молекулы снега находятся на значительно большем расстоянии друг от друга. При таянии снега высотой 25 см как раз и получается примерно 2,5 см воды.

Allan H. Murphy, «What Is a Good Forecast? An Essay on the Nature of Goodness in Weather Forecasting», American Meteorological Society 8 (June 1993): pp. 281–293. http://www.swpc.noaa.gov/forecast_verification/Assets/Bibliography/i1520%E2%80%930434%E2%80%93008%E2%80%9302%E2%80%930281.pdf.

«History for Lansing, MI: Friday January 13, 1978», Wunderground.com. http://www.wunderground.com/history/airport/KLAN/1978/1/13/DailyHistory.html?req_city=Lansing&req_state=MI&req_statename=Michigan.

Данные любезно предоставлены Эриком Флером из ForecastWatch.com.

В сущности, прогнозирование дождя с вероятностью 50 % можно считать достаточно смелым прогнозом, поскольку в среднем в США дождь идет примерно 20 % дней в году.

В какой-то момент в преддверии президентских выборов 2012 г. я сообщил группе руководителей о том, что получил приглашение выступить на тему наиболее популярного на тот момент варианта исхода противостояния между Бараком Обамой и Митом Ромни (шансы на победу каждого составляли чуть меньше 50 %). Они потребовали, чтобы я перестал ходить вокруг да около и дал им ответ, который сам считаю истинным.

Выявленное Флером искажение в отношении прогноза осадков в реальности возникает значительно реже. Это не обязательно означает, что синоптики предсказывают слишком небольшое количество осадков в зависимости от частоты возникновения дождей. На самом деле Флер также обнаружил, что синоптики склонны недооценивать величину осадков даже в случае самых суровых зимних метелей типа «Сноупокалиписа» в Нью-Йорке в 2012 г.

Хотя калибровка представляет собой очень важный способ оценки прогноза, она не сможет сказать вам всего. Например, в долгосрочной перспективе в любом случайно выбранном регионе США дождь идет в среднем 20 % дней. Поэтому вы можете создать хорошо откалиброванный прогноз, просто взяв за данность, что вероятность выпадения осадков – 20 %. Однако для создания подобного прогноза не нужны никакие навыки – вы просто следуете законам климатологии. Обратным свойством калибровки выступает «дискриминация» или «разрешение», то есть показатель изменчивости прогнозов от одного случая к другому. Синоптик, часто предсказывающий нулевую или 100 %-ную вероятность дождя, покажет более высокие результаты с точки зрения дискриминации, чем человек, пытающийся нащупать какое-то значение посередине. Хорошая оценка прогнозов учитывает и первое, и второе – как индивидуально, так и в составе статистических показателей типа показателя Бриера, пытающегося учесть оба этих свойства одновременно. Причина, по которой я считаю калибровку лучшим методом прогноза, достаточно прагматична – большинство экспертов в области прогнозирования не имеет никаких проблем с использованием дискриминации. Более того, они даже ей злоупотребляют – иными словами, их прогнозы слишком самонадеянны.

«Performance Characteristics and Biases of the Operational Forecast Models», National Weather Service Weather Forecast Office, Louisville, KY; National Weather Service, National Oceanic and Atmospheric Association; May 23, 2004. http://www.crh.noaa.gov/lmk/soo/docu/models.php.

Sarah Lichtenstein, Baruch Fischhoff, and Lawrence D. Phillips, «Calibration of Probabilities: The State of the Art to 1980», Decision Research, Perceptronics, for Office of Naval Research, 1986. http://www.dtic.mil/cgi-bin/GetTRDoc?AD=ADA101986.

J. Eric Bickel and Seong Dae Kim, «Verification of the Weather Channel Probability of Precipitation Forecasts», American Meteorological Society 136 (December 2008): pp. 4867–4881. http://faculty.engr.utexas.edu/bickel/Papers/TWC_Calibration.pdf.

J. D. Eggleston, «How Valid Are TV Weather Forecasts?» Freakonomics.com, Apr. 21, 2008. http://www.freakonomics.com/2008/04/21/how-valid-are-tv-weather-forecasts/comment-page-6/#comments.

По данным интервью с Максом Мэйфилдом.

Мэйфилд родился 19 сентября 1948 г., и на момент возникновения «Катрины» ему было 56 лет. Сейчас ему около 65 лет.

Официально конус неопределенности призван покрывать две трети потенциальных мест обрушения шторма, хотя, по словам Макса Мэйфилда, в теории штормы остаются внутри конуса чаще, чем на практике.

«Vermont Devastation Widespread, 3 Confirmed Dead, 1 Man Missing», BurlingtonFree-Press.com, August 29, 2011. http://www.burlingtonfreepress.com/article/20110829/NEWS02/110829004/Vermont-devastation-widespread-3-confirmed-dead-1-man-missing.

Associated Press, «Hurricane Rita Bus Owner Found Guilty», USA Today , October 3, 2006. http://www.usatoday.com/news/nation/2006%E2%80%9310%E2%80%9303-rita-bus_x.htm.