Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Nate Silver, «A Warning on the Accuracy of Primary Polls», FiveThirtyEight , New York Times, March 1, 2012. http://i vethirtyeight.blogs.nytimes.com/2012/03/01/a-warning-on-the-accuracy-of-primary-polls/.

Nate Silver, «Bill Buckner Strikes Again», FiveThirtyEight, New York Times ; September 29, 2011. http://fivethirtyeight.blogs.nytimes.com/2011/09/29/bill-buckner-strikes-again/.

В противном случае вам следовало бы дать конгрессмену 100 %-ный шанс на выигрыш.

Matthew Dickinson, «Nate Silver Is Not a Political Scientist», in Presidential Power: A Non-partisan Analysis of Presidential Power, Blogs Dot Middlebury, November 1, 2010. http://blogs.middlebury.edu/presidentialpower/2010/11/01/nate-silver-is-not-a-political-scientist/.

Sam Wang, «A Weakness in FiveThirtyEight.com», Princeton Election Consortium, August 8, 2008. http://election.princeton.edu/2008/08/04/on-a-law-in-fivethirtyeightcom/.

Douglas A. Hibbs Jr., «Bread and Peace Voting in U. S. Presidential Elections», Public Choice 104 (January 10, 2000): pp. 149–180. http://www.douglas-hibbs.com/HibbsArticles/Public%20Choice%202000.pdf.

Модель Хиббса предсказывала, что Ал Гор выиграет двухпартийное голосование (то есть голосование, в котором исключены кандидаты третьих партий) с результатом 54,8 %. На самом деле Гор выиграл с результатом 50,3 %. То есть величина ошибки составила 4,5 %. Утверждалось, что его модель имеет стандартную ошибку в пределах 2 пунктов при прогнозировании количества голосов за любого кандидата (или около 4 пунктов при прогнозировании разрыва между ними). Таким образом, прогноз переоценил положение Гора на величину 2,25 стандартного отклонения, что при нормальном распределении возникает лишь 1 раз в 80 случаях.

James E. Campbell, «The Referendum That Didn’t Happen: The Forecasts of the 2000 Presidential Election», PS: Political Science & Politics (March 2001). http://cas.buffalo.edu/classes/psc/fczagare/PSC%20504/Campbell.pdf.

Andrew Gelman and Gary King, «Why Are American Presidential Election Campaign Polls So Predictable?» British Journal of Political Science 23, no. 4 (October 1993). http://www.rochester.edu/College/faculty/mperess/ada2007/Gelman_King.pdf.

Nate Silver, «Models Based on ‘Fundamentals’ Have Failed at Predicting Presidential Elections», FiveThirtyEight, New York Times , March 26, 2012.

В период между 1998 и 2008 гг. ошибка обычного опроса по результатам выборов в Сенат США, проведенного в последние три недели кампании, достигала 5 пунктов, а по результатам выборов в Конгресс США – 5,8 пункта.

В качестве достаточно мягкого критического замечания можно сказать, что Cook Political относит к категории неопределенных слишком много кампаний, даже когда имеется достаточное количество свидетельств об умеренном превосходстве того или иного кандидата. Методология FiveThirtyEight, определяющая номинального фаворита во всех гонках вне зависимости от величины превосходства, позволила точно выявить победителя в 38 из 50 кампаний (76 %), которые Cook Political в 2010 г. охарактеризовала как неопределенные.

В период между 1998 и 2010 гг. имелось 17 примеров, в которых Cook классифицировала кампанию одним образом (например, отдавая предпочтение демократу), хотя среднее по итогам опросов приходило к обратному заключению (иногда демонстрируя незначительное превосходство республиканца). Прогнозы Cook оказались правильными в 13 из 17 таких случаев.

Позднее Капанке потерял свое место в Сенате штата Висконсин после выборов 2011 г.

Scott Schneider, «Democrats Unfairly Accuse Dan Kapanke of Ethics Violations», La Crosse Conservative Examiner , August 27, 2010. http://www.examiner.com/conservative-in-la-crosse/democrats-unfairly-accuse-dan-kapanke-of-ethics-violations.

Через несколько недель Cook Political изменила свой рейтинг с «вероятной победы демократа» на «незначительный перевес демократа». Однако это было связано скорее с общими проблемами демократической партии на национальной политической арене, а не с имевшим место в ходе кампании интервью с Капанке.

Paul E. Meehl, «When Shall We Use Our Heads Instead of the Formula», Journal of Counseling Psychology 4, no. 4 (1957), pp. 268–273. http://mcps.umn.edu/assets/pdf/2.10_Meehl.pdf.

Douglas Harper, Online Etymology Dictionary . http://www.etymonline.com/index.php?term=objective.

Nate Silver in Jonah Keri, et al., Baseball Between the Numbers: Why Everything You Know About the Game Is Wrong (New York: Basic Books, 2006).

Danny Knobler, «The Opposite of a ‘Tools Guy,’ Pedroia’s Simply a Winner», CBSSports.com, November 18, 2008. http://www.cbssports.com/mlb/story/11116048.

Nate Silver, «Lies, Damned Lies: PECOTA Takes on Prospects, Wrap-up», BaseballProspectus.com, March 8, 2006. http://www.baseballprospectus.com/article.php?articleid=4841.

В прошлом Лоу был одним из авторов в Baseball Prospectus.

Keith Law, «May Rookies Struggling to Show They Belong», ESPN.com, May 12, 2007. http://insider.espn.go.com/mlb/insider/columns/story?columnist=law_keith&id=2859877.

Детальная статистика результатов Педройи взята с сайта Baseball-Reference.com. «Хоумран» – особенно удачный удар по мячу, после которого игроки успевают пробежать по всем базам и попасть в «дом», принося своей команде много призовых очков.