Бен Орлин - Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность

Это не вполне несправедливое сравнение, поскольку даже взломщик p -значения не будет задним числом останавливать исследование при минимальном p -значении. Идея пересчета данных после каждого респондента тоже сомнительна.

Вначале я подумал, что это звучит глупо. Что-то вроде: «Наши американские горки предназначены для людей ростом от 120 см, но дети придумали уловку: один встает другому на плечи и надевает длинный плащ. Поэтому давайте поднимем планку до 150 см». Затем я прочитал актуальную статью: Daniel J. Benjamin et al., «Redefine Statistical Significance», PsyArXiv, July 22, 2017, https://psyarxiv.com/mky9j/. Она меня переубедила. Похоже на то, что снижение планки с 0,05 до 0,005 будет лучше соответствовать интуитивным байесовским порогам, и для снижения количества ложноположительных результатов требуется лишь умеренное увеличение размеров выборки. Кроме того, следует подчеркнуть, что подходы байесовцев хитроумнее и существенно сложнее, чем я изобразил в этой главе. Вопрос, каким должно быть предварительное суждение, можно обойти, проведя анализ со всем многообразием первоначальных оценок и построив графики общих тенденций. Как бы то ни было, Санджай Шривастава убедил меня, что на самом деле переход к байесианизму не устранит кризиса отсутствия повторяемости, однако может быть полезен по другим причинам.

Open Science Collaboration, «Estimating the Reproducibility of Psychological Science», Science 349, no. 6251 (2015): http://science.sciencemag.org/content/349/6251/aac4716.

Jay Mathews, «Jaime Escalante Didn’t Just Stand and Deliver. He Changed U. S. Schools Forever», Washington Post , April 4, 2010, http://www.washingtonpost.com/wp-dyn/content/article/2010/04/02/AR2010040201518.html.

«Mail Call», Newsweek , June 15, 2003, http://www.newsweek.com/mail-call-137691.

Jay Mathews, «Behind the Rankings: How We Build the List», Newsweek , June 7, 2009, http://www.newsweek.com/behind-rankings-how-we-build-list-80725.

Tim Harford, Messy: How to Be Creative and Resilient in a Tidy-Minded World (London: Little, Brown, 2016), 171–73.

Это не выдумка: Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases Inequality (New York: Broadway Books, 2016), 135–40.

Jay Mathews, «The Challenge Index: Why We Rank America’s High Schools», Washington Post , May 18, 2008, http://www.washingtonpost.com/wp-dyn/content/article/2008/05/15/AR2008051502741.html.

Я смотрю американский футбол с семи лет и никогда не понимал рейтинг пасующего. Сейчас я решил, что настало время попробовать. Потребовалось несколько минут, чтобы распутать формулу, но, когда мне это удалось, я увидел, что в ней нет ничего сложного. Во-первых, она начисляет и отнимает очки (1 за ярд, 20 за завершенный пас, 80 за тачдаун и –100 за перехват). Во-вторых, она позволяет вычислить среднее количество очков за попытку паса. И в-третьих, пышным цветом расцветают бессмысленные операции сложения и умножения. Или в виде уравнения:

Мы могли бы закончить на этом… однако такая формула может дать отрицательные значения (если перехватов было слишком много), и результат не имеет верхнего предела (в то время как фактический максимум равен 158⅓, и его добились больше 60 квотербеков). Дабы исправить этот изъян, необходимо ограничить число возможных очков по каждой переменной, и тогда получится формула из основного текста книги.

Почему рейтинг пасующего кажется таким запутанным? Как и с большинством жутких формул, роль играют два фактора: (1) она сбивает с толку, потому что в нее входят четыре переменных со странными коэффициентами, к тому же результат каждого умножения ограничен сверху и/или снизу; и (2) кроме того, большинство источников объясняет ее бесполезным, абсурдным и туманным образом. Загляните в «Википедию», чтобы понять, что я имею в виду.

Mathews, «Behind the Rankings».

J. P. Gollub et al., eds., «Uses, Misuses, and Unintended Consequences of AP and IB», Learning and Understanding: Improving Advanced Study of Mathematics and Science in U. S. High Schools , National Research Council (Washington, DC: National Academy Press, 2002), 187, https://www.nap.edu/read/10129/chapter/12#187.

Согласно этому опросу, больше 20 % учителей в стране, преподающих в рамках программы AP, полагали, что «Индекс вызовов» оказал «некое влияние» на количество предлагаемых факультативов AP. В городах и пригородах доля учителей, придерживающихся этого мнения, ближе к трети. Между тем всего 17 % считают, что этот рейтинг — «хорошая идея». Steve Farkas and Ann Duffett, «Growing Pains in the Advanced Placement Program: Do Tough TradeOffs Lie Ahead?» Thomas B. Fordham Institute (2009), http://www.edexcellencemedia.net/publications/2009/200904_growingpainsintheadvancedplacementprogram/AP_Report.pdf.