Уильям Паундстоун - Голова как решето. Зачем включать мозги в эпоху гаджетов и Google

Barnard, 2010.

Freedman, 2010.

Нужно предупредить читателей о множественных сравнениях, статистической проблеме, которую так редко принимают во внимание журналисты и должностные лица. Считается, что результат тогда статистически значим, когда вероятность его возникновения исключительно в силу непроизвольной ошибки не превышает 5 %. Это обусловлено традиционными представлениями о науке, согласно которым сбор данных (и построение гипотезы) – процесс трудоемкий. Сегодня собрать данные можно без особых хлопот и больших денежных затрат благодаря интернету и программному обеспечению, которое отыщет все имеющиеся корреляционные связи. Все равно что проверить зараз несколько тысяч возможных гипотез. В таких условиях отделить зерна от плевел даже при помощи p -значения оказывается непросто. Исследователь должен быть готов к тому, что в каждой двадцатке проверенных гипотез ему попадется одна «значимая», но на самом деле ложная корреляция. В моих примерах можно усмотреть косвенные указания на проблему множественных сравнений, потому что я выбрал корреляции более-менее забавные и указывающие на связи общего характера между (а) знаниями и (б) мнением или поведенческой реакцией, которую предполагает сам респондент. Однако я проявил осторожность и отобрал корреляции, состоящие из одного факта, у которых p -значения обладают высокой значимостью. В обеих таблицах p -значения в среднем для корреляций между результатами теста на общие знания и ответами на вопросы поведенческого типа оказались равны 0,007.

Для вопроса о сенаторах p =0,012. Для всех остальных вопросов p <0,001. Размер выборочной группы – 207.

p =0,020.

Для вопроса о вакцинации ребенка p <0,001. Для вопроса о многоразовых пакетах p =0,002. Для вопроса о стодолларовой лампочке p =0,009. Размер выборочной группы – 207.

Для вопроса об аббревиатуре p =0,018. Для вопроса о минерале p =0,007. Для вопроса о «Вороне» По p =0,017. Размер выборочной группы – 254.

Точный результат: 18,9 % с погрешностью ±4,8 %. p -значение для корреляции со знанием или незнанием года террористических атак равна 0,001. Размер выборочной группы – 254.