Бен Голдакр - Обман в науке

Обвинение фактически было основано на цифре 1:342 000 000. Даже если мы найдем ошибки, а мы найдем, поверьте, так же как и в предыдущем случае, эта цифра окажется совершенно ни при чем. Как мы уже видели, интересные вещи, которые происходят в статистике, — это не математические трюки, а то, что действительно означают цифры.

Здесь мы имеем важный урок, из которого можем извлечь пользу: маловероятные вещи происходят. Кто-то каждую неделю выигрывает в лотерею, дети гибнут от молнии. Это становится по-настоящему удивительным только тогда, когда очень странные и невероятные вещи случаются, если вы их предсказали [52].

Вот аналогия.

Представьте, что я стою около большого деревянного сарая с большим автоматом в руках. Я надеваю на глаза повязку и начинаю беспорядочно палить, выпуская в сторону сарая тысячи пуль. Затем я бросаю автомат, подхожу в стене и внимательно в течение некоторого времени изучаю следы от пуль. Я нахожу место, где три пули попали в стену рядом, обвожу это место как мишень и заявляю, что я отличный стрелок.

Я думаю, вы не согласитесь ни с моим методом, ни с моими результатами. Но именно это и произошло в случае с Лусией: обвинители обнаружили семь смертей в смену одной медсестры, в одной больнице, в одном городе, в одной стране в мире, а затем нарисовали вокруг них мишень.

Это нарушает основное правило любого исследования, связанного со статистикой: вы не можете найти вашу гипотезу в ваших результатах. Прежде чем вы подвергнете данные статистическому анализу, вы должны уже иметь гипотезу для проверки. Если ваша гипотеза является результатом анализа данных, то нет смысла анализировать те же данные, чтобы ее подтвердить.

Это довольно сложная, философская математическая форма круговорота: но в этом случае есть также очень конкретные формы «кругового» рассуждения. Чтобы собрать больше данных, следствие вернулось в палаты посмотреть, не было ли там подозрительных смертей. Но люди, которых просили припомнить подозрительные случаи, уже знали, что Лусия может быть серийным убийцей. Существовал высокий риск того, что фраза «случай был подозрительным» станет синонимом фразы «Лусия была на дежурстве». Несколько внезапных смертей в те дни, когда Лусии не было на дежурстве, исключались из расчетов по определению: они не были подозрительными, потому что Лусии в это время не было.

Еще хуже. «Нас попросили составить список случаев, которые произошли во время или вскоре после дежурств Лусии», — сказала одна сотрудница больницы. Таким образом, были исключены другие случаи и увеличилась вероятность подозрительных смертей в смены Лусии. А тем временем она сидела в тюрьме в ожидании суда.

Это сюжет для ночных кошмаров.

В то же время огромное количество статистической информации было почти полностью проигнорировано. За три года, до того как Лусия начала работать в этой палате, там было семь смертей. За три года ее работы в этой палате произошло шесть смертей. Вот вам пища для размышлений: кажется, что смертность в палате снизилась в тот момент, когда там появилась маньячка. Если она убила их всех, то это означает, что в палате вообще не было естественных смертей за все три года, что она там работала.

С другой стороны, как установил прокурор на суде, Лусия увлекалась магией. И отрывки из ее личного дневника, которые зачитывались на суде, звучали довольно странно. Она могла совершить преступление.

Но самое странное в этом случае вот что. В выведении этой умопомрачительной цифры в стиле Роя Медоу (1:342 000 000) прокурорский статистик сделал элементарную математическую ошибку. Он объединил отдельные статистические тесты, перемножив пи-величины, то есть математическое выражение вероятности или статистической значимости. Это немного сложно, и это будет опубликовано, но я тем не менее собираюсь это написать: необходимо не просто перемножать пи-величины, а рассчитывать с помощью специальной методики типа «метода Фишера для комбинирования независимых пи-величии».

Если вы их перемножите, то безобидные и вероятные события быстро превратятся в крайне невероятные. Допустим, вы работали в 20 больницах, в каждой их которых произошел безобидный инцидент: пи-величина p = 0,5. Если вы перемножите эти величины, характеризующие совершенно случайные события, вы получите итоговое значение p = 0,5 20, то есть р < 0,000001, что является абсолютно статистически значимым. При такой математической ошибке и соответствующем рассуждении, если вы часто меняете больницы, в которых работаете, вы автоматически становитесь подозреваемым. Вы работали в 20 больницах? Пожалуйста, не говорите об этом голландской полиции.