Джордан Элленберг - Как не ошибаться. Сила математического мышления

Многие научные вопросы, типа «происходит что-то или нет?», можно свести к простому ответу «да» или «нет». Новый лекарственный препарат действительно помогает вылечить болезнь или не оказывает никакого воздействия? Психологическая интервенция действительно делает вас более счастливыми (бодрыми, сексуальными) или не оказывает никакого воздействия? Сценарий «не оказывает никакого воздействия» называют нулевой гипотезой . Нулевая гипотеза – это предположение о том, что изучаемое вами воздействие не имеет никаких последствий. Если вы исследователь, разработавший новый лекарственный препарат, нулевая гипотеза – это то, что не дает вам спать по ночам. Пока вы не сможете ее опровергнуть, вы не поймете, стоите ли вы на пороге медицинского прорыва или выбрали не тот метаболический путь.

Каким образом следует доказывать несостоятельность нулевой гипотезы? Стандартную модель под названием «проверка значимости нулевой гипотезы» в наиболее распространенном виде разработал в начале ХХ столетия Рональд Эйлмер Фишер, основатель современной статистической практики [101].

Вот как это делается. Сначала необходимо провести эксперимент. Вы можете начать с сотни испытуемых, а затем в произвольном порядке выбрать половину участников эксперимента для приема вашего чудо-лекарства, а оставшимся давать плацебо. Безусловно, вы рассчитываете на то, что среди пациентов, принимающих ваш лекарственный препарат, вероятность смертности будет ниже, чем среди пациентов, принимающих таблетки-пустышки.

После этого дальнейшие действия могут показаться довольно простыми: если вы фиксируете меньше случаев смерти среди пациентов, принимавших лекарства, по сравнению с теми, кто принимал плацебо, можно объявлять о победе и подавать в Управление по контролю за пищевыми продуктами и медикаментами заявку на регистрацию нового лекарственного препарата. Но это неправильный путь. Недостаточно одного соответствия полученных данных вашей теории; эти данные должны быть несовместимы с отрицанием вашей теории, ужасной нулевой гипотезой. Я, например, объявлю, будто обладаю такими мощными способностями к телекинезу, что могу вытащить солнце из-за горизонта. Вам нужны доказательства? Тогда потрудитесь выйти на улицу около пяти утра, и увидите результаты моей работы! Но такое заявление в принципе нельзя считать доказательством, поскольку согласно нулевой гипотезе, если у меня нет экстрасенсорных способностей, солнце все равно взойдет.

Интерпретация результатов клинических испытаний требует такого же подхода. Давайте сформулируем эту задачу в числовом виде. Предположим, мы имеем ситуацию, в которой истиной является нулевая гипотеза: вероятность смерти одна и та же (скажем, 10 %) как среди пятидесяти пациентов, принимавших новый лекарственный препарат, так и среди пятидесяти пациентов, принимавших плацебо. Однако это не означает, что умрут пять пациентов, принимавших лекарство, и пять пациентов, которых лечили плацебо. В действительности вероятность того, что умрут в точности пять пациентов первой группы, составляет 18,5 % – не очень высокая, как и в случае выпадания точно одинакового количества аверсов и реверсов в длинной серии подбрасываний монеты. Точно так же маловероятно и то, что за время проведения испытаний из жизни уйдет столько же пациентов, лечившихся лекарственным препаратом, сколько и пациентов, получавших плацебо. Я сделал следующие расчеты.

Вероятность того, что количество летальных исходов среди пациентов, принимавших лекарство, и пациентов, получавших плацебо, окажется абсолютно одинаковым, составляет 13,3 %.

Вероятность того, что количество летальных исходов среди пациентов, получавших плацебо, окажется меньше количества случаев смерти среди пациентов, принимавших лекарственный препарат, составляет 43,3 %.

Вероятность того, что количество летальных исходов среди пациентов, получавших лекарственный препарат, окажется меньше количества случаев смерти среди пациентов, получавших плацебо, составляет 43,3 %.

Тот факт, что в группе пациентов, принимавших лекарственный препарат, результаты лучше, чем среди пациентов, получавших плацебо, мало что значит, поскольку даже согласно нулевой гипотезе нельзя исключать вероятность, что ваш лекарственный препарат не оказывает никакого воздействия.

Однако все выглядит совсем иначе, если в группе пациентов, принимавших лекарство, результаты гораздо лучше. Предположим, за время проведения испытаний в группе плацебо умирает пять пациентов, а в группе лекарственного препарата – ни одного. Если нулевая гипотеза верна, каждый пациент обеих групп имеет шанс остаться в живых, равный 90 %. Однако в таком случае весьма низка вероятность того, что выживут все пятьдесят пациентов, принимавших лекарство. Первый пациент из этой группы имеет шанс на выживание 90 %; вероятность того, что в живых останется не только первый, но и второй пациент, составляет 90 % от этих 90 %, или 81 %. Вероятность того, что в живых останется и третий пациент, составляет всего 90 % от 81 %, или 72,9 %. Каждый очередной пациент, выживание которого вы ставите в качестве условия, немного уменьшает вероятность, и к концу процесса, когда вы задаете вопрос о вероятности выживания всех пятидесяти пациентов, остается совсем небольшая доля вероятности: