Джордан Элленберг - Как не ошибаться. Сила математического мышления

Однако занятие гаруспицией того стоит – благодаря тем моментам открытия, когда все работает, и вы видите, что текстура и выступы на печени действительно предсказывают тяжелую эпидемию гриппа следующей зимой. И вы, молча поблагодарив богов, публикуете результаты своей работы.

Возможно, вы обнаружите, что это происходит в одном случае из двадцати.

При любых условиях именно на это рассчитывал бы я сам. Поскольку, в отличие от вас, я не верю в гаруспицию. Я считаю, что внутренности овцы ничего не знают о гриппе, а когда данные совпадают, это просто дело случая. Иначе говоря, во всем, касающемся гадания на внутренностях животных, я сторонник нулевой гипотезы. Поэтому в моем мире успешное завершение любого эксперимента с гаруспицией весьма маловероятно.

Насколько маловероятно? Стандартный порог статистической значимости, а значит, и критерий для публикации статьи в «Международном журнале гаруспиции» по соглашению установлен в виде p -значения, равного 0,05, или 1 из 20. Вспомните определение p -значения, которое состоит в том, что, если нулевая гипотеза истинна в случае определенного эксперимента, вероятность того, что этот эксперимент все-таки приведет к получению статистически значимого результата, составляет всего 1 из 20. Если нулевая гипотеза всегда истинна (другими словами, если гаруспиция – это надувательство в чистом виде), тогда результаты только одного из двадцати экспериментов могут быть опубликованными.

Тем не менее существуют сотни гаруспиков и тысячи овец со вспоротыми животами; при этом даже одна двадцатая предсказаний дает достаточно материала для заполнения каждого выпуска журнала новыми результатами, демонстрирующими эффективность этой методики и мудрость богов. Протокол эксперимента, который в одном случае сработал и публикуется в журнале, как правило, не дает нужных результатов, когда его пытается применить другой гаруспик. Однако материалы о проведении экспериментов, не обеспечивших статистически значимые результаты, не публикуются, поэтому никто так и не узнает о неудачных попытках воспроизвести этот эксперимент. И даже если начинают распространяться слухи, всегда есть мелкие различия, на которые могут указать эксперты, чтобы объяснить, почему последующие исследования завершились неудачей. В конце концов, мы ведь знаем , что протокол работает, поскольку проверили его и определили, что он обеспечивает статистически значимые результаты!

Современная медицина и социология – отнюдь не гаруспиция. Тем не менее в последние годы многие ученые все громче бьют тревогу: возможно, в науке гораздо больше данных, полученных в духе гадания на внутренностях животных, чем нам хотелось бы признавать.

Громче всех заявил об этом Джон Иоаннидис; в средней школе, в Греции, он блистал как математик, но впоследствии занялся медико-биологическими исследованиями. В 2005 году Иоаннидис опубликовал статью Why Most Published Research Findings Are False («Почему большинство публикуемых открытий оказываются ошибочными») {121}, вызвавшую в медицинской среде волну жесткой самокритики, а затем вторую волну самозащиты. Мы знаем работы, привлекающие к себе внимание скорее своими сенсационными заголовками, а не собственно содержанием, – но только не в данном случае. Иоаннидис весьма серьезно подходит к идее о том, что целые области медицинских исследований относятся к категории «нулевых областей» (такие как гаруспиция), в которых просто нет фактического воздействия, поддающегося обнаружению. «Можно доказать, что выводы самых востребованных исследований являются ошибочными», – пишет Иоаннидис.

«Доказать» – это несколько больше, чем я готов принять, однако Иоаннидис все же приводит веские доводы в пользу того, что его радикальное утверждение нельзя назвать неправдоподобным. Вот в чем суть истории. В медицине большинство случаев вмешательства, которое мы предпринимаем, не обеспечивает требуемых результатов, а большинство связей, которые мы пытаемся обнаружить, отсутствуют. Возьмем хотя бы связь генов с заболеваниями: геном содержит множество генов, и большинство из них не вызывают рака, или депрессии, или ожирения, или любого другого прямого воздействия, которое можно было бы распознать. Иоаннидис предлагает нам проанализировать случай влияния генов на шизофрению. Такое влияние почти наверняка существует, учитывая, что нам известно о наследственности этого расстройства. Но где находится источник самого влияния в геноме? Исследователи могут забросить большую сеть (ведь сейчас Эпоха Больших Данных) и проанализировать сотни тысяч генов (точнее говоря, генетических полиморфизмов [138]), чтобы выяснить, какие гены связаны с шизофренией. Иоаннидис считает, что около десяти генов действительно могут оказывать клинически значимое воздействие на возникновение этой болезни.