Но если ученые следуют таким строгим протоколам, то почему столь многие связи и тренды на деле оказываются неоднозначными или просто неверными? Очень часто вина лежит на ученых и врачах, которые не понимают сути обсужденных нами выше ошибок. В то время как авторитетные научные работы проходят фильтр тщательного рецензирования специалистами, статистически сомнительные утверждения могут проскакивать в остающиеся бреши и щели. Самым наглядным примером является здесь натуропатия, отрасль альтернативной медицины. Взяв на вооружение все что можно из других областей альтернативной медицины – от рефлексологии и гомеопатии до краниосакральной терапии, – натуропатия основывает свое учение на витализме, то есть на идее о том, что за здоровье и болезни отвечает некая эфирная жизненная сила. Эти идеи были давным-давно опровергнуты эмпирическими данными, и нет никаких надежных доказательств того, что натуропатическое лечение является хотя бы в какой-то мере эффективным. Но даже теперь, в научную эру, натуропатия, как это ни удивительно, остается весьма популярной. Отчасти причина заключается в том, что натуропатия ссылается на природу и на ошибочное представление широкой публики, будто ничто природное, ничто натуральное не может иметь побочных эффектов [58]. Предлагая простые формулы оздоровления и легкие ответы на трудные вопросы, натуропатия недооценивает как сложность медицины, так и сложность строения наших организмов.
Но любопытно тут другое: натуропаты настаивают, будто существуют научные доказательства того, что их методы лечения производят статистически значимый эффект на исход заболеваний. Однако если методы натуропатического лечения невозможно объяснить никакими правдоподобными механизмами и клиническими эффектами, то как могут сосуществовать эти взаимоисключающие друг друга утверждения? Ответ можно найти в тонкой природе понятия статистической значимости. Статистический подход проясняет результаты только в том случае, если исходные данные были хорошего качества, а анализ данных соответствовал ситуации и контексту. При безалаберном же применении результаты становятся бессмысленными. Все весьма немногочисленные исследования с положительным статистическим результатом, столь дорогим сердцу натуропатов, были плохого качества и проводились на небольших группах испытуемых. Это важно, так как в малых группах единственное значительное отклонение может исказить результаты анализа, поэтому чем меньше группа, тем менее надежными надо считать выводы. Примечательно, что преимущества натуропатии рассеиваются, когда исследуются большие группы испытуемых и когда улучшается качество статистического анализа – как, собственно, и следовало ожидать. В таких ситуациях выясняется, что широко разрекламированная статистическая значимость эффекта совершенно иллюзорна.
Благоприятные исходы можно объяснить эффектом плацебо, но, вероятно, более точно их можно описать как следствие регрессии к средним значениям [59]. Этим термином обозначают наблюдение, согласно которому в первом случае измерения результаты могут принимать крайние значения, а при последующих измерениях результирующие величины все в большей мере приближаются к средним значениям. Например, люди обращаются за медицинской помощью, когда симптомы болезни выражены в наибольшей степени. Это экстремальное состояние, но с течением времени оно возвращается к более или менее нормальному уровню. Однако многие больные упорно приписывают улучшение приему давно отставленного народного средства, совершенно при этом списывая со счетов феноменальные таланты собственной иммунной системы. Нобелевский лауреат Питер Медавар заметил, что “если человек (а) плохо себя чувствует, (б) получает лечение, от которого ему должно стать лучше, и (в) если ему действительно становится лучше, то никакая сила медицинской науки не заставит его поверить в то, что его здоровье восстановилось не благодаря лечению”.
Это высказывание иллюстрирует один недооцениваемый аспект научного исследования: не все исследования проводятся одинаково. Обнаружение статистической значимости не всегда говорит о получении искомого эффекта. Печально, что бессмысленная значимость результата часто обесценивает важные аспекты тех исследований, в которых статистический анализ играет первостепенную роль, – особенно в медицине и генетике. В 2005 году Иоаннидис написал провокационно озаглавленную статью “Почему большинство опубликованных научных данных неверны”, в которой содержатся поистине захватывающие выводы. В медицинских отраслях многие значимые результаты являются всего лишь продуктами плохого дизайна исследований, их недостаточного технического обеспечения, или же объясняются слишком малой численностью групп, что делает осмысленные выводы попросту невозможными. В своей работе Иоаннидис выделяет шесть индикаторов, о которых следует помнить, оценивая истинность любого сообщения:
Читать дальше