Саймон Сингх - Ни кошелька, ни жизни

Если рассматривать третий эксперимент отдельно, кажется, будто астрология работает, поскольку пять верных предположений из двадцати – это гораздо больше, чем можно было просто угадать. Более того, в большинстве экспериментов (в трех из пяти) количество верных догадок выше ожидаемого, так что вполне можно было бы решить, что результаты в целом демонстрируют необычные возможности астрологии. Однако метаанализ приводит к другому выводу.

Метаанализ начался бы с замечания, что количество попыток, сделанных астрологом в каждом эксперименте, было достаточно мало, а следовательно, результаты каждого эксперимента можно объяснить чистой случайностью. Иначе говоря, результат любого из этих экспериментов, по сути, не имеет смысла. Затем исследователь, проводящий метаанализ, объединил бы все данные отдельных экспериментов, словно они были частью одного большого опыта. Получилось бы, что астролог верно определил знак зодиака у 49 человек из 600 (или у 0,98 из 12), а это уже очень близко к доле успешных угадываний по чистой случайности (1 из 12). Итак, вывод этого гипотетического метаанализа состоял бы в том, что астролог не продемонстрировал никаких способностей, позволяющих определять знак зодиака человека по чертам его характера. Такой вывод гораздо надежнее всего, что можно было бы заключить из любого эксперимента меньшего масштаба. Выражаясь научным языком, можно сказать, что метаанализ минимизирует случайные и систематические ошибки.

Вернемся к медицинским исследованиям. Метаанализы проводили для оценки самых разных методов лечения. Например, в 1980-х годах исследователи решили узнать, помогает ли кортикостероидная терапия в профилактике респираторных заболеваний у недоношенных младенцев. Ученые разработали протокол испытаний, согласно которому беременным женщинам с повышенным риском преждевременных родов проводили кортикостероидную терапию, а затем наблюдали рожденных ими детей. В идеале нужно было провести одно испытание в конкретной больнице, охватив большое число женщин, однако за год в каждой отдельно взятой больнице можно было выявить лишь единицы подходящих случаев, а значит, при таком отборе испытуемых на накопление достаточного количества данных ушли бы годы. Вместо этого ученые провели несколько испытаний в разных больницах. Результаты по каждой были свои, поскольку младенцев было мало, а влияние случайных факторов велико. Однако метаанализ всех испытаний достоверно показал, что кортикостероидная терапия во время беременности благотворно влияет на недоношенных новорожденных. Эта терапия – одна из причин резкого снижения смертности от респираторного дистресс-синдрома среди новорожденных: в начале 1950-х годов в Америке от него гибло 25 000 младенцев, а сегодня – меньше 500.

Провести метаанализ при исследовании состояния недоношенных младенцев не составило большого труда, поскольку отдельные испытания проходили по похожей схеме, а следовательно, их результаты легко объединялись. То же можно сказать о гипотетическом примере с астрологией. К сожалению, часто это тяжелая работа, ведь отдельные испытания, как правило, проводятся совсем по-разному: например, в случае проверки одного и того же лекарственного средства различаются дозировки, период наблюдения и так далее. Метаанализ, который задумал осуществить Линде, представлялся особенно проблематичным. Чтобы сделать вывод об эффективности гомеопатии, ученый собирался охватить испытания широкого диапазона гомеопатических средств в самых разных разведениях при различных заболеваниях – от легких ожогов до астмы.

Линде тщательно изучил компьютерные базы данных, побывал на множестве гомеопатических конференций, навел справки у специалистов в изучаемой области – и в итоге у него на руках оказалось 186 опубликованных исследований по гомеопатии. Затем он решил исключить из метаанализа результаты тех испытаний, которые не удовлетворяли определенным условиям. Например, в подходящем исследовании помимо контрольной группы и получавшей гомеопатическое лечение должно было присутствовать и плацебо для контрольной группы либо случайное распределение пациентов по лечебной и контрольной группам. После отбора осталось 89 испытаний, а за ним последовало несколько месяцев скрупулезного статистического анализа, который должен был обеспечить надлежащий вклад каждого испытания в окончательный вывод. Так, совсем небольшое исследование должно было иметь очень малый вес, поскольку надежность результатов испытания тесно связана с количеством испытуемых.