Бен Голдакр - Обман в науке

Итак, Гильдебрант с соавторами (как говорят в академии) изучил 42 женщины, которые принимали гомеопатическую арнику от болей в мышцах, и выяснил, что арника действует лучше, чем плацебо. На первый взгляд это правдоподобное исследование, но если присмотреться, то видно, что рандомизация не описана. Рандомизация — это еще одно базовое понятие клинических исследований: мы случайным образом распределяем пациентов по группам, принимающим плацебо и гомеопатические пилюли, так как в другом случае есть шанс, что доктор или гомеопат, сознательно или бессознательно, направит пациентов, думающих, что они выздоровеют, в группу гомеопатии, а не надеющихся — в группу плацебо, тем самым исказив результаты.

Рандомизация — это не новая идея. Жан Баптиста ван Гельмонт (John Baptista van Helmont) впервые предложил своим современникам-академикам сравнить их способы лечения, такие как кровопускания и клизмы (основанные на теории), с его способами, основанными на клинической практике. «Давайте возьмем из госпиталей, приютов или еще откуда-нибудь 200 или 500 больных с лихорадками, плевритами и т. д. Потом разделим их на две группы: одну лечите вы, другую — я… Посмотрим, у кого будет меньше могил».

Сейчас сложно найти столь беззаботного экспериментатора, который бы вообще никак не рандомизировал исследование, даже в области альтернативной медицины. Но удивительно часто встречаются исследования, в которых метод рандомизации некорректен: на первый взгляд они правдоподобны, но если присмотреться, то выяснится, что рандомизация была просто представлением, на самом деле сохранявшим для экспериментатора возможность влиять, сознательно или бессознательно, в какую группу будет направлен пациент.

В некоторых недостоверных исследованиях, во всех областях медицины, пациентов распределяют в группы по тому, как они записались на исследование: первый — в экспериментальную, второй — в контрольную, третий — в экспериментальную, четвертый — в контрольную и т. д. Это выглядит достаточно объективно, но, по сути, создает возможность систематических ошибок в исследовании.

Представим себе пациента, которого гомеопат считает безнадежным, сердечника, которому не станет лучше, какое бы лечение он или она ни получал, а следующий принимаемый пациент идет в «гомеопатическую» группу. Понятно, что сознательно или подсознательно гомеопат может счесть, что этот пациент «вряд ли будет заинтересован в участии в исследовании». Но если этот безнадежный пациент придет тогда, когда принимают в группу плацебо, экспериментатор примет его с большим удовольствием.

То же самое относится ко всем остальным некорректным методам рандомизации: по последней цифре в дате рождения, по дате появления в клинике и т. п. Есть ряд исследований, заявляющих, что пациентов распределяли, подбрасывая монетку, но, на мой взгляд (и на взгляд медиков), подбрасывание монетки тоже оставляет пространство для манипуляций. «По результатам трех бросков и все. Извините, по результатам пяти. Ой, я действительно ее не заметил, что она упала на пол».

Есть целый ряд, несомненно, корректных методов рандомизации, и хотя для их применения требуется здравый смысл, они почти ничего не стоят. Классический вариант — пациент звонит на специальный номер, где ему отвечает человек с генератором случайных чисел (а врач вообще не задействован до тех пор, пока пациент не включен в исследование). Это наиболее популярный метод среди дотошных исследователей, собирающих подтверждения тому, что они проводят достоверные исследования, просто потому что нужно быть бесспорным обманщиком, чтобы спутать результаты, и для этого придется потрудиться. К высмеиванию шарлатанов мы вернемся несколько позже, а сейчас мы говорим об одной из наиболее важных идей в современной интеллектуальной истории.

Имеет ли рандомизация значение? Как и в случае со слепотой эксперимента, эффект рандомизации изучали на большом количестве исследований и выявили, что нечестные методы рандомизации приводили к преувеличению эффектов от лечения на 41 %. По-настоящему серьезная проблема низкокачественных исследований не в том, что в них использовался некорректный метод рандомизации, а в том, что они вообще не указывали, каким способом делили пациентов на группы.

Это классический предупреждающий знак, часто говорящий о том, что исследование было проведено неправильно. И опять это не предубеждение: исследования с нечеткими методами рандомизации ведут к переоценке эффектов лечения на 30 %, что очень похоже на действие откровенно неработающего метода рандомизации.