Кеннет Бригам - Хороший доктор. Как найти своего врача и выжить

Как часто результаты медицинских исследований подтасовываются? Одно мерило, которое, несомненно, преуменьшает масштабы проблемы, — количество опубликованных и тут же опровергнутых статей. Retraction Watch , который следит за числом таких статей и причинами их появления в печати [111] Ivan Oransky. Weekend reads: Gay canvassing study saga continues: Elsiever policy sparks concern: a string of scandals. Retraction Watch: Tracking retractions as a window into the scientific process . http://retractionwatch.com . , оценивает их частотность как одна в день, но при этом отмечает, что число подобных публикаций растет. На удивление, те же журналы, которым врач может доверять [112] Adam Marcus, Ivan Oransky. What’s behind big science frauds? The Opinion Pages, The New York Times , May 22, 2015. , те, которые наиболее часто цитируют в научных работах, опровергают больше всего статей! Хороший доктор знает, что нельзя безоглядно доверять ни одному источнику, что вопрос, как правильно поступить в данных обстоятельствах, требует собрать всю информацию, которую можно найти, и, имея ее на руках, составить наиболее полную картину.

Наряду с недоступностью отрицательных результатов нередко также преувеличивается значение положительных. Материалы таких исследований, скорее всего, быстро увидят свет, вызовут многочисленные ответные статьи, их опубликуют «влиятельные» журналы, будут цитировать другие ученые, их переведут на иностранные языки [113] Joseph LY Liu. The role of the funnel plot in detecting publication and related biases in meta-analysis Evidence-Based Dentistry (2011), 12:121–122, 2011. . Вот почему специалисты, взвешивая данные, особенно ценят положительные результаты. И так экспертные доказательства, выжимка из доступной информации, могут быть искажены неизвестными негативными и переоцененными положительными результатами.

Неужели это действительно происходит в реальном мире на границе известного и неизвестного, среди шума и гама научных открытий? Ответ, вероятно, «да», но вы не должны верить нам на слово.

«Опубликованные результаты научных исследований не являются характерным образцом результатов всех научных экспериментов», — писали сотрудники Школы информатики Университета Саймона Фрейзера т. д. Стерлинг, У. Л. Розенбаум и Дж. Дж. Уэйнкем в статье, напечатанной в 1995 г. в American Statistician [114] TD Sterling, WL Rosenbaum, JT Weinkam. Publication decisions revisited: The effect of the outcome of statistical tests on the decision to publish and vice versa. The American Statistician, 49:108–112, 1995. . Изучив содержание 11 ведущих журналов, они обнаружили, что те отдают предпочтение исследованиям, показавшим статистически значимые положительные результаты. Это приводит к двум негативным последствиям. Во-первых, ученые, не имея доступа к неопубликованным данным, продолжают работать над экспериментами, которые другие уже проводили, может быть даже не один раз, и доказали неэффективность испытуемых методов. То есть деньги и еще более ценные ресурсы — время, энергия и энтузиазм — тратятся впустую.

Второе последствие зиждется на представлении о «статистической значимости». Из-за этого требования не очень масштабные исследования или испытания с менее впечатляющим результатом (допустим, если p = 0,06), скорее всего, не попадут в элитные журналы. И это несмотря на то, что всем известно: p < 0,05 — совершенно условный порог значимости, и результат с более высоким p может быть вполне релевантным. То есть сведения о некоторых проверенных способах, которые очень даже работают, не имеют доступа в печать, а значит, многие возможности теряются.

Так какая же часть информации об исследованиях, проведенных на людях, печатается и, соответственно, становится достоянием медицинской общественности? Видимо, около половины. Это поразительно, но, похоже, что так оно и есть. Ниже мы объясним, почему так считаем, а пока задумайтесь, что это значит. Ваш врач знает, что результаты приблизительно 50 % испытаний лекарств, которые он собирается прописать вам, не отражены в литературе. Такие испытания произвели бы минимальное впечатление на экспертные советы, члены которых пишут клинические рекомендации, или на специалистов «Кокрейновского сотрудничества», или на тех, кто занимается метаанализом. Как же врачу принимать решение, когда он сталкивается с отдельным человеком и специфической проблемой? В первую очередь он тщательно оценивает доступные данные в контексте того, что знает о вас. В конце концов даже шаткое доказательство является фактической базой для принятия решений, касающихся здоровья, а хороший доктор ценит факты. Он также знает, что существует неведомое количество не описанных в литературе исследований, которые имели либо отрицательные, либо неопределенные результаты, а известные испытания с положительными результатами могут быть переоценены экспертами. Учитывая все это, каким образом ваш доктор вычислит, что с наибольшей вероятностью поможет вам поправиться? Рано или поздно вам и ему придется справляться с неопределенностью.