Дэвид Граймс - Неразумная обезьяна [Почему мы верим в дезинформацию, теории заговора и пропаганду] [litres]

1. Чем меньшим по объему данных является научное исследование, тем меньше вероятность получения верных данных. Если выборка мала, то снижается вероятность ее достаточной репрезентативности и повышается вероятность получения ложноположительных результатов. Именно этим пороком страдают данные натуропатических исследований, для которых характерны малые выборки и низкокачественный дизайн.

2. Чем ниже абсолютная величина эффекта, полученного в научном исследовании, тем меньше вероятность получения верного результата. Корреляция важна сама по себе, но важна также и величина эффекта. Величина эффекта – это мера выраженности феномена, полезная для решения вопроса о том, является ли выявленное отношение случайным или более существенным. Если величина эффекта мала, то сам эффект может быть просто случайным.

3. Чем больше число объектов исследования и чем слабее критерии наличия связей этих объектов в научной области, тем ниже вероятность того, что полученные результаты окажутся верными. Проще говоря, если эксперимент допускает множество разнообразных трактовок полученных результатов, то некоторые из них по чистой случайности могут оказаться ложноположительными. При большом числе возможных корреляций, доступных исследованию, очень легко впасть в искушение “собирать сливки”, то есть предпочитать те результаты, которые – возможно, случайно – демонстрируют возможную статистическую связь.

4. Чем больше гибкость дизайна, определений, исходов и методов анализа, примененных в научном исследовании, тем менее вероятна достоверность полученных результатов. Если ученый допускает вольности в определениях, то появляются лазейки для предвзятости и “отрицательный” результат можно мановением руки превратить в положительный.

5. Чем больше места в научном исследовании занимают финансовая заинтересованность и другие побочные интересы, тем меньше вероятность получения достоверных результатов. Особенно это касается биомедицинских исследований, где между учредителями и результатами часто возникает конфликт интересов, что порождает предвзятость. Как разъясняет Ионаннидис, конфликт интересов не обязательно должен быть финансовым: ученые не свободны от идеологических пристрастий, и это может повлиять на результат.

6. Чем более “горячей” является отрасль исследования (то есть если в отрасли работают многие коллективы, изучающие одну и ту же проблему), тем менее вероятным будет получение истинного результата. Это утверждение на первый взгляд противоречит здравому смыслу, но тем не менее оно верное и важное. В принципе, чем больше исследований проводится по одной теме, тем выше должно быть качество работы, но в реальности происходит противоположное, особенно если в этой области работают агрессивно конкурирующие друг с другом группы. В таких случаях решающим фактором становится время, и коллективы ученых стремятся как можно скорее опубликовать сырые данные, что приводит к повышению доли ложноположительных результатов. Иоаннидис и его коллеги обозначают эту фазу исследований “феноменом Протея”, так как для подобных случаев характерен быстрый переход от победных реляций к решительным опровержениям [60].

Эти тревожные и тщательно обоснованные наблюдения поднимают очень важный и неотложный вопрос: если большинство результатов научных исследований неверны, то какая вообще от них польза? Как сделать исследования осмысленными? В первую очередь надо отметить вот что: исследования, которые имеет в виду Иоаннидис, это не “все” исследования, а лишь работы, базирующиеся на “плохо обоснованной стратегии публикации окончательных результатов исключительно на основании единственного исследования, подкрепленного формальной статистической значимостью (как правило, величиной p-критерия, меньшей 0,05)”. Этот подход, несомненно, представляет собой большую проблему в тех областях науки, где выводы делаются с главной опорой на статистические корреляции (корреляции выуживаются из обширного числа разнородных данных). Однако эта проблема сходит на нет при хорошем планировании экспериментов, основанном на давно известных принципах. Например, феномены, зарегистрированные на Большом адронном коллайдере, подвергаются строгому статистическому анализу для полной уверенности в том, что новая элементарная частица действительно была обнаружена. Золотой стандарт пороговых величин статистической значимости в физике частиц настолько высок, что вероятность публикации ложноположительных результатов исчезающе мала.