Ася Казанцева - Мозг материален

Собственно, даже и с медицинскими исследованиями имеет смысл соблюдать осторожность. Транскраниальная электрическая стимуляция очень хорошо подходит для всяких жуликов от медицины, потому что стоит недорого, звучит наукообразно и относительно безопасна для пациента. Так что если человек в белом халате предлагает вам принести в его клинику много денег, чтобы электроды на голове излечили вас от всех болезней, то не несите деньги сразу. Сначала попросите ссылки на исследования эффективности ТЭС для вашего заболевания и оцените эти статьи хотя бы по формальным критериям. В приличных ли журналах они опубликованы? Какого размера была выборка? Была ли контрольная группа? Обратили ли внимание на это исследование другие ученые?

Самое смешное, что какие‐то статьи о пользе метода вам в любом случае предоставят. Ну просто потому, что в мире каждый год выходит около двух миллионов научных статей, из них около десяти тысяч – про транскраниальную электрическую стимуляцию. В них можно найти подтверждения более или менее чему угодно, по крайней мере на уровне “кто‐то когда‐то попытался, и вроде бы что‐то у него получилось”. Соглашайтесь платить деньги за лечение только в том случае, если метод проверен хотя бы на сотнях людей, исследования были плацебо-контролируемыми, они опубликованы в журналах с импакт-фактором [145] Импакт-фактор – это формальный показатель авторитетности научного журнала, среднее количество цитирований на каждую статью, опубликованную в нем. не меньше двух (чем больше, тем лучше) и были процитированы хотя бы в десятках других работ.

На самом деле проблема глубже. Она касается любых исследований во всех областях науки. Она проявляется на всех этапах передачи информации, от исходного планирования лабораторного эксперимента и до освещающего его научно-популярного ролика на Ютюбе. Дело в том, что абсолютно все счастливы, когда у исследования есть результат: выдвинули гипотезу, проверили, и – ура, она подтвердилась. И никто не любит те исследования, в которых ничего интересного обнаружить не удалось.

Соответственно, вот ученые проводят эксперимент. Они, например, протестировали десять человек и уже нашли статистически достоверное отличие между экспериментальной и контрольной группой. Тогда они счастливы и готовят свою статью к публикации. Всё же в порядке. А вот если они этого отличия не нашли, то тогда они начинают тщательно пересматривать свою методику, наращивать выборку, применять другие алгоритмы статистической обработки данных – и продолжают в этом духе до того момента, когда отличие все‐таки появится, пересечет волшебный порог “p<0,05”, означающий, что результат, с вероятностью 1 к 20, не получился у них случайно, в силу неучтенных отличий между людьми, попавшими в одну и во вторую группу.

Если все сделано правильно, а отличия между группами так и не нашлось, то это проблема. Потому что все хотят публиковаться в крутых научных журналах. То есть в высокоцитируемых. А они придирчивы и переборчивы и при прочих равных гораздо охотнее возьмут статью с выводом “эффект есть”, чем с выводом “эффекта нет”. Потому что хотят и дальше оставаться высокоцитируемыми. Так что если исследователи эффекта не нашли, то они идут в журнал похуже и публикуются там. (Нам как потребителям научной информации это явление полезно в том смысле, что мы можем с чистой совестью не обращать внимания на те работы, в которых эффект как раз есть, а журнал при этом все равно плохой: “Что же вас, голубчики, в хороший журнал не взяли с таким открытием? Вероятно, есть в вашей работе какие‐то серьезные проблемы”.)

Дальше юный исследователь ищет информацию и видит две похожие работы. В одной эффект есть, во второй эффекта нет. Но первая опубликована в хорошем журнале, а вторая в плохом. “Значит, на самом деле эффект есть, – думает юный исследователь, – а эти неудачники просто попали в плохой журнал, потому что у них были какие‐то ошибки и вообще они небрежно работали”. И цитирует, скорее всего, преимущественно те статьи, в которых эффект есть, потому что ему же надо обосновать для грантодателя, для научного руководителя и для коллег, почему он решил заниматься именно этой темой. Но он все‐таки ради объективности хотя бы в скобках упомянет, что вот у некоторых исследователей эффекта не было.

Другое дело – научный журналист. Много вы видели новостных статей с заголовками в духе “Ученые не обнаружили влияния транскраниальной стимуляции на рабочую память”? Да не смешите. Какой дурак будет такое писать? Вот же есть исследование, про которое можно написать новость с заголовком “Ученые обнаружили влияние транскраниальной стимуляции на рабочую память”. Оно еще и опубликовано в журнале получше.