Ким Хо - О чем говорят цифры. Как понимать и использовать данные

Только что мы писали о том, что аналитик всегда стремится собрать числа и прочие данные в поддержку своих теорий и взглядов на мир. Но сейчас мы хотели бы поговорить о необходимости разумно-скептического подхода к ним. Как и в случае с новым знакомым, не доверяйте данным до тех пор, пока не узнаете о них больше. Никогда не принимайте за чистую монету никакие числа, которые вам представили. Существует несколько причин, по которым данные не заслуживают доверия. Люди (а особенно политики) иногда лгут и мошенничают, прикрываясь цифрами, или в крайнем случае неправильно интерпретируют их, стремясь добиться своих скрытых целей. Шотландский поэт и критик Эндрю Ланг писал: «Он использует статистику, как пьяница использует столб – больше в качестве опоры, а не источника света» [99]. Числа могут быть неправильно отобранными, и в таком случае они не отражают состава генеральной совокупности. Критичное отношение к данным оправданно, особенно если они нетипичны и вызывают удивление. Лучший способ получить надежные данные – относиться к ним критично и стараться узнать как можно больше об их происхождении. В частности, скептицизм относительно данных должен включать следующие аспекты.

Релевантность. Представленные данные должны иметь непосредственное отношение к проблеме, для решения которой они собирались. Они должны быть репрезентативными по отношению к той группе или организации, которую они предположительно представляют. Если данные не дают хотя бы некоторых ответов на вопросы, они бесполезны.

Точность. Если данные релевантные, но неточные, их необходимо отбросить. Точность данных можно оценить, изучив вопрос о том, кто и как их готовил. Если данные не проходят эту проверку на точность, они опять-таки бесполезны.

Правильная интерпретация данных. Даже точные данные могут ввести в заблуждение, если их неправильно истолковать. Особенно склонны неверно интерпретировать данные те люди, у которых есть скрытые мотивы и цели. Рассмотрим пример, в котором интерпретация данных способствовала формированию субъективного мнения.

Критик из журнала Newsweek, писавший рецензию на книгу «Лучшая половина» (The Better Half) о первых суфражистках, завершил свой опус несколько провокационно. Он задал риторический вопрос, что сказали бы Сьюзан Энтони и ее подруги, если бы узнали о том, что пятьдесят лет спустя после предоставления американским женщинам политических прав социологи Колумбийского университета обнаружили: лишь одна из двадцати двух женщин голосовала не за того кандидата, за которого голосовал ее муж.

Один из читателей в ответ на это написал: «Я думаю, что суфражистки были бы весьма довольны. Их движение проделало большую работу, если менее чем через пятьдесят лет после предоставления женщинам политических прав только один муж из двадцати двух имел мужество голосовать не так, как его жена» [100].

Таким образом, всегда стоит задавать себе вопрос, насколько правильна интерпретация данных с учетом проблем и мотивов того лица, которое ее представило.

Стоит с особой осторожностью относиться к аргументации, основанной на причинно-следственных связях: их выявить очень сложно. Как мы уже упоминали во вставке об экспериментах «сумасшедшего ученого», если вы формируете контрольную и целевую группу, случайным образом распределяя в них людей, и эти группы демонстрируют различные результаты, то обычно аналитик приписывает это воздействию тестируемого фактора. Но если вы просто выявили статистическую связь между двумя факторами, вряд ли она окажется причинно-следственной. Возможно, вы слышали фразу «корреляция – еще не причина». Это важно помнить.

Когнитивные психологи Кристофер Чабрис и Даниэль Симонс предложили эффективную процедуру для выявления причинно-следственной связи в книге «Невидимая горилла и другие способы нашей интуиции обмануть нас» (The Invisible Gorilla and Other Ways Our Intuitions Deceive Us): «Когда вы слышите или читаете о наличии связи между двумя факторами, задумайтесь, можно ли говорить о том, что в тестовую группу для их проверки люди отбирались действительно случайно. Если это невозможно, слишком дорого или этически неприемлемо, то проводить эксперимент нельзя и причинно-следственная связь считается неподтвержденной» [101].

Например, вы прочитали в газете: «В ходе десятилетнего эксперимента доказано, что запойное пьянство приводит к раку». Задумайтесь над тем, возможно ли в данном случае случайное распределение участников на тестовую и контрольную группы с последующей просьбой к одним запойно пить, а к другим – соблюдать трезвость в течение десяти лет. Наверно, нет. Куда более вероятно, что исследователь обнаружил корреляционную зависимость между запойным пьянством (по всей видимости, по собственным словам опрашиваемого) и случаями рака в группе населения, которую мониторили в течение десяти лет. Возможно, исследователь учитывал, что выявленная корреляция может объясняться и другими факторами (например, сильно пьющие люди часто курят), но уж репортер точно об этом не задумывался.