Дарелл Хафф: Как лгать при помощи статистики

Все это живо напоминает историю о том, как двое нью-йоркских репортеров, Линкольн Стеффенс и Джейкоб Риис, однажды создали волну преступности. Криминальная хроника в газетах разрослась до таких масштабов (по числу упоминавшихся преступных деяний, отведенному им газетному месту и величине шрифта, каким печатались эти сообщения), что общественность потребовала решительных действий. Теодор Рузвельт, в те поры лично возглавлявший реформирование полицейского управления, попал в незавидное положение. Однако волну преступности он утихомирил самым простым способом: потребовал, чтобы Стеффенс и Риис прекратили нагнетать ситуацию. Корень бед, как выяснилось, состоял в том, что с подачи этой парочки газетные репортеры развернули соревнование, кто сумеет накопать больше всего информации о кражах со взломом и прочих преступлениях. Между тем официальная полицейская статистика не зафиксировала вообще никакого роста преступности.

«Британец старше 5 лет отмачивает себя в горячей ванне в среднем 1,7 раза в неделю зимой и 2,1 раза в летний сезон, – говорится в газетной заметке. – Британка же за неделю принимает ванну в среднем 1,5 раза в неделю зимой и 2,0 раза летом». Источником сведений стал проведенный Министерством общественных работ Великобритании опрос о пользовании горячей водой, в котором участвовали «6000 британских семей». Выборка отвечает требованиям репрезентативности, говорилось в итоговом докладе, и представляется вполне подходящей по размеру. Что оправдывает вывод, который сан-францисская газета Chronicle’s сформулировала следующим забавным заголовком: «БРИТАНЦЫ ПРИНИМАЮТ ВАННУ ЧАЩЕ, ЧЕМ БРИТАНКИ».

Сведения эти могли бы больше сказать о положении дел, если бы отчет содержал хотя бы намек на указание, будут ли приведенные цифры средним или медианным значением. Но самое слабое место в этих сведениях – это что по ходу исследований произошла подмена понятий. Добытые министерством сведения в реальности говорят о том, насколько часто британцы, по их собственным словам, принимают ванну, а не о том, насколько часто они делают это на самом деле. Когда вопрос касается такой сугубо интимной темы, да еще в свете британской традиции часто принимать ванну, нельзя исключать, что ответы респондентов и то, как они поступают в реальности, совсем не одно и то же. В жизни британец с равным успехом может принимать ванну как чаще, так и реже своей соотечественницы. Так что единственное, о чем можно судить с уверенностью, это что британцы говорят, что дела обстоят именно так.

Приведу еще несколько разновидностей подмены объекта исследований, чтобы вы были начеку и при случае не пропустили чего-то подобного.

После того как перепись населения показала, что в 1935 г. в США стало на полмиллиона больше ферм, чем пятью годами раньше, многие усмотрели в этом тенденцию к возвращению на фермы. Однако два этих подсчета имели в виду далеко не одно и то же. За те пять лет само определение фермерского хозяйства, которым руководствовалось Бюро переписи населения США, изменилось, и в итоге при новой переписи к категории фермерских были отнесены как минимум 300 000 хозяйств, которые, согласно действовавшему в 1930 г. определению, таковыми не считались и потому учтены не были.

Порой возникают и настоящие нелепости, если цифры основываются на том, что говорят сами люди, – даже когда речь идет об объективных вроде бы фактах. Так, перепись населения выявила большее количество людей в возрасте, скажем, 35 лет, чем тех, кому 34 и 36. В подобных случаях картина искажается оттого, что кто-то из членов семьи, сообщая о возрасте домочадцев и не будучи в нем точно уверенным, часто следует привычке округлять года до величины, кратной пяти. Один из способов обойти подобные ошибки – просить, чтобы респонденты называли не возраст, а дату рождения.

Или такой случай: сообщалось, что население крупного района Китая составляет 28 миллионов человек. Спустя пять лет численность населения была уже 105 миллионов. Однако реальный рост населения составлял лишь малую долю этого почти четырехкратного увеличения. Огромную разницу между двумя этими показателями можно объяснить, только принимая во внимание цели переписей населения в том районе, и степень готовности самих жителей быть переписанными. Как выяснилось, первая перепись проводилась в интересах налогообложения и военных нужд, а вторая – для того, чтобы разработать меры по борьбе с голодом.