Кит Йейтс - Математика жизни и смерти. 7 математических принципов, формирующих нашу жизнь

Но стоит повнимательнее присмотреться к цифрам, и мы увидим совершенно другую историю. Женщин, принявших участие в исследовании, просили применять Genifique дважды в день, а затем высказать свое отношение к утверждениям вроде: «кожа выглядит более сияющей», «цвет кожи выглядит более ровным» или «кожа по ощущениям стала более мягкой». Степень согласия с подобными утверждениями их просили оценить по девятибалльной шкале – от «полностью не согласна» (единица) до «полностью согласна» (девятка). Их не просили оценить степень сияния, мягкости или гладкости их кожи; они оценивали только степень своего согласия (или несогласия) с тем, что улучшение вообще есть. И уж, конечно, их не просили добавлять к оценкам эпитеты вроде «идеально» или «удивительно».

Результаты опроса показали, что, хотя 82 % женщин согласились (выставив оценку от шести до девяти баллов по девятибалльной шкале), что их кожа выглядит более гладко через семь дней, «полностью согласились» с этим менее 30 %. Точно так же 85 % в целом были согласны с тем, что их кожа выглядит более сияющей, но только 35,5 % согласились с этим полностью. L’Oreal подретушировала результаты собственного исследования, чтобы они выглядели более впечатляющими, чем на самом деле.

Размер фокус-группы – компания опросила всего 34 женщины – вызывал, пожалуй, еще бóльшие сомнения. При таком небольшом количестве участников в достоверности результатов опроса трудно быть уверенным из-за так называемого отклонения малой выборки. Малые размеры выборки, как правило, показывают более существенные отклонения от истинного среднего значения по популяции, чем большие выборки. Проиллюстрируем это мысленным экспериментом с «правильной монетой», на которой строго в половине случаев выпадает орел, в половине – решка. По какой-то причине я хочу убедить окружающих, что монета «предвзята» в пользу решки. Допустим, что для этого достаточно, чтобы монета выпадала решкой по крайней мере в 75 % случаев. Как будут меняться мои шансы убедить их по мере того, как увеличивается размер выборки – количество подбрасываний монеты?

Я могу попытаться обойтись всего одним броском. Если выпадет решка, я буду счастлив; одна решка в одном броске – это больше, чем пороговые 75 %. Такое возможно в половине случаев. Наилучший мой шанс убедить окружающих в своей правоте – сделать всего один бросок, но они могут справедливо возразить, что им требуется больше данных, чтобы быть уверенными, и попросят меня подбросить монету еще раз. При двух бросках мне нужно, чтобы решка выпала дважды – если решка и орел выпадут по разу, вероятность выпадения будет равна только 50 % и мои аргументы не пройдут. Как видно на рис. 17, две решки – это только один из четырех равновероятных результатов при двух бросках правильной монеты, так что я сумею убедить только четверть зрителей. Вероятность того, что монета выпадет решкой по крайней мере в 75 % бросков, быстро уменьшается по мере увеличения размера выборки, как показано на рис. 18. Когда размер выборки дойдет до ста бросков, мои шансы убедить кого-либо в том, что монета «предвзята», упадут до 0,00000009.

Рис. 17. Возможные комбинации орлов (H) и решек (T), выпадающие при различном количестве бросков монеты, до четырех бросков включительно. Справа от разделительной линии показаны результаты, когда решки выпадают по крайней мере в 75 % случаях, слева – когда они выпадают реже

По мере увеличения размера выборки уменьшается разброс вокруг среднего значения (в данном случае средним значением будет 50 % решек); становится все труднее убедить кого-то в том, что это неправда. Поэтому достоверность представленных в рекламе L’Oreal результатов, которые были получены на выборке всего 34 человека, не может не вызывать определенные сомнения.

Как правило, рекламные объявления, основанные на результатах «исследований» с небольшой выборки, сообщают о своих достижениях в процентах (82 % имеют удивительно гладкую кожу), а не в сравнительных долях (кожа стала удивительно гладкой у 28 из 34 участников), чтобы скрыть досадно малый размер выборки. При этом совпадение хотя бы двух показателей (как и в рекламе Genifique, где два показателя были одинаковыми: «удивительную гладкость» и «общее улучшение» отметили по 82 % участников) недвусмысленно свидетельствует о ее скромной величине. Более того, у маленькой выборки респондентов и выбор ответов невелик, если производитель хочет убедить потенциальных покупателей, что товар хорош, но опасается переборщить с его расхваливанием (позитивные оценки в диапазоне от 95 до 100 % могут выглядеть подозрительно). При большом размере выборки вероятность того, что на два разных вопрос в одинаково положительные ответы даст равное количество людей, гораздо меньше.