Тим Филлипс - Управление на основе данных. Как интерпретировать цифры и принимать качественные решения в бизнесе

• В 2010 году в Великобритании средняя почасовая оплата работы студентов-выпускников составляла $21,37, а средняя почасовая оплата тех, кто пошел работать сразу после школы, $13,27. Следовательно, можно было бы предположить, что «цена образования» составляет $8,1 за каждый час работы в будущем. Тем не менее это не так, потому что в данном случае сравниваются не одинаковые выборки: люди, получившие образование, вероятно, в любом случае зарабатывали бы больше, потому что у них были лучше результаты в школе, они были более заинтересованы в получении высокооплачиваемой работы, для которой требуется высшее образование, и так далее. То есть это отличие обусловлено многими факторами, а не одним.

• В Германии обеспечение прав отцов на отпуск по уходу за новорожденным привело к увеличению числа отцов, которые воспользовались этим правом, в шесть раз. Могла ли подобная ситуация сложиться в Великобритании? Вероятнее всего, нет. В Германии, например, гарантии трудовой занятости гораздо выше. Так что невозможно автоматически переносить результаты эксперимента в одной стране на население другой страны.

С другой стороны, если вы проводите эксперименты с продуктами, то почему бы не протестировать решения? Что для этого нужно?

1. Тщательно определите исходные условия. Выявите другие факторы, чтобы у вас была возможность измерить неожиданные последствия (например, вы можете продать больше единиц продукции, но тогда вам придется и больше работать). Точная оценка начальных условий – это ваша основа.

2. Подумайте, можно ли протестировать ваше решение при помощи двух групп: контрольной (без изменений) и экспериментальной (с изменением), чтобы определить разницу. При этом группы должны быть максимально похожими и вы не должны «наказывать» одну из групп, например, случайным образом ограничивая перерыв на обед.

3. Обращайте внимание на сезонные или географические изменения. Лето и зима, город и сельская местность, онлайн и офлайн – это все разные условия, и результаты тоже будут разными.

4. Тестируете ли вы свое решение на тех людях, которых оно будет непосредственно касаться? Например, проверить его на рядовых сотрудниках, а затем применить к руководящему звену не самая лучшая идея. Если вы протестируете решение на сотрудниках, а затем попытаетесь применить его к клиентам, из этого тоже мало что получится.

5. Будьте готовы к отрицательному результату. Например, если вы проверяете новую систему по работе с электронной почтой на половине сотрудников и видите, что эффективность работы упала и остается низкой, у вас должна быть стратегия, как вернуть все на исходную позицию.

6. Будьте готовы к положительному результату. В качестве простого эксперимента можно попробовать пилотное изменение или протестировать двух поставщиков. Если пилотное изменение себя оправдает, у вас должен быть запас времени и средств, чтобы согласовать эти перемены и реализовать их.

Два заключительных предупреждения: не любая разница в итогах будет значимой. Некоторые результаты, которые кажутся успешными, могут на самом деле быть случайными: вы просто выиграли лотерею при проведении эксперимента. Это трудно обнаружить, и для этого требуется некоторая подготовка в работе со статистическими данными. Самый простой способ исключить элемент случайности – это повторить эксперимент с другой тестовой группой. Кроме того, даже если полученный результат не случаен, степень его влияния может быть не такой важной. Недавно один из специалистов по маркетингу поделился со мной, что нашел способ прогнозировать объем будущих продаж на основе активности пользователей в твиттере. По его словам, достоверность его прогноза составляла 60 %, как и показатель, основанный на активности пользователей на сайте компании. Но вы уже можете бесплатно или почти бесплатно отслеживать это на корпоративном ресурсе. Значит, ваш эксперимент был успешным, но абсолютно бесполезным.

Не принимайте поспешных решений в ситуациях повышенного риска или неуверенности.

Вообразите, что вам предстоит сдать анализ на наличие какого-то заболевания. Точность анализа составляет 99 %, и у 99 % населения эта болезнь не встречается. Или, иными словами, шанс, что у вас обнаружат это заболевание, равен 1 %, и риск медицинской ошибки равен 1 %.

Врач заходит в кабинет и сообщает: «У меня для вас плохие новости. Результат анализа положительный». Какова вероятность, что это ошибка? Возможно, вы думаете, что это 1 % или 1 % от 1 %. Вы ошибаетесь! В этой ситуации диагноз может оказаться ошибочным в половине случаев. Половина людей с положительным результатом анализа на самом деле не больны.