Мэтью Сайед - Принцип «черного ящика»

В первой части книги мы видели, как учатся на своих ошибках авиакомпании, разбирая все катастрофы и потенциально опасные ситуации. Нежелательные события используются, чтобы вырабатывать гипотезы о том, что пошло не так, и по возможности совершенствовать систему. Но это еще не все. Предлагаемые изменения, какими бы верными они ни казались, могут повлечь за собой непредвиденные последствия. Потому все предложения тестируются на симуляторах (при разных условиях и разными пилотами) и только потом применяются на практике. Иными словами, авиация учится на своих ошибках на многих уровнях – и добивается успеха.

Для того чтобы проводить РКИ эффективно, важно создать правильную методологию, включая достаточно большой объем выборки. См. http://www.evanmiller.org/how-not-to-run-an-ab-test.html.

Это скорее оценка, чем точная сумма, – после перекрашивания панели на прибыль компании влияло слишком много переменных.

Иногда данную проблему называют «проблемой внешней валидности»: насколько результаты данного РКИ можно применять в других контекстах? Этот вопрос важен в области фармакогенетики. Эффективность многих лекарств зависит от генотипа (и, следовательно, этнического происхождения) пациента. Отсюда следует, что большая часть лекарств сегодня эффективно действует на европейцев и белых американцев – именно они составляют большинство в тестируемых группах.

В 2000 г. Blockbuster решил не покупать только что появившуюся компанию Netflix за 50 млн долларов.

В ряде случаев генетическая эволюция – тоже стратегия для локальной оптимизации. Во многих оптимизационных алгоритмах – компьютерных программах, более-менее точно имитирующих процесс эволюции, – предусмотрены крупные изменения с регулярными интервалами, позволяющие уходить от узкой области параметров и уводящие процесс от локального оптимума в сторону более высокой горы.

Вспомните, например, про экономистов, которые перетолковывают свои прогнозы так, что оказываются всегда правы. Такое поведение систематически подрывает творческий процесс. Без неудачи, без провала, без раздражения экономисты лишены не только мотивации, но и концептуального топлива, нужного для переосмысления экономических моделей. Они используют свой замечательный интеллект, чтобы защищать собственные идеи, а не перерабатывать их.

Есть немало захватывающих книг о войне ученых за свой приоритет в конкретном открытии. Некоторые битвы были жестокими, например между Ньютоном и Лейбницем, которые спорили о том, кто из них первым придумал дифференциальное исчисление. Куда реже такие дискуссии разрешались полюбовно, как между Уоллесом и Дарвином. Тори Рив в книге «Даун-хаус: дом Чарльза Дарвина» (Down House: The Home of Charles Darwin) пишет, что Уоллесу, «замечательно свободному от зависти и ревности», ничуть не претило оставаться в тени Дарвина.

Для того чтобы наладить производственный процесс, часто нужно ликвидировать все нежелательные отклонения. Управляя различными процессами, бизнес уменьшает вариативность на выходе. Творческий процесс, напротив, приветствует эксперименты, то есть увеличение вариативности. Более подробно о разнице между этими подходами и о том, как их примирить, см. http:// www.forbes.com/sites/ricksmith/2014/06/11/is-six-sigma-killing-your-com-panys-future/.

Одна из загадок рейса LN 114 – почему, если верить пилоту «фантома», шторки всех иллюминаторов в пассажирском салоне были опущены? Можно быть почти уверенным в том, что пилот, испытывая стресс и обладая ограниченным запасом времени, не заметил, что часть шторок была поднята.

«Эффект знания задним числом», еще одно хорошо изученное когнитивное искажение, также играет здесь свою роль. Когда мы знаем итог события – пациент умер, самолет разбился, ИТ-система дала сбой, – перестать думать о конкретной причинно-следственной связи очень трудно. Сложно влезть в шкуру совершившего ошибку человека – тот часто действует в состоянии стресса, пытаясь примирить различные требования и не понимая, чем может обернуться данное решение.

В здравоохранении в аналогичных случаях говорят о «перестраховочной медицине» – когда медики назначают множество ненужных анализов, чтобы в случае чего уйти от ответственности, и увеличивают тем самым стоимость процедур.