Кэти О'Нил - Убийственные большие данные. Как математика превратилась в оружие массового поражения

Какое отношение это имеет к ОМП? Тут важны два фактора. Во-первых, алгоритмы оценки учителя – мощный инструмент для корректировки поведения. Это, собственно, и есть цель этих алгоритмов, и в школах Вашингтона они олицетворяли собой как кнут, так и пряник. Учителя знали, что, если их ученики плохо напишут тесты, их собственные рабочие места окажутся под угрозой. Это давало учителям сильную мотивацию добиться того, чтобы их ученики нормально справились с тестами, – особенно после того, как на рынок труда обрушилась Великая рецессия. В то же время, если их студенты превзошли бы сверстников, учителя и администрация могли получить бонусы суммой до восьми тысяч долларов. Добавьте эти мощные мотивационные элементы к уликам в деле – большому количеству исправлений и аномально высоким результатам, – и вы получите основания подозревать, что учителя четвероклассников либо из страха, либо из жадности подделали результаты экзаменов своих учеников.

Таким образом, вполне вероятно, что ученики Сары Высоцки начали учебный год с искусственно завышенными результатами. В таком случае результаты их тестов в конце года вполне могли показать, что у них существенно снизился уровень результатов – то есть что учителя пятого класса недостаточно хорошо их обучали. Высоцки убеждена, что именно это с ней и случилось. Это объяснение хорошо укладывалось в наблюдения родителей, коллег и директора, которые в один голос утверждали, что она очень хорошая учительница. Если бы учительницу уволили люди, это можно было бы оспорить. У Сары Высоцки были очень веские основания для апелляции.

Но апеллировать к оружию математического поражения невозможно. Это – часть его пугающей силы. Оно ни к кому не прислушивается и ни перед кем не отступает. Оно глухо не только к лести, угрозам и уговорам, но и к логике, даже когда есть хорошие основания усомниться в информации, которая послужила основной их выводов. Да, если становится очевидно, что автоматическая система выдает настолько неверные результаты, что это бросается в глаза, программисты все-таки доработают алгоритмы. Но по большей части программы изрекают вердикты, не подлежащие обжалованию, а обслуживающие их люди могут только пожимать плечами, словно хотят сказать: «Ну что же тут поделаешь?»

Именно этот ответ Сара Высоцки и получила от школьного округа. Джейсон Камрас позже сообщил Washington Post , что исправления были «подозрительными» и что цифры у ее пятого класса могли быть неверными. Но эти свидетельства не были достаточно убедительными. По его мнению, с Сарой поступили справедливо.

Видите парадокс? Алгоритм обрабатывает массу статистических данных и выдает вероятность того, что определенный человек может быть ненадежным арендатором, сомнительным заемщиком, террористом или плохим учителем. Эта вероятность выражается в результате, который может разрушить чью-то жизнь. Однако когда человек высказывает претензии к этому результату, то «подозрительные» свидетельства, могущие его оспорить, просто не принимаются во внимание. Дело должно быть железобетонным. Люди – жертвы ОМП, как мы увидим снова и снова, должны предоставить гораздо более четкие свидетельства, чем сами алгоритмы.

Пережив шок от увольнения, Сара Высоцки оставалась без работы всего несколько дней. Ее окружала масса людей, включая ее бывшего директора, которые готовы были поручиться за нее как за отличного учителя, и в результате она быстро нашла работу в школе соседнего округа, в Северной Вирджинии. Благодаря спорной модели бедная школа потеряла хорошего учителя, а богатая школа, которая не увольняет людей на основании результатов ученических тестов, этого хорошего учителя приобрела.

После ипотечного кризиса я остро осознала, насколько повсеместно распространено ОМП в банковском деле, и ту опасность, которую оно предоставляет для нашей экономики. В начале 2011 года я ушла из хедж-фонда. Позже, переименовав себя в специалиста по анализу данных, я присоединилась к стартапу в области онлайн-торговли. С этой выигрышной позиции мне было прекрасно видно, как легионы других видов ОМП ввинчиваются во все области промышленности и многие из них при этом усиливают неравенство и наказывают бедных. Оружие математического поражения находилось в самом сердце бурно развивающейся экономики данных.

Чтобы распространить информацию об ОМП, я завела блог под названием MathBabe . Моей целью была мобилизация коллег-математиков на борьбу с небрежным использованием статистики и основанных на предвзятости моделей, которые создавали свои собственные токсичные петли обратной связи. Специалисты по анализу данных, которых заинтересовал мой блог, сообщали мне о распространении ОМП в новых областях. Но в середине 2011 года, когда в Нижнем Манхэттене развернулось протестное движение «Захвати Уолл-стрит», я поняла, что нам нужно работать с более широкой аудиторией. Тысячи протестующих собрались, чтобы потребовать экономической справедливости и финансовой подотчетности. Однако, когда я услышала интервью с участниками этого движения, я обнаружила, что они зачастую не знают о самых основных проблемах, связанных с финансами. Они явно не читали мой блог. (Тут я должна добавить, что необязательно знать все детали системы, чтобы понять, что она неработоспособна.)