Ханна Фрай - Hello World. Как быть человеком в эпоху машин

В любой области, какую ни возьми — в судебной системе, здравоохранении, охране порядка и даже в интернет-торговле, — возникают осложнения, связанные с вторжением в личную жизнь, предвзятостью, ошибками, безответственностью и непрозрачностью, которые так просто не обойти. Иногда алгоритмы уже одним фактом своего существования ставят перед нами острые вопросы, требующие честного и объективного анализа: какие мы, люди, каким мы хотим видеть наше общество и насколько мы способны совладать с крепнущей властью бесстрастных информационных технологий?

Но, возможно, в этом-то и загвоздка. Может быть, наша ошибка как раз в том, что мы рассматриваем алгоритмы как некую властную структуру.

Начать с того, что наше нежелание оспорить власть алгоритмов облегчило задачу тем, кто хочет на нас нажиться. Пока я искала материалы для своей книги, мне попадались мошенники всех мастей, и все они были не прочь воспользоваться каким-нибудь мифом и подзаработать на нашем простодушии. Несмотря ни на какие научно обоснованные аргументы, кто-то продает правоохранительным органам и правительству алгоритмы, якобы способные по одному только лицу распознать в человеке потенциального террориста или педофила. Есть и такие, кто утверждает, будто достаточно подредактировать с помощью их программы одну строку в сценарии, и ваш фильм станет блокбастером [403]. Другие с полной уверенностью и без тени иронии заявляли, что их алгоритм найдет для вас настоящую любовь [404].

Но даже добросовестные алгоритмы нередко наносят людям вред своим авторитетом. Эта книга изобилует историями о губительной деятельности алгоритмов. В Айдахо “инструмент бюджетного регулирования” оставил инвалидов без финансовой поддержки. Алгоритмы прогнозирования рецидивов преступлений присваивают темнокожим подсудимым более высокие рейтинги по шкале риска просто в силу исторических причин. Система диагностики заболеваний почек была устроена так, что миллионы людей, сами того не ведая и не давая на то своего согласия, обнародовали свои глубоко личные данные. Алгоритм, предназначенный для торговли в интернете, лишил юную девушку возможности самой сказать папе о том, что она беременна. Получив в свое распоряжение программу для отслеживания объектов наблюдения, полиция составляет “черные списки”, хотя задача алгоритма — предотвращать стрельбу. Ошибки и перекосы на каждом шагу.

Вместе с тем, когда мы говорим о слабых местах алгоритмов, может сложиться впечатление, будто существует некий идеал и надо к нему стремиться. Я долго и упорно думала и не смогла вспомнить ни одного бесспорно справедливого алгоритма. Скрытые угрозы таят в себе даже самые, казалось бы, прекрасные алгоритмы, такие как авиационные автопилоты и диагностирующие рак нейросети. Как вы уже знаете из главы “Автомобили”, человек, которого научили управлять машиной с автопилотом, рискует, оказавшись за рулем или джойстиком, попасть в крайне затруднительное положение. Высказываются даже опасения, что с виду чудесные алгоритмы для выявления опухолей, с которыми мы познакомились в главе “Медицина”, не для всех этнических групп одинаково эффективны. Но и без алгоритмов в мире не так уж много по-настоящему объективных и справедливых систем. Стоит только копнуть поглубже в любой области, и обнаружатся какие-нибудь нехорошие тенденции.

Давайте подумаем: допустим, мы смирились с тем, что идеала не существует, — что тогда? Алгоритмы будут ошибаться. Алгоритмы будут несправедливыми. Это вовсе не означает, что мы не постараемся сделать их как можно более точными и менее тенденциозными, но, возможно, признав, что алгоритмы — как и люди — несовершенны, мы несколько ослабим их власть, которой мы же их и наделили.

Представим себе, что мы не стали бросать все силы на создание алгоритмов, отвечающих самым высоким стандартам объективности, а сделали так, чтобы в случае неизбежной ошибки их работу было легко скорректировать; что те же усилия и время мы потратили на разработку таких автоматических систем, отключить которые не сложнее, чем внедрить. Наверное, логичнее было бы с самого начала разработать алгоритм, решения которого можно оспорить. Представим себе, что, по замыслу инженеров, алгоритмы не инструктируют людей, а помогают им принимать решения. Что они не просто выдают нам результат, а показывают, как и почему они пришли к тому или иному выводу.

На мой взгляд, лучшие алгоритмы — те, что на каждом этапе своей работы принимают в расчет человека. Те, что знают о нашей склонности излишне доверять решению компьютера, но в то же время учитывают собственные недостатки и не скрывают своей неуверенности.