Эндрю Макафи - Машина, платформа, толпа. Наше цифровое будущее

Такое объявление предполагало, что у нее криминальное прошлое, хотя она никогда не подвергалась задержанию.

Решив исследовать это явление, Суини обнаружила, что поиск по именам, более распространенным среди афроамериканцев (например, Тревон, Лакиша или – да, Латания), с гораздо большей вероятностью приводил к появлению сообщения «Арестована?», чем по именам, чаще ассоциирующимся с белыми (например, Лори или Брендан) [142] Latanya Sweeney. “Discrimination in Online Ad Delivery,” Queue 11, no. 3 (2013): 10. . О причинах этого феномена нельзя сказать ничего точно, но Суини дала ему такое объяснение: алгоритм Google, обеспечивающий показ рекламы, заметил, что клики более вероятны, когда объявления связаны с именами, характерными для чернокожих. Это не отражение сознательных дискриминирующих действий людей, размещающих объявления или работающих в Google. Просто алгоритм отражает и усиливает распространенный в обществе расовый предрассудок, проявляющийся в решениях миллионов людей кликнуть по определенным объявлениям. Аналогичным образом по словам «ученый» и «бабушка», набранным в январе 2017 года в сервисе поиска изображений Google, выдавалось ошеломляющее количество фотографий белых людей.

В статье в Nature Кейт Кроуфорд и Райан Кало отмечали опасность того, «что в ряде контекстов недостатки систем искусственного интеллекта чрезвычайно влияют на группы, которые и без того находятся в невыгодном положении из-за таких факторов, как расовая принадлежность, пол или социально-экономические условия», и подчеркивали, насколько важно при проектировании таких систем учитывать социальные воздействия – как намеренные, так и непреднамеренные [143] Kate Crawford and Ryan Calo, “There Is a Blind Spot in AI Research,” Nature 538, no. 7625 (2016): 311. Подходит также диссертация Даны Бойд: “The Networked Nature of Algorithmic Discrimination” (PhD diss., Fordham University, 2014). .

Мы разделяем эту озабоченность и видим в тенденции к алгоритмическому принятию решений как вероятные проблемы, так и благоприятные возможности. Проблемы состоят в том, что такой подход способен укоренить и закрепить несправедливые, опасные и нежелательные искажения. Хуже того, такие искажения могут возникать, несмотря на искреннее желание разработчиков создавать по-настоящему беспристрастные системы, и, вероятно, их будет трудно обнаружить без масштабного тестирования. Любой проект обязательно столкнется с такой проблемой.

Благоприятные возможности состоят в том, что компьютерные системы, как правило, легко поддаются тестированию и улучшению. И если какую-то ошибку однажды исправить, то маловероятно, что она проявится снова. Людям, напротив, крайне трудно разобраться в своих предрассудках (сколько явных расистов и сексистов вы знаете?), не говоря уже о том, сколько труда нужно для их преодоления. Если смотреть на ситуацию реалистично, то для систем, принимающих решение, идеальным не будет ни один стандарт – хоть на основе компьютера, хоть на основе человека, хоть на их сочетании. Любая система, скорее всего, будет содержать искажения и делать ошибки. Так что лучше поставить цель выработать такой подход, который сведет их к минимуму и позволит легко и быстро их исправлять.

Какую роль в принятии решений должны играть люди (и должны ли вообще)? Мы уже знаем об искажениях и ошибках Системы 1, у нас есть океаны данных и растущие с каждым годом вычислительные мощности, так что можно сделать вывод, что «невидимая экономика» вот-вот вытеснит традиционную, а цифровые аналоги Системы 2 вскоре станут принимать большинство решений. Есть такая старая шутка: в будущем на каждом заводе останется всего два работника – человек и собака. Обязанностью человека будет кормить собаку, а обязанностью собаки – следить, чтобы человек не касался машин [144] Mark Fisher, The Millionaire’s Book of Quotations (New York: Thorsons, 1991), quoted in Barry Popik, “The Factory of the Future Will Have Only Two Employees, a Man and a Dog,” Barrypopik.com (blog), December 2, 2015, http://www.barrypopik.com/index.php/new_york_city/entry/the_factory_of_the_future . . А может, действительно компании завтрашнего станут такими?

Мы так не думаем. Да, у нас есть предрассудки, которых нет у компьютеров. Но у нас есть и сильные стороны, которых лишены машины. Начнем с того, что мы постоянно получаем от своих органов чувств невообразимое количество данных и при этом не занимаемся предварительным отбором – просто вбираем их целиком по мере поступления. Нам трудно слышать только некоторые звуки или видеть только некоторые вещи – даже в течение короткого времени. Компьютеры ведут себя наоборот: они испытывают огромные трудности в сборе разнородных данных или данных, отличных от тех, с которыми им позволили работать конструкторы и программисты.