Ханна Фрай - Hello World. Как быть человеком в эпоху машин

В 2015 году, в интервью журналу Science , Эпштейн объяснил результаты эксперимента: “Мы ждем от поисковой системы разумного выбора. Люди рассуждают так: «Да, перекосы есть, это говорит о том, что… поисковик делает свое дело»”. При том огромном объеме информации, который мы черпаем из интернета, еще больше тревожит искренняя убежденность многих социально активных граждан в том, будто они высказывают собственное мнение. “Если люди не замечают, что ими манипулируют, им кажется, что свежие идеи пришли им в голову независимо ни от чего”, — написал Эпштейн в своей статье [28].

Безусловно, Kadoodle — не единственная программа, которой можно вменить в вину подспудное манипулирование политическим выбором людей. В главе “Персональные данные” мы еще вернемся к этой теме, а сейчас для нас важен следующий вывод из описанного эксперимента: мы полагаем, что в большинстве случаев алгоритмы оказываются правы. Мы уже согласны с тем, что их решение всегда приоритетно [29]. Еще чуть-чуть, и мы перестанем даже осознавать, насколько мы им доверяем.

Сплошь и рядом алгоритмы предоставляют нам удобный и авторитетный источник информации. Предлагают простой способ переложить свою ответственность на кого-то другого, и мы не задумываясь соглашаемся на кратчайшие пути. Кто станет каждый раз докапываться до дальних ссылок на второй странице в Google и критически осмысливать все предложения поисковика? Кто станет шарить по сайтам всех авиакомпаний, чтобы посмотреть, действительно ли Skyscanner нашел самые дешевые варианты? Или, вооружившись линейкой и картой, проверять, нет ли еще более короткой дороги, чем выбирает GPS? Уж точно не я.

Однако надо понимать, где проходит грань. Потому что одно дело — доверять программе, которая обычно нас не подводит. Совсем другое — довериться той, про которую мало что толком известно.

Искусственный интеллект против естественной глупости

В 2012 году, в штате Айдахо, некоторым инвалидам сообщили, что их исключили из программы бесплатного медицинского обслуживания [30]. Несмотря на то, что все они имели право на льготы, власти без предупреждения сократили их пособие на 30 % [31], и инвалидам пришлось самим изыскивать средства на оплату услуг по уходу. Это было вовсе не политическое решение, а результат применения нового “инструмента бюджетного регулирования”, взятого на вооружение Министерством здравоохранения и социальной помощи штата Айдахо — компьютерной программы для автоматического расчета пособий для каждого отдельно взятого гражданина [32].

Однако рекомендации программы выглядели довольно нелогично. Человеку непосвященному показалось бы, что цифры взяты с потолка. Одним дали больше денег, чем в предыдущие годы, а другим урезали пособия на десятки тысяч долларов, и для того чтобы платить за обслуживание в лечебных учреждениях, кому-то, возможно, пришлось бы продать свой дом [33].

Люди не могли взять в толк, почему им сократили пособия и как справиться с новыми трудностями, поэтому обратились за помощью в Американский союз защиты гражданских свобод (ACLU). В 2017 году ситуацию прокомментировал в своем блоге директор по юридическим вопросам отделения в Айдахо Ричард Эппинк: “Я тогда подумал, мы просто попросим штат объяснить, почему вдруг так сильно уменьшились суммы выплат” [34]. В действительности же для выяснения причин произошедшего потребовалось четыре года, четыре тысячи жалоб и групповой иск о возмещении ущерба [35].

Для начала Эппинк и его помощники попробовали разобраться в том, как именно работает алгоритм, однако люди, отвечавшие за программу медицинской помощи нуждающимся “Медикейд”, отказались пояснить расчеты. Они сослались на “коммерческую тайну” и запрет на открытый доступ к использованному программному обеспечению [36]. К счастью, судью, который вел дело, такая мотивировка не устроила. Инструмент бюджетного регулирования, оказавший столь сильное влияние на жизнь простых американцев, был предъявлен и оказался вовсе не высокоразвитым ИИ и не искусно оформленной математической моделью, а банальной таблицей в формате Excel [37].

По-видимому, расчеты были выполнены на основе архивных данных, но из-за чудовищного количества ошибок и программных сбоев эти базы данных большей частью потеряли всякий смысл [38]. Хуже того, когда сотрудники ACLU тщательно проанализировали уравнения, выяснилось, что “способ составления самих формул содержал принципиальные статистические ошибки”. Инструмент бюджетного регулирования исправно выдавал непредсказуемые результаты для огромного множества людей. Алгоритм — если он вообще заслуживал такого названия — оказался настолько негодным, что суд признал его противоречащим Конституции [39].