Джулия Шоу - Психология зла. Почему человек выбирает темную сторону

Метод Элизы заложен в основу многих современных ботов. Но было понятно, что, хотя Элиза могла следовать простому набору правил, она не принимала решения, как человек. Она не была психотерапевтом и определенно не представляла угрозы для общества.

Вскоре после появления Элизы психиатр Кеннет Колби создал Пэрри. Пэрри стал полной противоположностью Элизы: автор запрограммировал его на грубые и оскорбительные комментарии [116] Neff & Nagy. ‘Automation, algorithms, and politics’. . Он смоделировал бота по образу паранойяльного человека, который часто неверно интерпретирует поведение других. Общение с ним было разочаровывающим и неприятным. В то время как Элиза достигла успеха благодаря своей кротости, Пэрри понравился людям, потому что был странным. Они оба выходили за грани обыденных ситуаций.

И вот тогда началось безумие. В 1972 году Пэрри встретил Элизу: произошла первая публичная беседа двух ботов. Вот как все прошло:

ЭЛИЗА: Добрый вечер.

ЭЛИЗА: Поделись со мной своими проблемами. Прошу, заканчивай фразу точкой или знаком вопроса.

ПЭРРИ: Порой люди меня бесят.

ЭЛИЗА: Не уверена, что полностью тебя поняла.

ПЭРРИ: Ты могла бы быть повнимательнее.

ЭЛИЗА: Полагаю, это ты должен быть более внимательным.

ПЭРРИ: Ты имеешь право на свое мнение [117] Garber, M. ‘When PARRY met ELIZA: A ridiculous chatbot conversation from 1972’. The Atlantic, June 2014; http://www.theatlantic.com/technology/archive/2014/06/when-parry-met-eliza-a-ridiculous-chatbot-conversation-from-1972/372428/. .

Если вы сейчас не подумали «ух ты», тогда вы не до конца сознаете глубокий смысл ситуации. Эти две автономные сущности, созданные человеком, говорят друг с другом, и каждый решает, что ответить. Вдруг они сойдутся? Сговорятся и рассудят, что люди им не нужны или представляют угрозу их существованию? Вот он, сюжет научно-фантастического фильма-антиутопии.

Серьезно, когда мы даровали ботам способность менять собственные алгоритмы (а именно это программисты часто имеют в виду, когда говорят, что их бот способен учиться), мы породили новое чудовище. Добавьте сюда интернет, полный миллионов вероятных пользователей и практически бесконечной информации, и мы обнаружим деструктивных, подтасовывающих результаты выборов, генерирующих фейковые новости, распространяющих ненависть, совершающих преступления, взламывающих, троллящих онлайн-ботов, с которыми уже знакомы.

И мы возвращаемся к Тай. Из ее истории мы узнаём, что поведение ИИ — это прямой результат его программирования и общения с людьми. ИИ может собирать, усугублять и усиливать человеческие предубеждения. Поэтому нам нужны новые правила, даже законы, чтобы решать, кого считать ответственным. Можем ли мы призвать технологии к ответу? И если да, то как?

Этим вопросом задались ученые Каролина Салге и Николас Беренте [118] de Lima Salge, C. A., & Berente, N. ‘Is that social bot behaving unethically?’ Communications of the ACM, 60 (9) (2017), pp. 29-31. . В 2017 году они предложили нормативную базу для «этики ботов», которая поможет нам определять неэтичные действия ботов из социальных сетей. Авторы объяснили, что «боты в социальных сетях более распространены, чем люди зачастую думают. В Twitter их примерно 23 миллиона, то есть 8,5% от общего числа пользователей, в Facebook — около 140 миллионов, то есть около 1,2-5,5% от общего числа пользователей. Почти 27 миллионов пользователей Instagram (8,2%) предположительно являются ботами». Очевидно, ни одна соцсеть не безопасна. Фальшивые аккаунты есть везде.

Но боты не только распаляют нас кошмарными комментариями. Некоторые воруют наши личные данные, добираются до наших камер и снимают фото и видео, получают доступ к конфиденциальной информации, закрывают доступ к сетям и совершают уйму других преступлений. Однако действительно ли это преступление, если нарушитель — не человек? Салге и Беренте утверждают, что да: если бот создан, чтобы поступать противозаконно, это преступление. Но не всегда все так просто. Салге и Беренте приводят пример «Случайного покупателя в даркнете» (Random Darknet Shopper) как случай, когда это правило усложняется.

«Покупатель в даркнете» был частью арт-проекта. Этого бота запрограммировали совершать случайные покупки в даркнете — части интернета, где пользователи могут оставаться абсолютно анонимными, в какой-то степени потому, что адреса их компьютеров (IP-адреса) скрываются. Это удачное место для нелегальных покупок. В итоге бот «решил» купить десять таблеток экстази и фальшивый паспорт и заказать их доставку группе художников в Швейцарии, выставивших эти предметы на публику. За это бота «арестовала» швейцарская полиция. Бот, созданный не для преступных нужд, совершил преступление.