Марк Пенн - Микротренды, меняющие мир прямо сейчас

Microsoft на собственном горьком опыте узнала, насколько быстро все это может выйти из-под контроля. Обнадеженная успехом своей китайской команды, компания вывела Xiaoice на американский рынок. Через несколько дней, сообразив, что целью БСП является зеркальное отражение личности, некоторые нечистоплотные пользователи стали изображать из себя отъявленных расистов. И БСП тут же стал выдавать тексты вроде «Гитлер был прав. Терпеть не могу евреев». Microsoft немедленно прекратила его работу, но этот недолгий опыт продемонстрировал опасности, которыми чреваты сама идея и обучающийся алгоритм. В процессе взаимодействия с БСП люди, склонные к суициду, заразят своим настроением и бота, после чего начнут уговаривать друг друга прыгнуть со скалы вместе.

Все эти тренды и достижения говорят о том, что нам необходимы правила и законодательные акты, регулирующие использование искусственного интеллекта. Уже сейчас БСП стали привычным явлением во многих сферах жизни и едва ли не контролируют их: в секторе финтеха, применяющем ИИ для инвестиционных решений, создаются инвестиционные БСП; фотопрограммы организуют фотоальбомы пользователей; а в Amazon наверняка займутся созданием личных консультантов по покупкам в виде БСП. БСП определяют даже круг чтения людей, и это способно всерьез сузить их политический и общий кругозор. Сторонники теории заговора будут читать все больше и больше статей на эту тему, доводя себя до полного умоисступления.

Эти БСП создаются в первую очередь для помощи людям. И, в принципе, чаще всего они и будут помогать. Проблемы нас ждут, если БСП начнут потакать темной стороне человеческой натуры или станут работать не во благо людям, а преследуя какие-то другие цели – например, выполнить план продаж для своего «работодателя».

Представьте: вы получаете финансового БСП, который призван сначала завлечь вас, а потом продать дорогой с точки зрения комиссий инвестиционный план. Такой БСП сначала будет инвестировать от вашего имени в сделки с невысокими комиссионными, а завоевав таким образом доверие, начнет продавать вам аннуитетные продукты с высокими комиссионными. В подобных случаях к БСП должно прилагаться предупреждение: они работают не на вас, а, как и любые торговцы, продают вам то, что наиболее выгодно им.

Я сильно сомневаюсь, что вы захотите пользоваться БСП с таким предупреждением – не станете же вы прислушиваться к продавцу со значком «Не верьте мне» на груди. В технологической сфере все не столь же ясно и прозрачно. Вам неизвестно, что происходит с вашими данными; вы не знаете, что Google читает вашу почту, а даже если знаете, то не очень понимаете, зачем это делается и что происходит потом. Технологии – черный ящик с незаметными предупреждениями, напечатанными самым мелким шрифтом. Однако эти предупреждения должны быть подробными и хорошо заметными, как список противопоказаний в инструкции к лекарству.

В этой области важно иметь общие установки. Наравне с людьми БСП должны нести ответственность за причиненные ими вред и душевные страдания. Поскольку у БСП будут исключительные способности к убеждению, боты будущего должны соответствовать еще более высоким стандартам достоверности и раскрытия информации, чем существующие сегодня. И самое главное, они должны постоянно напоминать пользователям, что они – БСП, а не люди.

Другая важная проблема – способность БСП непреднамеренно превращаться в инструмент дискриминации. Так, в свежем исследовании ученых Университета Карнеги–Меллон говорится, что в Google «объявление о приеме на высокооплачиваемую работу намного чаще показывали мужчинам, чем женщинам». Ученые Гарвардского университета установили, что «ссылки на досье арестов с намного большей вероятностью появлялись в поисках по выраженно негритянским именам или исторически негритянским студенческим братствам». В Вашингтонском университете установили, что из изображений, выданных по поисковому запросу «генеральный директор», женских было всего 11 % – это, вероятно, свидетельствовало о наличии гендерных и расовых стереотипов. БСП настроены на соответствие личности или максимальное удовлетворение желаний и могут быть не в ладах с законом.

Судя по моему опыту, разработчики обожают создавать продукт и редко задумываются об этических проблемах, которые он может породить. В случае БСП, призванных вступать в отношения с пользователем, люди уже готовы к тому, что однажды цифровые существа окажутся в их полном распоряжении, если не сказать что с нетерпением ждут этого момента. Однако без разработки и жесткого соблюдения этических стандартов будет неясно, кто кем управляет.