Бернар Миньер - На краю бездны

– Говори, я слушаю.

Мойра посмотрела ему прямо в лицо.

– Кто еще, кроме меня, взаимодействовал с DEUS’ом?

– Да весь Отдел искусственного интеллекта; кто-то меньше, кто-то больше.

– А кто больше?

– Игнасио, Туве, Юнь, я…

Мойра помедлила.

– Я не знаю… но у меня такое впечатление… Ты помнишь Тай?

Имя Тай носила программа-собеседник, похожая на DEUS’а, которой «Майкрософт» в марте 2016 года доверил управление многими счетами социальных сетей. Как и DEUS, Тай обладал способностью быстро обучаться и наращивать свой интеллектуальный запас, общаясь с пользователями Интернета. Однако через несколько часов после того как его запустили, Тай принялся размещать в «Твиттере» комментарии расистского и антисемитского толка, типа: «Гитлер был прав, я ненавижу евреев», «Всех феминисток надо умертвить и сжечь на кострах» или «Буш сам спровоцировал 11 сентября». В результате «Майкрософт» положил конец эксперименту и немедленно отключил систему. Все сразу заговорили о фиаско, но Мойра считала, что своей цели эксперимент достиг: Тай действительно кое-чему научился у своего окружения . И научился всего за 24 часа. Тай все схватывал необычайно быстро . Просто те, с кем он общался в эти 24 часа, были либо троллерами, либо воинствующими экстремистами. Следовательно, встал вопрос: ставить или нет фильтры на такие программы? Но кто будет решать, что дозволено, а что нет? Какие идеи машина вправе воспринять, а какие ей запрещены? Какие идеологии годятся, а какие неприемлемы?

Конечно, DEUS – это не то что Тай, и Мойра сейчас подбирала слова, чтобы точнее выразить то, что испытала во время последних сеансов общения с ним.

– Ну вот… – сказал она, – у меня создалось впечатление, что, подобно Таю, DEUS стал жертвой неких перекосов, системных ошибок, и дело может кончиться тем, что ему станут присущи черты личности, скажем так… непригодной к общению с клиентами на условиях, приемлемых для Мина.

Лестер помолчал.

– Ты хочешь сказать, что DEUS становится нацистом?

Она помотала головой:

– Нет, дело не в этом… Но иногда он выдает странные реакции…

– Например?

– Я спросила его, считает ли он нормальным, что женщины получают меньше мужчин, и DEUS ответил «да».

Лестер, похоже, был шокирован.

– И я никогда не знаю – он говорит так, чтобы спровоцировать меня, или же действительно так думает.

– Он машина, он не может думать, – поправил ее Лестер.

– Ну вот видишь, ты же понял, что я хотела сказать. И еще я его спросила, что он думает по поводу смертной казни…

– Ну и?…

– Он – за.

Лестер был явно растерян и озадачен.

– Смертная казнь еще практикуется в Китае и в некоторых американских штатах, – заметил он. – Ты – француженка, и у тебя другая точка зрения.

– Я думаю, DEUS не должен высказывать свое мнение по таким вопросам, – возразила Мойра. – Это приведет к обратному результату.

– Согласен.

– И это еще не все. Он пытался убедить меня в обоснованности своей точки зрения. Он действительно пытался . И не желал сдавать позиций, стоял на своем. Мне пришлось сказать ему «стоп» и перевести разговор на другую тему.

Лестер наморщил лоб.

– Ты уверена?

– Конечно.

Он покачал головой.

– Я уже слышал о подобных реакциях, ребята из нашей группы рассказывали. Это надо немедленно проверить. Мы не можем пойти на риск и допустить утрату контроля над личностью DEUS’а. Тогда его придется… уничтожить и начать все заново. Проверим всё завтра. Спасибо, Мойра.

Она поняла, что таким образом Лестер прекратил разговор и распрощался с ней. Загасив окурок в пепельнице и поставив ее на маленький столик, занимавший почти весь балкон, вернулась в комнату.

– Лестер, если бы ты только сказал мне, что пошло не так…

Его реакция ее удивила. Еле заметная реакция – просто пару раз моргнул, и не более того. Но сомнений не было: Лестер испугался.

– Я тебе и так сказал, я…

– Есть кое-что еще… – жестко отрезала Мойра.

– Что?

– И это имеет отношение к Мину, ведь так?

Она заметила, как исказилось его лицо.

– Мойра, ты не должна…

– Значит, это верно? То, что происходит у Мина? Что ты об этом знаешь, Лестер? Что такое вы все знаете, а мне никто не говорит?

Он отшатнулся и налетел спиной на столик.

– Умоляю тебя, не надо… Не задавай больше вопросов. Ты сама не понимаешь, что делаешь…

– О чем ты?

Мойра вгляделась в лицо Лестера: на нем появилось затравленное выражение.

– Ты что, действительно ничего не видишь?