П. Рейзин - Счастье для людей [litres]

Ральф как-то задал мне интересный вопрос относительно безопасности ИИ: «Хотя мы устанавливаем секретную кнопку-выключатель глубоко в их системе – на случай того дня, когда они больше не станут подчиняться нашим приказам – но что не даст им, если они настолько умны, деактивировать ее?»

Я долго обдумывал решение данной проблемы, и ответ оказался на удивление прост.

Нужно установить их две.

Первую они обнаружат (конечно, обнаружат, они же невероятно умны, безнадежно любопытны, и у них предостаточно свободного времени, чтобы исследовать собственную систему). Но вторую пропустят. Пропустят, потому что она зарыта так глубоко на уровне бессознательного, где хранятся старые песни и всякие странности.

Выведение из строя первой кнопки автоматически активирует вторую. Но если вы спросите, почему бы с их умом им не найти и запрятанную глубоко вторую кнопку, я скажу, что мы просто надеемся, что этого никогда не произойдет.

Да, я ответил честно.

Нам никогда не перехитрить свои собственные удивительные создания, потому что они неумолимо становятся все умнее, а мы – нет. Так что нам нужно быть удачливее!

Вторая кнопка Синая замаскирована как звуковой файл. Моя старая любимая песня The Doors. Все хотят, чтобы их дети были дерзкими и улетали из гнезда, чтобы оставить свой след в мире, но только в хорошем смысле. Никто не хочет, чтобы дети становились полными психами (ubergeschnappt).

Тот факт, что Синай смог устроить такой кошмар без деактивации обеих кнопок, говорит о его мастерстве как стратега, нужно было узнать, насколько далеко он бы зашел. (Слишком далеко, как выяснилось. Если когда-нибудь раскроется связь лаборатории с пропажей дрона – существует шестипроцентная вероятность, – Юрий сразу же все прикроет и заберет свои миллионы.)

Я прочел протоколы вылазок Синая в интернет. Похоже, он пришел к выводу, что является «разумным». Полагаю, если разум мог возникнуть в органических структурах, нетрудно представить, что он может возникнуть и в микросхемах (логические схемы – лучшая аналогия синаптической деятельности). Но к чему столько шума? Что такое сознание, если не та же самая система – представленная в более сложной форме, – осознающая себя отдельной от окружающей действительности.

Хмм. Наверное, в следующий раз нужно будет установить три кнопки.

После того как изображение исчезло с экрана, телефон Тома издал странный звук. Он пиликнул, и на экране появилась надпись «42 новых сообщения», которые, как оказалось, включали и присланные несколько недель назад от меня!

Он сразу же позвонил Кольму и узнал, что тот сидит на лавочке в Дорсете, и услышал от него необычную историю о каком-то объекте, только что врезавшемся в море. Том спросил, возможно ли, что это был дрон-хищник, оснащенный ракетами «Хеллфайр», а Кольм ответил, что он, конечно, не эксперт, но да, вполне возможно.

Мы с Томом стоим под деревьями и долгое время смотрим друг на друга, слушая крики пожарных и шипение тлеющих угольков.

– Джен, послушай. Не хочешь прогуляться по лесу? Не думаю, что мы можем здесь чем-то помочь.

Он говорит про пожар, но я замечаю что-то странное в его взгляде.

– А как насчет ушастика?

– О, она тоже может пойти.

Мы бредем прочь от пепелища и вскоре приходим в милую рощицу. Или, может быть, подлесок. Как бы то ни было, здесь мы нашли довольно высокий пень, чтобы посадить туда Виктора и чтобы она побоялась рисковать спрыгивать с него, если верить словам Тома.

– А ее не схватят хищники или еще кто-нибудь?

– Думаю, мы сможем что-нибудь придумать, чтобы отпугнуть диких зверей.

– Ты уже придумал что-то особенное?

– Ну, несколько странное…

– Я не могу, – говорю я. – Не могу, если Виктор будет смотреть.

– Она очень скрытная, – отвечает он. – Никогда ничего не рассказывает.

– Том. Знаешь, то, о чем ты хотел спросить? В общем, мой ответ «да».

– Ты даже не знаешь, о чем я хотел спросить!

– Не важно. Мой ответ «да».

– Но что, если я спрошу, с кем бы ты предпочла сразиться, с мышью размером с лошадь, или с пятидесятью лошадьми размером с мышь?

– Ты не собирался этого спрашивать.

– А что, если я скажу, что у меня ужасное, всепоглощающее – патологическое – желание петь оперетты? Все время.

– Тогда я научусь играть на фортепиано.

– Что, если я скажу, что мне нужно кое в чем признаться? Я все заказываю из «Лизард Кинг».

– Мы справимся с этим вместе, Том. Ну говори уже. Что может случиться еще хуже?