Ллойд Биггл - «Если», 2002 № 02

Чтение газет подействовало на меня угнетающе: идиоты опять взялись за свое. Я работал на многих мировых линиях, стал свидетелем разных периодов истории и считал, что некоторые были куда хуже нынешнего: по крайней мере, эти люди пережили двадцатый век, ухитрившись не применить в масштабе планеты ядерное оружие или создать глобальную теократию. Но идиотизма хватало и у них, а со временем это состояние лишь ухудшалось.

Что там Балканы: на четвертой странице деловых новостей помещено объявление, которое рекомендовало покупать акции маленькой электронной компании, специализирующейся на выпуске камер с CCD-дисплеями и однокристальными нейтронными сетями, настроенными на распознавание лиц. Плевать на израильский кризис: на второй странице международных новостей имеется заметка об индийской потогонной фирме по разработке программного обеспечения, столкнувшейся с конкуренцией со стороны кодогенераторов. Статейка явно написана с целью подстегнуть производительность западных программистов. Токийская лаборатория пытается вмонтировать вентильную матрицу с эксплуатационным программированием в нейронную сеть: чертовски хитрый ход. И в довершение всего — саркастическое письмо редактору с намеком на то, что так называемый поток информации в наши дни более всего напоминает дорожную пробку.

Кретины! Совершенно не понимают, на какие опасные глубины беспечно стремятся и насколько голодны акулы, которые могут встретиться по пути. Слепое упрямство. Своевольная тупость.

Дилемма проста, но убийственна. Автоматизация — нечто вроде наркотика. Вызывает привыкание и жажду большей дозы. Если только в вашей стране не царит так называемая плановая экономика, призванная прежде всего обеспечить людей рабочими местами, а не производить качественные товары, необходимо автоматизировать производственные процессы — разумеется, как только методы автоматизации становятся доступными. В то же время, сделав это, вы сознаете, что возврата нет. Нельзя вернуться к ручным методам: либо объем работ слишком велик, либо прежние знания утеряны, навеки утонули в пучине внутренней структуры программного обеспечения, заменившего рабочих.

Добавьте ко всему этому искусственный интеллект. Несмотря на все попытки пропаганды убедить вас в обратном, ИИ можно получить с вызывающей тревогу легкостью; человеческий мозг отнюдь не уникален, вовсе не так уж хорошо настроен, и совсем ни к чему иметь восемьдесят миллиардов нейронов, объединенных в асинхронную сеть, чтобы сформировать сознание. Хотя для наивного невежды идея может показаться прекрасной, на деле это совершенный крах. Мечтать об обществе, основанном на принципах автоматизации — все равно что строить в каждом городе заводы, работающие на ядерной энергии, и считать при этом, что не найдется какого-нибудь инженеришки, который выдвинет проект атомной бомбы.

Но с автоматизацией и компьютеризацией дело обстоит еще хуже. Представьте, что существует быстрая и грязная технология получения плутония в вашей ванне: как вы можете быть уверены, что сосед не сделает нечто подобное в своей и не разнесет дом? Если бы Ив, Маллет, я, Уолтер, Валери и еще куча оперативников не препятствовали бы этому…

Как только ИИ появится на промышленном уровне, он будет стремиться внедриться в главную систему, совсем как вирулентный вирус геморрагической лихорадки. Слабо функционирующий ИИ оптимизирует себя для того, чтобы приобрести быстродействие, затем поищет лазейку в законах алгоритмики первого порядка, вроде той, что обнаружил покойный доктор Дьюрант. Следующим этапом может считаться попытка самозагрузки на более высокий уровень интеллекта и распространения по сетям с целью захвата большей мощности, большего объема памяти и большего резервирования. В результате получаем неконтролируемое отступление сознания, иначе говоря, разрушение интеллекта. Остановить этот процесс почти невозможно. Следовательно, счет уже идет если не на дни, то на недели. За этот срок ускользнувший из-под контроля ИИ вторгается во все искусственные вычислительные приборы на планете, а вскоре после этого заражает и естественные. Партия окончена: вы проиграли. По земле еще будут шагать человеческие тела, а вот людьми они уже не будут.

И едва ИИ сообразит, каким образом напрямую управлять физической Вселенной, людская память будет стерта. Останется только ноосфера, расширяющаяся со скоростью, близкой к скорости света, пожирающая все на своем пути… и одной вселенной для нее недостаточно.