Стиг Ларссон - Девушка, которая застряла в паутине

— Да.

— Раньше, до того, как он стал так скрытен, Франс прикидывал, что мы сможем достичь AGI в ближайшие тридцать-сорок лет, и это звучит глобально. Но лично я думаю, не проявлял ли он излишнюю осторожность. Мощность компьютеров удваивается каждые восемнадцать месяцев, и нашему мозгу не уловить, что означает такое экспоненциальное развитие. Знаете, это немного напоминает зернышко риса на шахматной доске. Вы кладете одно зернышко на первую клеточку, два — на вторую, четыре — на третью, восемь — на четвертую…

— И вскоре зернышки риса заполоняют весь мир.

— Темпы прироста только увеличиваются и в конце концов выходят из-под нашего контроля. Самое интересное, однако, не когда мы достигнем AGI, а что произойдет потом. Тут существует много сценариев, в зависимости от того, каким путем мы туда доберемся. Но мы точно будем пользоваться программами, которые обновляют и улучшают нас самих, и при этом нельзя забывать, что у нас появится новое представление о времени.

— Что вы имеете в виду?

— Что мы выйдем за человеческие ограничения. Нас забросит в новый порядок, где механизмы обновляют себя круглые сутки. Всего через несколько дней после достижения AGI мы получим ASI.

— А это что такое?

— Artificial Superintelligence [48] Искусственный суперинтеллект ( англ. ). , нечто более интеллектуальное, чем мы. Дальше все пойдет быстрее и быстрее. Компьютеры начнут улучшаться в нарастающем темпе, возможно, с коэффициентом десять, — и станут в сто, в тысячу, в десять тысяч раз умнее нас; и что случится тогда?

— Скажите.

— Вот именно. Сам по себе интеллект непредсказуем. Мы не знаем, куда нас заведет человеческий интеллект. И еще меньше знаем о том, что произойдет с суперинтеллектом.

— В худшем случае мы станем не больше интересны для компьютера, чем белые мыши, — вставил Микаэль, подумав о том, что написал Лисбет.

— В худшем случае? Девяносто процентов нашей ДНК одинаковы с мышами, и мы считаемся примерно в сто раз умнее, в сто раз, не больше. Здесь же мы стоим перед чем-то совершенно новым, не имеющим, согласно математическим моделям, подобных ограничений и, возможно, способным стать в миллионы раз интеллектуальнее. Вы можете себе это представить?

— Я пытаюсь, — осторожно улыбаясь, ответил Микаэль.

— Я хочу сказать вот что, — продолжала Фарах Шариф. — Как, по-вашему, почувствует себя компьютер, очнувшись и обнаружив, что он взят в плен и контролируется такими примитивными тварями, как мы? Почему он должен терпеть такую ситуацию? Зачем ему вообще проявлять к нам повышенное уважение или, тем более, позволять нам копаться в его внутренностях, чтобы остановить процесс? Мы рискуем оказаться перед интеллектуальным взрывом, технологической сингулярностью, как назвал это Вернор Виндж [49] Вернор Стеффан Виндж (р. 1944) — американский писатель-фантаст. . Все, что произойдет после этого, находится за пределами нашего горизонта событий.

— Значит, в тот миг, когда мы создадим суперинтеллект, мы утратим контроль над всем?

— Есть риск, что все наши знания о нашем мире окажутся недействительными, и это станет концом человеческого существования.

— Вы шутите?

— Я знаю, что для не посвященного в данную проблематику человека это звучит идиотизмом. Но вопрос этот в высшей степени реален. Сегодня тысячи людей по всему миру работают над тем, чтобы воспрепятствовать подобному развитию. Многие проявляют оптимизм или даже впадают в утопию. Говорят о friendly ASI , о дружелюбных суперинтеллектах, которые с самого начала программируются так, что будут нам помогать. Представляют себе нечто в духе описанного Азимовым в книге «Я, Робот», встроенные законы, запрещающие механизмам причинять нам вред. Изобретатель и писатель Рэй Курцвейл [50] Рэймонд Курцвейл (р. 1948) — известный американский изобретатель и футуролог. видит перед собой чудесный мир, где мы с помощью нанотехнологий объединимся с компьютерами в единое целое и разделим с ними будущее. Но, разумеется, никаких гарантий этого нет. Законы могут прекращать свое действие. Значение изначального программирования может меняться — и невероятно легко совершить антропоморфические ошибки, приписать машинам человеческие черты и неверно истолковать их внутренние движущие силы. Франс был одержим этими вопросами и, как я сказала, раздираем противоречиями. Он мечтал об интеллектуальных компьютерах — и в то же время волновался из-за них.

— Он не мог прекратить строить своих монстров…