Джеймс Баррат - Последнее изобретение человечества

Большинство теоретиков в области технологий и писателей упускает из виду не столь блестящий третий вариант, и я своей книгой постараюсь восполнить этот пробел. Я попытаюсь доказать, что завершающей фазой работ по созданию сначала умных машин, затем машин умнее человека, станет не их интеграция в нашу жизнь, а их победа над нами и завоевание Земли. В погоне за ИСИ исследователи получат разум более мощный, нежели их собственный; они не смогут ни контролировать его, ни даже до конца понять.

Мы знаем на опыте, что происходит, когда технически развитая цивилизация встречается с менее развитой: Христофор Колумб против Тиано, Писарро против Великого Инки, европейцы против американских индейцев.

Приготовьтесь к следующему столкновению цивилизаций — мы с вами против искусственного суперинтеллекта.

Возможно, мудрецы от технологий уже рассмотрели все темные стороны ИИ, но считают, что катастрофический исход слишком маловероятен, чтобы об этом стоило тревожиться. Или, наоборот, понимают неизбежность такого исхода, но считают, что ничто не в состоянии его предотвратить. Известный разработчик ИИ Бен Гёрцель (о его планах касательно ИСИ мы будем говорить в главе 11) рассказал мне, что мы не сможем придумать способа защиты от продвинутого ИИ, пока не накопим достаточно опыта общения и работы с ним. Курцвейл, теории которого мы разберем в главе 9, давно говорит примерно о том же: создание сверхразума и его интеграция с человеком будет проходить постепенно, и мы успеем научиться всему необходимому по ходу дела. И тот и другой утверждают, что истинные опасности ИИ невозможно увидеть из сегодняшнего дня. Иными словами, живя в век конных повозок, невозможно понять, как следует управлять автомобилем на обледенелой дороге. Так что расслабьтесь, мы во всем разберемся, когда придет время.

Для меня проблема такого подхода заключается в том, что, хотя обладающие суперинтеллектом машины спокойно могут стереть человечество с лица земли или просто сделать нас ненужными, мне представляется, что серьезную опасность для нас могут представлять и те ИИ, с которыми мы встретимся на пути к суперинтеллекту. То есть мама-медведица, конечно, представляет опасность для пикника на поляне, но не стоит сбрасывать со счетов и ее веселого медвежонка. Более того, градуалисты — сторонники теории постепенности — уверены, что скачок от основы (интеллекта человеческого уровня) к суперинтеллекту может занять несколько лет, а то и десятилетий. Такое развитие событий подарило бы нам определенный период мирного сосуществования с умными машинами, в течение которого мы успели бы научиться с ними взаимодействовать. Тогда их более продвинутые потомки не застали бы нас врасплох.

Но невозможно гарантировать, что все будет именно так. Скачок от интеллекта человеческого уровня к суперинтеллекту благодаря положительной обратной связи (через самосовершенствование) может произойти стремительно. В этом сценарии ИИ человеческого уровня совершенствует свой интеллект так быстро, что превращается в суперинтеллект за несколько недель, дней или даже часов, а не за месяцы и годы. В главе 1 описана как вероятная скорость, так и вероятный результат такого «жесткого старта». Вполне возможно, что в этом переходе не будет ничего постепенного.

Не исключено, что Гёрцель и Курцвейл правы — позже мы познакомимся с аргументами градуалистов поподробнее. Но прямо сейчас я хочу донести до вас кое-какие важные и тревожные мысли, вытекающие из сценария Busy Child.

Ученые-компьютерщики, особенно те, кто работает на оборонные и разведывательные ведомства, считают необходимым как можно быстрее разработать ИИ человеческого уровня, ведь альтернативы (к примеру, ситуация, когда китайское правительство создаст его первым) пугают их больше, чем поспешность в разработке собственного ИИ. Возможно, они спешат еще и потому, что ИИ необходим для лучшего управления другими капризными технологиями, появление которых ожидается в этом столетии. Например, нанотехнологий. Возможно, они не остановятся, чтобы обдумать тщательнейшим образом ограничения к самосовершенствованию. А совершенствующийся без всяких ограничений искусственный интеллект вполне может проскочить промежуток между обычным ИИ и ИСИ в варианте жесткого старта и дать толчок «интеллектуальному взрыву».

Мы не можем заранее знать, как поступит разум более мощный, чем наш. Мы можем лишь предполагать, какие способности такой интеллект сможет при желании против нас применить (к примеру, он может многократно дублировать себя, чтобы создать целую команду ИСИ для решения задач и одновременной проработки множества стратегических вопросов, связанных с освобождением и выживанием, и действовать при этом вне рамок морали). Наконец, было бы разумно считать, что первый ИСИ не будет настроен по отношению к нам ни дружественно, ни враждебно; ему будут попросту безразличны наше счастье, здоровье и благополучие.