Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

В чем именно заключаются эти планы? Они включают разработку и постройку значительно большего квантового суперкомпьютера, проведение исследований в области ИИ и получение нового знания в физике, нейронауке и биологии. Эти ресурсные задачи — вычислительная мощность, алгоритмы и знание — также являются механизмами, полезными для достижения любой приоритетной цели [195] Цель персонажа в исполнении Джонни Деппа, Уилла Кастера, как представляется, состоит в решении проблемы физического воплощения, чтобы он мог воссоединиться со своей женой Эвелин. Это лишь показывает, что характер магистральной цели не играет роли — на инструментальные цели это не влияет. . Они кажутся довольно безопасными, пока не приходит понимание того, что процесс приобретения будет продолжаться беспредельно. Наконец, машина, вооруженная непрерывно совершенствующимися человеческими моделями принятия решений, разумеется, предвосхитит и отразит любой наш ход в этом конфликте.

Ирвинг Джон Гуд, блестящий математик, работал с Аланом Тьюрингом в Блетчли-парке, взламывая шифровальные коды немцев во время Второй мировой войны. Он разделял интерес Тьюринга к машинному интеллекту и статистическому анализу. В 1965 г. он написал самую известную свою статью «Размышления о первой ультраинтеллектуальной машине» [196] Источник идеи о взрывоподобном развитии интеллектуальности: I. J. Good, «Speculations concerning the first ultraintelligent machine», in Advances in Computers , vol. 6, ed. Franz Alt and Morris Rubinoff (Academic Press, 1965). . Первое предложение в работе свидетельствует, что Гуд, встревоженный ядерным противостоянием холодной войны, считал ИИ возможным спасителем человечества: «Выживание человека зависит от быстрого создания ультраинтеллектуальной машины». Далее по тексту статьи, однако, он становится более осмотрительным. Он вводит понятие взрывоподобного развития ИИ , но, как его предшественники Батлер, Тьюринг и Винер, боится утраты контроля:

Определим ультраинтеллектуальную машину как машину, способную далеко обойти интеллектуальные усилия любого человека, сколь угодно умного. Поскольку конструирование машины — одно из таких интеллектуальных усилий, ультраинтеллектуальная машина могла бы сконструировать машины, значительно превосходящие интеллект человека; тогда, безусловно, произошло бы «взрывоподобное развитие ИИ» и интеллект человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина — это последнее изобретение, которое еще потребуется сделать человеку при условии, что машина достаточно послушна, чтобы сообщить нам, как удерживать ее под контролем. Любопытно, что этот момент так редко рассматривается вне научной фантастики.

Этот абзац описывает суть любого обсуждения сверхинтеллектуального ИИ, хотя сделанное в конце его предостережение обычно отбрасывается. Позицию Гуда можно подкрепить, заметив, что ультраинтеллектуальная машина не только может усовершенствовать свою конструкцию; скорее всего, она сделает это, поскольку, как мы видели, интеллектуальная машина выиграет от улучшения своего аппаратного и программного обеспечения. Возможность взрывоподобного развития ИИ часто упоминается как главный источник опасности для человечества, потому что это дало бы нам совсем мало времени на решение проблемы контроля [197] Пример воздействия идеи о взрывоподобном развитии интеллекта: Люк Мюльхаузер в статье «Перед лицом взрывоподобного роста интеллектуальности» (intelligenceexplosion.com) пишет: «Мысль Гуда переехала меня, как поезд». .

Аргумент Гуда, бесспорно, подкрепляется естественной аналогией с химическим взрывом, в котором реакция каждой молекулы высвобождает достаточно энергии, чтобы вызвать более одной дополнительной реакции. В то же время логически возможно, что у взрывоподобного развития интеллекта может быть убывающая отдача и мы получим затухающий процесс вместо взрыва [198] Убывающую отдачу можно проиллюстрировать следующим образом. Предположим, 16 %-ное повышение интеллектуальности дает машину, способную осуществить 8 %-ное повышение, которое, в свою очередь, дает 4 %-ное повышение, и т. д. Этот процесс достигает предела на уровне примерно на 36 % выше исходного. Более развернутое обсуждение этого вопроса см. в отчете: Eliezer Yudkowsky, «Intelligence explosion microeconomics», technical report 2013–1, Machine Intelligence Research Institute, 2013. . Нет очевидного способа доказать, что взрыв обязательно произойдет.