Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

К сожалению, здесь имеются серьезные трудности. Во-первых, система Oracle AI будет, по меньшей мере, столь же упорно (как и мы) постигать физическое устройство и происхождение своего мира — вычислительные ресурсы, их режим работы и тех «таинственных сущностей», которые создали информационное хранилище и теперь задают вопросы. Во-вторых, если задача системы Oracle AI заключается в том, чтобы давать точные ответы на вопросы за разумный промежуток времени, у нее будет стимул вырваться из своей клетки, чтобы получить больше вычислительных возможностей и контролировать спрашивающих, заставив их задавать лишь простые вопросы. Наконец, мы пока не изобрели брандмауэр, надежно защищающий от обычных людей, не говоря о сверхинтеллектуальных машинах.

Я думаю, что у части этих проблем могут быть решения, особенно если мы ограничим системы Oracle AI, чтобы они были доказуемо рациональными логическими или Байесовыми калькуляторами. А именно — мы могли бы потребовать, чтобы алгоритм был способен выдать лишь вывод, обусловленный предоставленной информацией, и имели бы возможность проверить математическими методами, что алгоритм удовлетворяет этому условию. При этом все равно остается проблема контроля за процессом принятия решения, какие логические или Байесовы вычисления выполнять, чтобы найти самое сильное решение из возможных, максимально быстро. Поскольку есть стимул для быстрого протекания этого процесса, то имеется и стимул приобретать вычислительные ресурсы и, разумеется, защищать собственное существование.

В 2018 г. Центр исследования совместимого с человеком ИИ в Беркли провел семинар, на котором мы задались вопросом: «Что бы вы сделали, узнав совершенно точно, что сверхинтеллектуальный ИИ будет создан в течение десятилетия?» Мой ответ был следующим: убедить разработчиков повременить с созданием универсального интеллектуального агента — способного самостоятельно выбирать свои действия в реальном мире — и вместо этого создать Oracle AI. Тем временем мы бы трудились над решением проблемы обеспечения максимально возможной доказываемой безопасности систем Oracle AI. Эта стратегия может сработать по двум причинам: во-первых, сверхинтеллектуальная система Oracle AI все равно стоила бы триллионы долларов, и разработчики, возможно, согласились бы с ограничением; во-вторых, контролировать системы Oracle AI почти наверняка проще, чем универсального интеллектуального агента, и у нас было бы больше шансов решить проблему в течение десятилетия.

Корпорации дружно уверяют нас, что ИИ не угрожает трудовой занятости или человечеству, потому что мы просто создадим команды людей, сотрудничающих с ИИ. Например, в упомянутом ранее письме Дэвида Кенни Конгрессу утверждается, что «обладающие высокой ценностью системы ИИ специально разработаны для того, чтобы дополнить человеческий разум, а не заменить работников» [222] Мнения о том, почему ИИ не лишит нас работы: Kenny, «IBM’s open letter». .

Циник заметил бы, что это всего лишь пиар-ход, призванный подсластить горькую пилюлю — исчезновение работников-людей из числа клиентов корпораций, но я считаю, что это все-таки шажок вперед, пусть маленький. Действительно, сотрудничество людей и ИИ — желанная цель. Очевидно, что команда не добьется успеха, если задачи ее членов будут рассогласованными, поэтому акцент на команды в составе людей и ИИ подчеркивает необходимость решить основополагающую проблему согласования ценности. Разумеется, подчеркнуть проблему не то же самое, что решить ее.

Объединение человека и машины в команду в своем крайнем проявлении превращается в слияние человека и машины, когда электронное оборудование подключается непосредственно к мозгу и становится частью единой, расширенной, сознающей сущности. Футурист Рэй Курцвейл так описывает эту возможность [223] Пример положительного отношения Курцвейла к слиянию человеческого мозга с ИИ: Ray Kurzweil, interview by Bob Pisani, June 5, 2015, Exponential Finance Summit, New York, NY. :

Мы собираемся непосредственно слиться с ним, мы собираемся стать искусственными интеллектами… Если заглянуть в конец 2030-х или в 2040-е гг., наше мышление будет по большей части небиологическим, и небиологическая часть в конечном счете станет такой разумной и обретет такие огромные возможности, что сможет полностью моделировать, имитировать и понять биологическую часть.