Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Мы уже ставили на это прежде и проигрывали. Как обсуждалось в предыдущих главах, физика начала 1930-х гг., олицетворяемая лордом Резерфордом, убедительно говорила о невозможности извлечения атомной энергии, но изобретение Лео Силардом в 1933 г. цепной реакции, инициируемой нейтронами, доказало, что эта убежденность не имела под собой оснований.

Прорыв, совершенный Силардом, пришелся на неудачное время — начало гонки вооружений с нацистской Германией. Тогда не было возможностей развивать атомную технологию во благо. Через несколько лет, продемонстрировав цепную реакцию деления атомных ядер в своей лаборатории, Силард написал: «Мы все выключили и пошли по домам. Той ночью я почти не сомневался, что мир движется к бедствию».

Часто видишь здравомыслящих людей, пытающихся успокоить встревоженное общество утверждениями, что, поскольку ИИ человеческого уровня вряд ли появится еще несколько десятилетий, бояться нечего. Например, как говорится в отчете AI100, «нет причины беспокоиться, что ИИ представляет собой непосредственную угрозу для человечества».

Этот аргумент порочен в двух отношениях. Во-первых, он использует логическую уловку: беспокойство проистекает не из близости катастрофы. Например, Ник Бостром пишет в «Сверхразумности»: «В этой книге никоим образом не утверждается, что мы стоим на пороге большого прорыва в изучении ИИ или что мы можем сколько-нибудь точно предсказать, когда это достижение может произойти». Во-вторых, долгосрочный риск может вызывать тревогу уже сейчас. Верный момент, чтобы начать беспокоиться из-за потенциально серьезной проблемы для человечества, определяется не только моментом ее возникновения, но тем, сколько нужно времени, чтобы подготовить и осуществить ее решение.

Например, если бы мы обнаружили большой астероид, который столкнется с Землей в 2069 г., разве мы бы сказали, что беспокоиться слишком рано? Наоборот! Был бы создан экстренный всемирный проект по разработке средств противодействия угрозе. Мы не стали бы ждать 2068 г., чтобы начать работать над решением, поскольку не могли бы заранее сказать, сколько времени на это потребуется. В действительности проект планетарной защиты NASA уже работает над возможными решениями, хотя «никакой известный астероид не представляет существенной опасности столкновения с Землей в ближайшие 100 лет». Если вас это успокоило, там также сказано: «Около 74 % объектов больше 140 м, приближающихся к Земле, пока остаются необнаруженными».

Если рассматривать риски всемирной катастрофы вследствие изменения климата, которая, по предсказаниям, случится в этом веке, можно ли сказать, что слишком рано действовать по их предупреждению? Напротив, возможно, уже слишком поздно. Соответствующая временная шкала появления сверхчеловеческого ИИ менее предсказуема, но, разумеется, это значит, что он, как и ядерный синтез, может появиться значительно раньше, чем ожидается.

Одна из формулировок аргумента «еще слишком рано беспокоиться», получившая распространение, принадлежит Эндрю Ыну: «Это все равно что бояться перенаселенности Марса» [210] Новостная статья на основе отрицания Эндрю Ыном обусловленных ИИ рисков: Chris Williams, «AI guru Ng: Fearing a rise of killer robots is like worrying about overpopulation on Mars», Register , March 19, 2015. . (В дальнейшем он усилил аргументацию, заменив Марс на альфу Центавра.) Ын, бывший профессор Стэнфорда, является ведущим экспертом по машинному обучению, и его мнение имеет вес. Данная оценка обращается к удобной аналогии: риск является не просто контролируемым и очень отдаленным; прежде всего, крайне маловероятно, что мы вообще попытаемся переселить на Марс миллиарды людей. Однако это ложная аналогия. Мы уже вкладываем огромные научные и технические ресурсы в создание ИИ-систем со все большими возможностями, почти не задумываясь о том, что произойдет, если мы добьемся успеха. Таким образом, более адекватная аналогия — работать над планом переселения человечества на Марс, не задаваясь вопросами о том, чем мы будем дышать, что пить и есть, когда там окажемся. Напротив, можно понять аргумент Ына буквально и ответить, что высадка даже одного человека на Марс будет представлять собой перенаселенность, поскольку Марс способен обеспечить существование нуля человек. Так, группы, в настоящее время планирующие отправить на Марс горстку людей, беспокоятся из-за перенаселенности Марса, потому и разрабатывают системы жизнеобеспечения.