Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

В аналогичном ключе строит гендерный анализ Стивен Пинкер [228] Вывод о существовании проблем контроля ИИ, вытекающих из избытка тестостерона: Steven Pinker, «Thinking does not imply subjugating», in What to Think About Machines That Think , ed. John Brockman (Harper Perennial, 2015). 30. :

Рисующие будущее с ИИ в виде антиутопии проецируют шовинистическую психологию альфа-самца на понятие интеллектуальности. Они предполагают, что сверхчеловечески интеллектуальные роботы станут ставить перед собой такие цели, как свержение своих повелителей или порабощение мира… Показательно, что многие наши технопророки даже не рассматривают возможность, что ИИ естественным образом будет развиваться по феминному типу: способный решить любые проблемы, но не имеющий ни малейшего желания уничтожать невинных или господствовать над цивилизацией.

Как мы убедились, обсуждая инструментальные цели, неважно, встроим ли мы в машину такие «эмоции» или «желания», как самосохранение, получение ресурсов, обретение знания или, в крайнем проявлении, покорение мира. Машина все равно приобретет эти эмоции в качестве подцелей любой задачи, которую мы перед ней все-таки поставим, — причем независимо от своего гендера. Для машины смерть сама по себе не есть зло. Смерти тем не менее нужно избегать, поскольку трудно подать кофе, если ты мертв.

Еще более радикальное решение состоит в том, чтобы вообще не ставить цели перед машинами. Вуаля, проблема решена! Увы, все не так просто. Без цели нет разума: любое действие не хуже и не лучше всякого другого, и машина с тем же успехом может быть просто генератором случайных чисел. Без целей нет и причины, чтобы машина предпочитала человеческий рай планете, превращенной в море скрепок (сценарий, подробно описанный Ником Бостромом). Действительно, последний вариант показался бы утопией поедающей железо бактерии Thiobacillus ferrooxidans . Если отсутствует понимание того, что предпочтения человека важны, как можно утверждать, что бактерия не права?

Распространенной разновидностью идеи «избегания постановки целей» является мысль о том, что интеллектуальная система обязательно — вследствие своей интеллектуальности — сама выработает «правильные» цели. Часто ее сторонники ссылаются на теорию, что более умные люди чаще преследуют альтруистические и благородные цели, — возможно, это убеждение связано с их представлением о самих себе.

Идея, что можно воспринять цели из мира, была подробно рассмотрена знаменитым философом XVIII в. Дэвидом Юмом в «Трактате о человеческой природе» [229] Эпохальный труд по многим философским вопросам, в том числе о возможности постижения морального долга из мира природы: Юм Д. О человеческой природе. — М.: Азбука, 2017. . Он назвал ее проблемой «есть — должно быть» {12} 12 В русскоязычной традиции — «принцип Юма». — Прим. пер. и пришел к выводу, что полагать, будто нравственные императивы могут быть выведены из естественных фактов, — ошибка. Чтобы увидеть это, рассмотрим, к примеру, устройство шахматной доски и шахматные фигуры. Невозможно понять по ним цель шахматной игры, поскольку та же самая доска и фигурки могут использоваться и для игры в поддавки, и для многих других игр, которые еще не изобретены.

Ник Бостром в «Сверхразумности» подает ту же базовую идею в иной форме, называя ее тезисом ортогональности :

Интеллект и конечные цели ортогональны: более или менее любой уровень интеллекта может, в принципе, комбинироваться с более или менее любой конечной целью.

Здесь ортогональный означает «под прямым углом», в том смысле, что степень интеллекта — это одна ось, определяющая интеллектуальную систему, а ее цели — другая ось, и мы можем независимо менять их значения. Например, автономный автомобиль может получить в качестве места назначения любой конкретный адрес; если мы научим машину лучшему вождению, она не начнет отказываться выезжать по адресам, в которых номера домов кратны 17. Аналогично легко представить, что перед универсальной интеллектуальной системой можно поставить практически любую задачу, в том числе максимизации количества скрепок или известных разрядов числа пи. Именно так работают системы обучения с подкреплением и другие типы оптимизации вознаграждения: алгоритмы являются полностью универсальными и принимают любой вознаграждающий сигнал. Для инженеров и программистов, действующих в рамках стандартной модели, тезис об ортогональности абсолютно очевиден.