Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Давайте немного углубимся в последнее соображение. Возьмем AlphaGo. Какое у нее предназначение? Казалось бы, это легкий вопрос: AlphaGo предназначена выигрывать в го. Или нет? Безусловно, нельзя утверждать, что AlphaGo всегда делает ходы, гарантирующие победу. (В действительности она почти всегда проигрывает AlphaZero.) Верно то, что, когда до окончания игры остается лишь несколько ходов, AlphaGo сделает выигрышный ход, если таковой существует. В то же время, если никакой ход не гарантирует победы — иначе говоря, когда AlphaGo видит, что стратегия противника является выигрышной, что бы она сама ни делала, — то она ходит более-менее случайно. Она не попробует сделать невероятно хитрый ход в надежде, что противник ошибется, поскольку предполагает, что противник играет идеально. Программа действует так, словно теряет волю к победе. В таких случаях в каком смысле является истиной, что AlphaGo на самом деле хочет выиграть? Действительно, ее поведение может быть таким, как у машины, которая хочет лишь устроить для своего противника захватывающую игру.

Итак, утверждение, что AlphaGo «имеет предназначение выигрывать», является чрезмерным упрощением. Вот лучшее описание: AlphaGo является результатом несовершенного процесса обучения — обучения с подкреплением посредством игры с собой, — в котором выигрыш является вознаграждением. Тренировочный процесс несовершенен в том смысле, что не может создать идеального игрока в го: AlphaGo изучает функцию оценки позиций го, являющуюся хорошей, но не совершенной, и сочетает ее с предварительным поиском, хорошим, но не совершенным.

Из всего этого следует, что обсуждение, начинающееся словами «допустим, что робот R имеет предназначение Р », приведет к кое-каким догадкам о возможном развитии событий, но не может привести к теоремам о реальных машинах. Нужны намного более детальные и точные определения целей у машин, чтобы можно было гарантированно знать их поведение в долгосрочной перспективе. Исследователи ИИ только начинают понимать, как анализировать даже самые простые типы реальных систем принятия решений [278], не говоря уже о машинах, интеллектуальных настолько, что могут конструировать собственных потомков. Нам еще многое предстоит сделать.

Если бы мир состоял из одной идеально рациональной Гарриет и одного услужливого и почтительного Робби, все было бы прекрасно. Робби постепенно и максимально незаметно изучил бы предпочтения Гарриет и стал бы для нее безупречным помощником. Многообещающее начало — нельзя ли экстраполировать его, например выбрав Гарриет и Робби в качестве модели отношений между человеческой расой и ее машинами, рассматривая то и другое как единые сущности?

Увы, человечество не является единой рациональной сущностью. Оно состоит из противных, завистливых, иррациональных, непоследовательных, непостоянных, обладающих ограниченными вычислительными возможностями, сложных, эволюционирующих, неоднородных сущностей. Их огромное количество. Эти вопросы составляют главный raison d’être {15} общественных наук. Чтобы работать над ИИ, необходимо его дополнить идеями из психологии, экономики, политологии и философии морали [279]. Нам нужно переплавить эти идеи и выковать достаточно прочную структуру, чтобы она могла выдержать колоссальное давление, которое будут оказывать на нас все более интеллектуальные ИИ-системы. Работа над этой задачей едва начата.

Я начну, пожалуй, с простейшего предмета — неоднородности человечества. При ознакомлении с идеей, что машины должны учиться удовлетворять человеческие предпочтения, люди часто возражают, что у разных культур и даже индивидов сложились разные системы ценностей, следовательно, единая истинная система ценностей для машины невозможна. Это, разумеется, не проблема машины: мы не требуем от нее самостоятельно создать одну истинную систему ценностей, мы лишь хотим, чтобы она предсказывала предпочтения других.

Непонимание того обстоятельства, что неоднородность предпочтений людей может представлять трудность для машин, иногда обусловливается ошибочным представлением, что машина усваивает предпочтения, которые изучает, — например, что домашний робот в вегетарианской семье начнет предпочитать вегетарианство. Не начнет. Ему нужно лишь научиться предсказывать пищевые предпочтения вегетарианцев. Согласно первому принципу, это заставит его избегать готовить мясо для домочадцев. Однако робот также изучит пищевые предпочтения ярых мясоедов, живущих по соседству, и по разрешению своего владельца прекрасно будет готовить для них мясо, если они одолжат его на выходные помочь с организацией праздничного ужина. У робота нет единого комплекса собственных предпочтений, кроме одного предпочтения — помогать людям в удовлетворении их предпочтений.