Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

На самом деле можно доказать тот же результат для общего случая: пока у Робби нет полной уверенности, что он собирается сделать то же самое, что сделала бы сама Гарриет, он будет отдавать предпочтение варианту, в котором позволяет ей отключить себя [264]. Ее решение снабжает Робби информацией, а информация всегда полезна для совершенствования его решений. Напротив, если Робби уверен в решении Гарриет, то оно не приносит никакой новой информации, следовательно, у Робби нет стимула позволять ей решать.

Напрашивается несколько модификаций этой модели, заслуживающих безотлагательного рассмотрения. Первая состоит в том, чтобы приписать стоимость обращению к Гарриет с тем, чтобы она приняла решение или ответила на вопрос (то есть мы предполагаем, что Робби знает предпочтения Гарриет хотя бы в той мере, чтобы понимать, что ее время ценно). В этом случае Робби менее склонен отвлекать Гарриет, если он почти уверен в ее предпочтениях; чем выше стоимость, тем в большей неопределенности должен находиться Робби, чтобы побеспокоить Гарриет. Так оно должно быть. Если же Гарриет всерьез недовольна, когда ее отвлекают, ей не следует удивляться, что Робби временами делает то, что ей не нравится.

Вторая модификация — допустить некоторую вероятность ошибки человека, а именно, что Гарриет будет иногда выключать Робби, даже когда он предлагает разумное действие, а в некоторых случаях позволять ему продолжать действовать, несмотря на то что его предложение нежелательно. Мы можем включить вероятность человеческой ошибки в математическую модель игры в помощника и найти решение, как уже делали. Как и следовало ожидать, решение показывает, что Робби менее склонен считаться с иррациональной Гарриет, иногда действующей вопреки собственным интересам. Чем более случайно ее поведение, тем более неуверенным Робби должен быть относительно ее предпочтений, чтобы обратиться к ней. Опять-таки это в теории. Например, если Робби — автономный автомобиль, а Гарриет — непослушная двухлетняя пассажирка, Робби не должен позволить Гарриет выключить его посреди автомагистрали.

Эту модель еще многими способами можно расширить или включить в комплексные задачи, связанные с принятием решений [265]. Я уверен, однако, что основная мысль — принципиально важная связь между полезным смиренным поведением машины и ее неопределенностью в отношении человеческих предпочтений — сохранится во всех этих модификациях и усложнениях.

Возможно, читая описание игры в выключение, вы задались важным вопросом (скорее всего, у вас куча важных вопросов, но я собираюсь ответить только на этот): что происходит по мере того, как Робби получает все больше информации о предпочтениях Гарриет и неопределенность для него уменьшается? Значит ли это, что со временем он совершенно перестанет прислушиваться к человеку? Это щекотливый вопрос, на который возможны два ответа: да и да.

Первое «да» благоприятно: в общем, пока первоначальные представления Робби о предпочтениях Гарриет приписывают некоторую вероятность, сколь угодно малую, ее реальным предпочтениям, чем более уверенным становится Робби, тем чаще он будет прав. Постепенно он придет к убеждению, что предпочтения Гарриет именно таковы, какие они есть, в действительности. Например, если Гарриет оценивает скрепки в 12 центов, а скобки в 88 центов, Робби со временем усвоит эти ценности. В этом случае Гарриет не важно, советуется ли с ней Робби, поскольку она знает, что он всегда сделает именно то, что сделала бы она сама на его месте. Невозможна ситуация, когда Гарриет захочется выключить Робби.

Второе «да» менее благостно. Если Робби априори исключает предпочтения, имеющиеся у Гарриет, он никогда эти истинные предпочтения не узнает, но его представления могут обратиться в неверное представление. Иными словами, со временем он становится все более убежденным в ошибочных представлениях о предпочтениях Гарриет. В типичной ситуации это ложное представление будет связано с тем, какая гипотеза из всех, которые Робби изначально допускает, наиболее близка к истинным предпочтениям Гарриет. Например, если Робби абсолютно убежден, что Гарриет определяет ценность скрепки между 25 и 75 центами, тогда как ее истинная ценность, с точки зрения Гарриет, равна 12 центам, робот постепенно придет к убеждению, что она оценивает скрепку в 25 центов [266].