Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Проще всего понять альтруизм, разделив предпочтения человека на два типа: связанные с собственным непосредственным благополучием и с благополучием других. (Наблюдаются значительные разногласия по поводу возможности четко их разделить, но я ими пренебрегу.) Непосредственное благополучие связано с качествами собственной жизни, такими как жилище, тепло, средства существования, безопасность и т. д., которые желательны сами по себе, а не в связи с качествами чужих жизней.

Чтобы уточнить это представление, предположим, что в мире живут только два человека, Алиса и Боб. Общая полезность для Алисы состоит из ее собственного непосредственного благополучия плюс результата перемножения некоторого коэффициента С АВна непосредственное благополучие Боба. Коэффициент заботы С АВпоказывает, насколько Алисе есть дело до Боба. Аналогично общая полезность для Боба состоит из его непосредственного благополучия плюс некий коэффициент заботы С ВА,умноженный на непосредственное благополучие Алисы [305]. Робби пытается помочь и Алисе, и Бобу, что означает, скажем, максимизацию суммы их двух полезностей. Таким образом, Робби должен уделять внимание не только индивидуальному благополучию обоих, но и тому, насколько каждого из них заботит благополучие другого [306].

Большое значение имеют коэффициенты заботы С АВи С ВА. Например, если С АВположителен, то Алиса «хорошая»: она становится более счастливой, если у Боба все благополучно. Чем больше значение положительного С АВ, тем более готова Алиса пожертвовать частью своего благополучия, чтобы помочь Бобу. Если С АВравен нулю, Алиса всецело эгоистична: если бы она смогла, то отняла бы любое количество ресурсов у Боба, даже оставив его нищим и голодным. Имея дело с эгоистичной Алисой и хорошим Бобом, утилитарный Робби, очевидно, станет защищать Боба от самых разорительных посягательств Алисы. Интересно, что в обычном случае в итоговом равенстве Боб имеет меньшее непосредственное благополучие, чем Алиса, но он может иметь большее совокупное счастье, поскольку заботится о ее благополучии. Казалось бы, решения Робби очень несправедливы, если Бобу в результате достается меньше непосредственного благополучия лишь потому, что он лучше Алисы: разве результат не возмутит его и не сделает несчастным? [307]Что ж, это возможно, но это была бы другая модель, включающая недовольство разницей благополучий. В нашей простой модели Боб будет удовлетворен результатом. Действительно, в равновесной ситуации он бы противился любой попытке перенаправить ресурсы от Алисы ему, потому что это уменьшило бы его совокупное счастье. Если вам это кажется совершенно нереалистичным, рассмотрите случай, когда Алиса является новорожденной дочерью Боба.

По-настоящему проблемной для Робби является ситуация, когда С АВотрицателен: в этом случае Алиса попросту отвратительна. Подобные предпочтения я описываю термином негативный альтруизм . Как в приведенном ранее примере с садисткой Гарриет, речь идет не о заурядной зависти и эгоистичности, когда Алиса рада урвать долю Боба, чтобы увеличить собственную. Негативный альтруизм означает, что единственным источником счастья для Алисы является уменьшение чужого благополучия, даже если ее собственное непосредственное благополучие при этом не меняется.

В статье, где вводилось понятие утилитаризма предпочтений, Харсаньи объясняет негативный альтруизм «садизмом, завистью, возмущением и злобностью» и утверждает, что ими следует пренебрегать при расчете общей суммы человеческой полезности в популяции:

Никакое доброе отношение к индивиду Х не может наложить на меня нравственное обязательство помогать ему в причинении вреда третьей личности, индивиду Y.

Похоже, это область, в которой разработчикам интеллектуальных машин целесообразно, скажем так, надавить спасительным пальцем на нужную чашу весов.

К сожалению, негативный альтруизм намного более распространен, чем кажется. Он возникает чаще не из садизма и злобности [308], а из зависти и возмущения и обратной им эмоции, которую я называю гордыней (за отсутствием лучшего обозначения). Если Боб завидует Алисе, то становится несчастным из-за разницы между благополучием Алисы и собственным; чем больше разница, тем он несчастнее. Напротив, если Алиса гордится своим превосходством над Бобом, то для нее становится источником счастья тот факт, что она стоит выше него. Легко доказать, что в математическом смысле гордыня и зависть действуют примерно так же, как садизм; они заставляют Алису и Боба испытывать счастье исключительно за счет снижения благополучия друг друга, поскольку уменьшение благополучия Боба увеличивает гордыню Алисы, а уменьшение благополучия Алисы уменьшает зависть Боба [309].