Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Казалось бы, это нежелательное последствие, но консеквенциализм сам по себе здесь бессилен: проблема заключается в том, как мы измеряем желательность последствий. Один из возможных ответов состоит в том, что монстр полезности — теоретический конструкт, таких людей не бывает. Однако вряд ли такой ответ сработает: в определенном смысле все люди являются монстрами полезности по сравнению, скажем, с крысами и бактериями, поэтому мы и не обращаем внимания на предпочтения крыс и бактерий, вырабатывая меры общественной политики.

Если мысль о том, что разные сущности имеют разные шкалы полезности, уже встроена в наше мышление, то кажется более чем вероятным, что и у разных людей имеются разные шкалы.

Другая возможная реакция заключается в том, чтобы воскликнуть: «Что ж, не повезло!» — и действовать исходя из предположения, что у всех одна и та же шкала, даже если это не так [295]. Можно также попытаться изучить этот вопрос научными средствами, недоступными Джевонсу, например измерить уровни дофамина или степень электрического возбуждения нейронов в ответ на удовольствие и боль, счастье и несчастье. Если химические и нервные отклики Алисы и Боба на леденец практически одинаковы, как и их поведенческие реакции (они улыбаются, причмокивают губами и т. д.), представляется нелепым настаивать, что их субъективные степени удовольствия все равно отличаются в тысячу или миллион раз. Наконец, можно было бы воспользоваться единой валютой скажем, временем (которого у всех нас, очень приблизительно, поровну), — например, соотнеся леденцы и булавочные уколы, допустим, с пятью минутами дополнительного ожидания в зоне вылета аэропорта.

Я значительно менее пессимистичен, чем Джевонс и Эрроу. Я подозреваю, что действительно имеет смысл сравнивать полезности индивидов и что шкалы могут отличаться, но не в большой степени, и что машины могут начинать с разумно общих исходных представлений о шкалах человеческих предпочтений и постепенно узнавать больше об индивидуальных шкалах путем наблюдения, возможно соотнося натурные наблюдения с результатами исследований нейробиологов.

Второй предмет дебатов — о сравнении полезности популяций разной величины — имеет значение, если решения влияют на то, кто будет существовать в будущем. Например, в фильме «Мстители: Война бесконечности» Танос формулирует и реализует теорию, что если людей станет в два раза меньше, то оставшиеся будут более чем в два раза счастливее. Это те самые наивные расчеты, из-за которых утилитаризм приобрел дурную славу [296].

Тот же вопрос — только без камней бесконечности {16} и грандиозного бюджета — рассматривался в 1874 г. британским философом Генри Сиджвиком в знаменитом труде «Методы этики» [297]. Сиджвик, очевидно, разделяя убеждение Таноса, пришел к выводу, что правильный выбор состоит в коррекции численности популяции, пока не будет достигнута максимальная совокупная мера счастья. (Очевидно, это не предполагает безграничного увеличения населения, поскольку в какой-то момент все будут обречены на голодную смерть, следовательно, станут весьма несчастными.) В 1984 г. британский философ Дерек Парфит вновь поднял этот вопрос в своей эпохальной работе «Причины и личности» [298]. Парфит утверждает, что в любой ситуации с популяцией из N очень счастливых людей имеется (согласно принципам утилитаризма) предпочитаемая ситуация с 2N человек, совсем немного менее счастливых. Это представляется чрезвычайно правдоподобным. К сожалению, это ведет на скользкую дорогу. Повторяя процесс, мы придем к так называемому Отталкивающему выводу (термин принято писать с большой буквы, вероятно, чтобы подчеркнуть его викторианские корни): самой желательной является ситуация с огромной популяцией, все представители которой вынуждены влачить едва того стоящее существование.

Как вы понимаете, вывод спорный. Сам Парфит больше 30 лет пытался найти выход из тупика, в который зашел, но безуспешно. Я подозреваю, что мы упускаем какие-то фундаментальные аксиомы, аналогичные тем, что связаны с индивидуально рациональными предпочтениями, чтобы иметь возможность выбирать между популяциями разной величины и уровня счастья [299].

Важно решить эту проблему, поскольку машины с достаточной прозорливостью способны рассмотреть планы действий, ведущие к разным размерам популяции, как поступило в 1979 г. китайское правительство, приняв политику «одна семья, один ребенок». Весьма вероятно, например, что мы будем просить у ИИ-систем помощи в поиске решений проблемы глобального изменения климата — и эти решения будут включать меры, ограничивающие или даже сокращающие численность населения [300]. В то же время, если мы решим, что увеличившееся население в действительности лучше, и припишем существенный вес благополучию потенциально многочисленного человечества, которое будет жить спустя столетия, то нам нужно будет намного активнее искать способы выхода за пределы Земли. Если расчеты машин ведут к Отталкивающему выводу или его противоположности — крохотной популяции оптимально счастливых людей, — у нас, возможно, есть повод сожалеть о своей неспособности достичь прогресса в этом вопросе.