Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Цитата, свидетельствующая, что Смит не был настолько одержим эгоистичностью, как это принято считать: Смит А. Теория нравственных чувств. — М.: Республика, 1997.

Введение в экономику альтруизма: Serge-Christophe Kolm and Jean Ythier, eds., Handbook of the Economics of Giving, Altruism and Reciprocity , 2 vols. (North-Holland, 2006).

О благотворительности как проявлении эгоизма: James Andreoni, «Impure altruism and donations to public goods: A theory of warm-glow giving», Economic Journal 100 (1990): 464–77.

Для любителей уравнений. Пусть собственное благополучие Алисы измеряется как w A, а Боба как w B. Тогда полезности для Алисы и Боба будут определяться следующим образом:

U A= w A+ C AB w B

U B= w B+ C BAw A

Некоторые авторы предполагают, что Алису интересует общая полезность Боба U B, а не только его собственное благополучие w B, но это создает, своего рода, замкнутый круг, где полезность Алисы зависит от полезности Боба, которая зависит от полезности Алисы. Иногда можно найти устойчивые решения, но лежащая в основе модель представляется спорной. См., например: Hajime Hori, «Nonpaternalistic altruism and functional interdependence of social preferences», Social Choice and Welfare 32 (2009): 59–77.

Модели, в которых полезность каждого индивида представляет собой линейную комбинацию благополучия всех, являются лишь одним из возможных вариантов. Можно построить и намного более общие модели, например, в которых некоторые индивиды предпочитают избегать огромного неравенства распределения благополучия даже ценой уменьшения совокупного показателя, тогда как другие хотели бы, чтобы никто вообще не имел предпочтений в отношении неравенства. Таким образом, предлагаемый мной общий подход учитывает множественность нравственных теорий, которых придерживаются индивиды. В то же время он не утверждает, что какая бы то ни было из этих теорий верна или должна оказывать большее влияние на результаты для сторонников другой теории. Я признателен Тоби Орду, обратившему мое внимание на эту особенность данного подхода.

Подобные аргументы приводятся против мер, направленных на обеспечение равенства результатов; особо следует упомянуть американского специалиста по философии права Рональда Дворкина. См., например: Ronald Dworkin, «What is equality? Part 1: Equality of welfare», Philosophy and Public Affairs 10 (1981): 185–246. Этой ссылкой я обязан Айсону Гэбриэлу.

Проявление злобности в форме основанного на мести наказания за проступок, безусловно, является общей тенденцией. Хотя она играет определенную социальную роль, удерживая членов сообщества в рамках, ее можно заменить столь же эффективной политикой на основе сдерживания и профилактики, таким образом, соотнося неизбежный вред, сопутствующий наказанию правонарушителя, с пользой для более крупного социума.

Пусть ЕАВ и РАВ — коэффициенты жадности и гордости Алисы соответственно. Предположим также, что они влияют на разницу благополучия. Тогда можно составить следующую (довольно сильно упрощенную) формулу полезности Алисы:

U A= w A+ C ABw B— E AB(w B− w A) + P AB(w A− w B) = (1 + E AB+ P AB) w A+ (C AB— E AB− P AB) w B.

Тогда, если у Алисы положительные коэффициенты гордости и жадности, то они влияют на благополучие Боба точно так же, как коэффициенты садизма и злобы: Алиса становится счастливее, если благополучие Боба снижается, при прочих равных. В реальности гордость и жадность обычно применяются к различиям не в благополучии, а в его видимых проявлениях, таких как статус и собственность. Тяжелый труд, которым Боб добывает свое достояние (понижающий его общее благополучие), может быть невидим для Алисы. Это может вести к проявлениям самозащиты, которые можно обобщенно назвать «Чтобы не хуже, чем у людей».

О социологических аспектах статусного потребления: Thorstein Veblen, The Theory of the Leisure Class: An Economic Study of Institutions (Macmillan, 1899).

Fred Hirsch, The Social Limits to Growth (Routledge & Kegan Paul, 1977).

Я признателен Зияду Марару за то, что он обратил мое внимание на теорию социальной идентичности и ее значимость для понимания мотивации и поведения человека. См., например: Dominic Abrams and Michael Hogg, eds., Social Identity Theory: Constructive and Critical Advances (Springer, 1990). Намного более краткий обзор основных идей: Ziyad Marar, «Social identity», in This Idea Is Brilliant: Lost, Overlooked, and Underappreciated Scientific Concepts Everyone Should Know , ed. John Brockman (Harper Perennial, 2018).

Здесь я не утверждаю, что нам необходимо детальное понимание когнитивной системы на уровне нейронов. Нужна модель уровня «программного обеспечения», описывающая, как предпочтения, как эксплицитные, так и имплицитные, формируют поведение. Такая модель должна включать то, что известно о системе вознаграждения.