Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Специалист по философии морали Тоби Орд привел тот же довод, комментируя ранний вариант этой книги: «Примечательно, что это справедливо и в исследовании философии морали. Неопределенность в отношении нравственной ценности результатов почти совершенно упускалась из виду философией морали вплоть до самого недавнего времени. Между тем именно неопределенность в нравственных вопросах заставляет людей обращаться к другим за советом в этой сфере, да и вообще заниматься исследованиями в области философии морали!»

Одним из оправданий пренебрежения неопределенностью в плане предпочтений является то, что формально она эквивалентна обычной неопределенности в следующем смысле: не знать точно, чего я хочу, равносильно точному знанию о том, что мне нравятся нравящиеся вещи, и незнанию того, что это за вещи. Это всего лишь уловка, переносящая неопределенность в мир, делая «привлекательность для меня» свойством объектов, а не моим свойством В теории игр эта уловка полностью узаконена с 1960-х гг. после цикла статей моего покойного коллеги, нобелевского лауреата Джона Харсаньи: John Harsanyi: «Games with incomplete information played by ‘Bayesian’ players, Parts I–III», Management Science 14 (1967, 1968): 159–82, 320–34, 486–502. В теории принятия решений эталон задан следующей публикацией: Richard Cyert and Morris de Groot, «Adaptive utility», in Expected Utility Hypotheses and the Allais Paradox , ed. Maurice Allais and Ole Hagen (D. Reidel, 1979).

Очевидное исключение — исследователи ИИ, работающие в сфере выявления предпочтений. См., например: Craig Boutilier, «On the foundations of expected expected utility», in Proceedings of the 18th International Joint Conference on Artificial Intelligence (Morgan Kaufmann, 2003). См. также: Alan Fern et al., «A decision-theoretic model of assistance», Journal of Artificial Intelligence Research 50 (2014): 71–104.

Критика полезного ИИ, исходящая из неверного понимания краткого интервью, взятого журналистом у автора для журнальной статьи: Adam Elkus, «How to be good: Why you can’t teach human values to artificial intelligence», Slate , April 20, 2016.

Первоисточник «проблемы вагонетки»: Frank Sharp, «A study of the influence of custom on the moral judgment», Bulletin of the University of Wisconsin 236 (1908).

Участники движения «антинатализма» считают воспроизводство человечества безнравственным, поскольку жизнь есть страдание, а также из-за огромного негативного воздействия людей на Землю. Если вы считаете существование человечества моральной дилеммой, то я, пожалуй, действительно хочу, чтобы машины разрешили эту дилемму правильно.

Заявление о политике Китая в отношении ИИ, сделанное Фу Ином, вице-председателем Комиссии по иностранным делам Всекитайского собрания народных представителей. В письме участникам Всемирной конференции по ИИ 2018 г. в Шанхае президент КНР Си Цзиньпин писал: «Только более глубокое международное сотрудничество позволит решить новые проблемы в таких сферах, как право, безопасность, трудовая занятость, этика и государственное управление». Я благодарен Брайану Цэ за то, что он обратил мое внимание на эти заявления.

Очень интересная статья о неприродной не-ошибке, показывающая, как можно вывести предпочтения из состояния мира, каким его обустроили люди: Rohin Shah et al., «The implicit preference information in an initial state», in Proceedings of the 7th International Conference on Learning Representations (2019), iclr.cc/Conferences/2019/Schedule.

Ретроспективный взгляд на конференцию в Асиломаре: Paul Berg, «Asilomar 1975: DNA modification secured», Nature 455 (2008): 290–91.

Новостная статья, сообщающая о речи В. Путина об ИИ: «Putin: Leader in artificial intelligence will rule world», Associated Press , September 4, 2017.

Последняя теорема Ферма утверждает, что уравнение an = bn + cn не имеет решения при целочисленных a, b, c и n , являющемся целым числом, большим, чем 2. На полях своего экземпляра «Арифметики» Диофанта Ферма написал: «У меня есть совершенно замечательное доказательство этого утверждения, но оно не поместится на этих полях». Независимо от того, насколько эти слова соответствуют истине, они заставили математиков рьяно искать доказательство в последующие века. Конкретные случаи проверить легко. Например, равно ли 7 3сумме 6 3и 5 3? (Почти равно, потому что 7 3= 343, а 6 3+ 5 3= 341, но «почти» не считается.) Однако конкретных случаев бесконечно много, и все не проверишь, поэтому нам нужны математики, а не только программисты.

Статья Института изучения машинного интеллекта поднимает много связанных вопросов: Scott Garrabrant and Abram Demski, «Embedded agency», AI Alignment Forum , November 15, 2018.