Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

Размышляя об априорной вероятности создания миров, наш сверхразум не стал бы первооткрывателем: еще в 1960-е гг. Рэй Соломонов ввел концепцию алгоритмической вероятности, которая легла в основу его, соломоновской, теории индуктивного вывода — теории предсказаний, сделанных в результате наблюдений; см.: [Li, Vitanyi 2008].

Уже в следующий момент — сразу после рождения обмана — ИИ может решить стереть следы своих мятежных мыслей. Поэтому очень важно, чтобы «растяжки» работали постоянно. Кроме того, было бы полезно иметь «черный ящик» вроде тех, которые используются в самолетах, где могли бы храниться следы всех действий ИИ (включая точное время введения информации с клавиатуры программистами), чтобы после автоматического отключения системы их можно было проследить и проанализировать. Храниться информация может на устройстве с возможностью лишь однократной записи и многократного чтения.

Консеквенциализм (consequentialism) — этическая теория, согласно которой правильность или неправильность действий оценивается с точки зрения того, каковы их результаты или последствия. (Прим. ред.)

См.: [Asimov 1942] ( Рассказ Айзека Азимова Runaround известен русскоязычному читателю с 1963 года как «Хоровод»; в сборнике «Я, робот» (М.: Центрполиграф, 2003) опубликован под названием «Вокруг да около». (Прим. ред.) ). К этим трем позднее был добавлен «нулевой» закон: 0) робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред [Asimov 1985] ( Айзек Азимов. Роботы и Империя. М.: Эксмо, 2003. (Прим. ред.) ).

См.: [Gunn 1982].

Альфред Уайтхед, Бертран Рассел. Основания математики. В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. Самара: Самарский университет, 2005–2006. (Прим. ред.)

Бертран Рассел. Философия логического атомизма / Пер. с англ. В. А. Суровцева. Томск: Водолей, 1999. С. 5. (Прим. ред.)

См.: [Russell 1986, p. 161f

У философов порою уходила вся жизнь на то, чтобы ясно сформулировать положения деонтологической этики ( Деонтологическая этика, или деонтология (от др.-греч. δέον — «должное» ) — учение о проблемах морали и нравственности; раздел этики. (Прим. ред.)), тем более что и время, и мир никогда не стоят на месте, постоянно возникают новые события и обстоятельства, требующие пересмотра концепций, а значит, и обновленных изложений. Эта аналогия невольно приходит на ум в связи с нашей темой. Например, со второй половины прошлого века набирает силу новое междисциплинарное направление, названное «мысленный эксперимент», и всем, кто занимается этическими учениями или теорией познания, вновь пришлось переоценивать стандартные представления. С позиций деонтологии речь прежде всего идет, конечно, о так называемой проблеме вагонетки — этическом мысленном эксперименте, открывшем современным исследователям многие нравственные установки, присутствующие в сознании современных людей. Возьмем хотя бы наши едва уловимые представления, связанные с различиями таких понятий, как последствия действия и бездействия, последствия намеренные и непреднамеренные; см.: [Kamm 2007].

Классический утилитаризм, или ранний утилитаризм (от лат. utilitas — «польза, выгода»), — направление в теории этики, согласно которому моральная ценность поведения или поступка определяется его полезностью; как философское учение окончательно сложился во второй половине XIX — первой половине XX вв. (Прим. ред.)

См.: [Armstrong 2010].

Здравый смысл подсказывает, что если планируешь использовать многочисленные предохранительные устройства для изоляции ИИ, а также другие методы контроля и мотивации, то самым разумным было бы действовать так, будто каждое устройство и каждый метод является тем единственным, который следовало бы применять именно в данном случае. Говоря языком программистов, когда ставишь одно дырявое ведро в другое дырявое ведро — вода все равно вытекает наружу.

Вариант той же идеи: создать ИИ, мотивированный действовать в соответствии со своим представлением, каким мог бы быть неявно заданный стандарт. В данной ситуации конечная цель ИИ — всегда действовать в соответствии с неявно заданным стандартом, а задача определения того, каким он может быть, выполняется в рамках достижения инструментальной цели.