Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

Иногда полезно говорить о двух ИИ, обладающих равной сверхмощью. В более широком смысле слова можно было бы считать, что сверхмощь в какой-то области предполагает сравнение возможностей действующей силы и человеческой цивилизации, но за исключением другого ИИ.

Ханна Арендт (1906–1975) — один из самых ярких философов нашего времени, изучавшая проблемы власти, насилия, зла, свободы; основоположник современной теории тоталитаризма. Бенни Хилл (1924–1992) — популярный английский комический актер. (Прим. ред.)

Конечно, все сказанное не исключает, что могут быть различия — довольно незначительные под микроскопом, но имеющие большое значение с функциональной точки зрения.

См.: [Yudkowsky 2008 a, p. 310].

Дэвид Юм, шотландский философ эпохи Просвещения, считал, что одной убежденности (например, в том, как правильно поступать) недостаточно для мотивации поступка — требуется еще желание. Казалось бы, это только снимает одно возражение, которое возможно выдвинуть против нашего тезиса: достаточно развитый интеллект непременно обретет определенные убеждения, что обязательно приведет к появлению определенных мотиваций. Однако, несмотря на то что тезис об ортогональности внешне подкрепляется юмовской мотивационной концепцией, он не предполагает ее в качестве необходимого условия. В частности, трудно отрицать, что иногда лишь голые убеждения служат вполне убедительной мотивацией какого-либо действия. Почему бы не предположить, например, что агент, обладающий высоким интеллектом, может быть настроен на любой план действий, если на то у него имеются довольно сильные желания. Второй случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если формирование подобных убеждений у обладающего произвольно высоким интеллектом агента само по себе не мотивирует его на соответствующие поступки. Третий случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если возможно создать агента (или проще: запустить «процесс оптимизации») с произвольно высоким интеллектом, но с настолько чужеродным устройством, что у него вообще не будет прямых функциональных аналогов таким человеческим понятиям, как «убеждение» и «желание». (Недавние попытки защитить концепцию Юма можно найти в работах: [Smith 1987; Lewis 1988; Sinhababu 2009].)

Например, Дерек Парфит считает, что некоторые базовые предпочтения могут быть иррациональными, как, скажем, у нормального, в принципе, агента, но с синдромом «безразличия к следующему вторнику», то есть гедониста, которого очень заботит качество его будущего опыта, за одним исключением. Этим исключением является его безразличие к событиям будущего вторника. Вообще то, что происходит по вторникам, ему не безразлично. Ему безразличны лишь страдания и удовольствие, которые его ждут в следующий вторник… Это безразличие — неоспоримый факт. И поэтому, составляя планы на будущее, он предпочтет перспективу огромных страданий по вторникам умеренным страданиям в любой другой день [Parfit 1986, p. 123–124]; см. также: [Parfit 2011].

Для своих целей мы не будем задерживаться на выяснении, прав ли Парфит, считая такого агента рациональным, если мы примем, что в инструментальном смысле описанное в этом примере поведение агента не обязательно неразумно. Агент Парфита может быть безукоризненно рациональным в инструментальном смысле, а следовательно, иметь большой интеллект, даже если ему недостает восприимчивости к «объективной причине», которой должен был бы обладать полностью рациональный агент. Следовательно, такие примеры не опровергают тезис об ортогональности.

Даже наличие объективных этических норм, которые способен понять полностью рациональный агент, и даже если эти этические нормы обладают внутренней мотивирующей силой (в результате чего все, кто их понял, непременно будут поступать в соответствии с ними), не опровергает тезис об ортогональности. Он остается верным, если агент непоколебимо рационален в инструментальном смысле при отсутствии некоторых других составляющих рациональности или качеств, необходимых для полного понимания данных этических норм. (Агент также может быть чрезвычайно интеллектуальным, даже сверхинтеллектуальным, и не обладать полной инструментальной рациональностью во всех областях.)