Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Некоторые, в том числе Ник Бостром, предложили использовать собственные полезные сверхинтеллектуальные ИИ-системы для обнаружения и уничтожения любых вредоносных или любым образом неправильно ведущих себя ИИ-систем. Безусловно, нам нужно будет использовать все доступные средства, в то же время сводя к минимуму влияние на личную свободу, но образы людей, теснящихся в бункерах, беспомощных против титанических сил, высвобожденных взбунтовавшимся сверхразумом, мало утешают, даже если часть этих сил на нашей стороне. Было бы намного лучше найти способы задавить вредоносный ИИ в зародыше.

Правильным первым шагом стала бы успешная, скоординированная международная кампания против киберпреступлений, включающая расширение Будапештской конвенции о киберпреступности. Тогда была бы сформирована организационная схема возможных будущих мероприятий по предупреждению появления неконтролируемых ИИ-программ. В то же время потребуется широкое взаимодействие культур по вопросу о том, что создание таких программ, намеренное или случайное, является в долгосрочной перспективе самоубийственным поступком, сопоставимым с созданием возбудителей пандемий.

Самые известные романы Э. М. Форстера, в том числе «Говардс Энд» и «Поездка в Индию», исследовали британское общество и его классовую систему первой половины XX в. В 1909 г. он написал примечательную научно-фантастическую повесть «Машина останавливается». Повесть поражает предвидением: в ней мы видим то, что сегодня называем интернетом, видеоконференциями, iPad, массовыми открытыми дистанционными курсами (МООК), а также массовое ожирение и избегание личных контактов. Машина, упомянутая в заглавии, — это всеобъемлющая интеллектуальная инфраструктура, удовлетворяющая все потребности людей. Люди все больше зависят от нее, но все хуже понимают, как она работает. Инженерное знание уступает место обрядовым заклинаниям, в конечном счете не способным остановить постепенное ухудшение работы Машины. Главный герой, Куно, видит, что всех ждет, но бессилен это остановить [335]:

Как вы не понимаете… Ведь это мы умираем, а единственное, что здесь еще живет по-настоящему, — это Машина! Мы создали Машину, чтобы она исполняла нашу волю, но не можем заставить ее исполнить нашу волю сейчас. Она похитила у нас чувство пространства и ощущение прикосновения, размыла все отношения между людьми, парализовала наше тело и волю… Мы существуем лишь как кровяные тельца, циркулирующие в ее артериях, и если бы она смогла работать без нас, то дала бы нам умереть. О, я не знаю лекарства от этого, или, вернее, знаю лишь одно-единственное — снова и снова говорить людям, что вижу холмы Уэссекса, как видел их Альфред в день победы над данами {20} .

На Земле жило свыше 100 млрд человек. Они (мы) затратили порядка 1 трлн человеко-лет на приобретение и передачу знания, чтобы наша цивилизация могла существовать. До сих пор единственной возможностью ее выживания являлось воссоздание знания в умах новых поколений. (Бумага — прекрасный способ передачи, но она не делает ничего, пока знание, записанное на ней, не будет постигнуто разумом другого человека.) Теперь мир меняется: все в большей мере становится возможным помещать наше знание в машины, которые самостоятельно могут поддерживать нашу цивилизацию для нас.

С исчезновением практического стимула передачи нашей цивилизации следующему поколению станет очень трудно обратить процесс вспять. Триллион лет суммарного обучения окажется, буквально, потерянным. Мы превратимся в пассажиров прогулочного лайнера, управляемого машинами, в круизе, который продолжается вечно, — в точном соответствии с предвидением мультфильма «ВАЛЛ-И».

Убежденный консеквенциалист скажет: «Очевидно, это нежелательное последствие чрезмерной автоматизации! Правильно сконструированные машины никогда этого не сделают!» Верно, но вдумайтесь, что это означает. Машины могут хорошо понимать, что автономия и компетенция человека — это важные аспекты того, как мы предпочитаем проводить свою жизнь. Они могут добросовестно настаивать, чтобы люди сохраняли контроль над собственным благополучием и ответственность за него, — иными словами, машины скажут «нет». Однако мы, близорукие, ленивые люди, необязательно с ними согласимся. Это пример трагедии общих ресурсов в действии: каждому отдельному человеку, возможно, покажется бессмысленным тратить долгие годы самоотверженной учебы на приобретение знаний и навыков, которыми машины уже владеют, но если все будут думать так, человечество коллективно утратит автономию.