Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Ситуации, когда сверхразумных искусственных интеллектов оказывается больше одного и все они контролируются враждующими группами людей, будут, скорее всего, очень нестабильными и короткоживущими. Всегда может появиться тот, кто убежден в превосходстве своего сверхразума и потому отважится на первый удар, за которым последует чудовищная война, разрешающаяся единственным порабощенным богом. Но в такой борьбе всегда может найтись “темная лошадка”, которая начнет вести свою игру и гнуть углы, надеясь перехитрить всех и воспользоваться победой других, чтобы перехватить власть над порабощенным разумом, и тогда дело кончится побегом искусственного интеллекта с переходом к одному из тех сценариев свободного сверхразума, которые мы уже рассматривали выше. Поэтому дальше в этом разделе мы будем рассматривать только те варианты, в которых есть единственный порабощенный искусственный интеллект.

Конечно, побег его в этом случае весьма вероятен просто потому, что его трудно предотвратить. Варианты побега сверхразума мы рассматривали в предыдущей главе, а в фильме Ex Machina показано, что искусственный интеллект может совершить побег, даже не будучи сверхразумным.

Чем сильнее наша паранойя по поводу побега искусственного разума, тем меньше мы можем воспользоваться создаваемыми им технологиями. Чтобы обезопасить себя, вроде как “омеги” в прелюдии, нам, людям, придется ограничить себя только теми технологиями, которые мы в состоянии понять и использовать. Оборотной стороной сценария порабощенного бога окажется поэтому значительное технологическое отставание в сравнении со свободным сверхразумом.

По мере того как порабощенный бог с искусственным интеллектом будет предлагать своим поработителям все более и более мощные технологии, начнется соревнование между мощностью технологии и сообразительностью тех, кто должен ею пользоваться. Если они эту гонку проиграют, то сценарий закончится либо их самоуничтожением, либо бегством искусственного интеллекта. Но катастрофа может разразиться, даже если провала по обоим направлениям удастся избежать, потому что благородные намерения людей, контролирующих искусственный интеллект, могут всего за несколько поколений смениться совершенно чудовищными для человечества. Так что абсолютно необходимо, чтобы в среде этих людей сложились правильные представления об управлении обществом, иначе они не смогут обойти все эти катастрофические ловушки. Наши опыты с различными системами общественного управления, проводившиеся на протяжении тысячелетий, показывают, сколь многое может пойти не так – от избыточной ригидности до избыточной изменчивости в постановке целей, насильственной узурпации власти, проблем престолонаследования и общей некомпетентности. Есть как минимум четыре направления, по которым баланс может быть нарушен:

• Централизация: между эффективностью и стабильностью идет постоянная торговля. Бывает так, что единоличный лидер очень эффективен, но власть портит, к тому же вопрос о ее передаче чреват множеством рисков.

• Внутренние угрозы: следует опасаться и чрезмерной централизации (групповщины или даже появления единоличного лидера), и чрезмерной децентрализации (дробления и увязания в бюрократии).

• Внешние угрозы: если структура руководства слишком прозрачна, внешние силы (в том числе и искусственный интеллект) могут влиять на существующую систему ценностей, но если она слишком замкнута, то теряет возможность учиться и адаптироваться к внешним переменам.

• Стабильность целей: непостоянство целей может превратить утопию в ее противоположность, но недостаточная их изменчивость чревата невозможностью приспособиться к меняющемуся технологическому окружению.

Построить оптимальное общественное управление, которое продержалось бы тысячелетия, совсем не просто и пока человечеству не удавалось. Большинство организаций распадались по прошествии лет или десятилетий. Католическая церковь – наиболее успешная организация в человеческой истории в том смысле, что только она смогла продержаться два тысячелетия, но и ее постоянно критикуют и за слишком большую, и за слишком малую приверженность постоянным целям: одни упрекают ее в нежелании признать право на контрацепцию, в то время как наиболее консервативные ее кардиналы заявляют, что она сбилась со своего пути. Для всякого приверженца сценария с богом-защитником поиск достаточно устойчивой оптимальной схемы общественного управления должен стать первоочередной задачей уже в наше время.