Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Можно также представить себе масштабирование способности машины к действиям. Люди имеют непосредственный контроль лишь над своим телом, тогда как машина может контролировать тысячи или миллионы объектов. Некоторые автоматизированные фабрики уже обладают такими возможностями. За стенами фабрики машина, управляющая тысячами ловких роботов, может, например, строить огромное количество домов, каждый из которых приспособлен под потребности и желания своих будущих жильцов. В лабораториях можно было бы отмасштабировать существующие роботизированные системы научного исследования, чтобы они ставили миллионы экспериментов одновременно, — например, для создания полных прогностических моделей организма человека вплоть до молекулярного уровня. Заметьте, что мыслительные способности машины обеспечат ей намного большую возможность обнаруживать несоответствия между научными теориями, а также между теориями и наблюдениями. Действительно, вполне вероятно, что нам уже хватает экспериментальных данных, чтобы найти лекарство от рака, мы лишь не можем свести их воедино.

В киберпространстве машины уже имеют доступ к миллиардам людей через дисплеи всех смартфонов и компьютеров в мире. Это отчасти объясняет способность IT-компаний создавать колоссальное богатство, имея очень мало сотрудников; это также указывает на серьезную уязвимость человеческой расы для манипуляций через экран.

Другого рода масштабирование проистекает из способности машины заглядывать в далекое будущее с большей точностью, чем доступна людям. Мы уже видели это в шахматах и го. Имея способность строить и анализировать иерархические планы на длительные периоды времени, идентифицировать новые абстрактные действия и высокоуровневые описательные модели, машины перенесут это преимущество в такие области, как математика (доказательство новых полезных теорем) и принятие решений в реальном мире. Такие задачи, как эвакуация населения огромного города в случае природной катастрофы, станут относительно несложными, причем машина выработает индивидуальные инструкции для каждого человека и автомобиля, чтобы минимизировать количество несчастных случаев.

Машина без особых усилий могла бы изобрести рекомендации по предотвращению глобального потепления. Моделирование земных систем требует знания физики (атмосфера, океаны), химии (углеродный цикл, почвы), биологии (разложение, миграция птиц), инженерного дела (возобновляемая энергия, связывание углерода), экономики (промышленность, потребление энергии), природы человека (тупость, жадность) и политики (еще больше тупости, еще больше жадности). Как отмечалось, машина получит доступ к огромному числу данных для наполнения этих моделей. Она сможет предложить или осуществить новые эксперименты и экспедиции для снижения неизбежной неопределенности — например, открытия реальных объемов газогидратов в мелководных зонах океана. Она будет способна учесть огромное количество возможных мер политики — законов, стимулов, рынков, изобретений и различных мероприятий, — но, разумеется, должна будет также найти способы убедить нас следовать им.

В своих мечтах важно вовремя остановиться. Распространенная ошибка — приписывать сверхинтеллектуальным ИИ-системам божественную силу всеведения, полного и совершенного знания не только настоящего, но и будущего [134] Обсуждение некоторых новых эзотерических рисков, связанных со всезнающими, провидческими ИИ-системами: David Auerbach, «The most terrifying thought experiment of all time», Slate , July 17, 2014. . Это не соответствует действительности, поскольку требует физически недостижимой способности с точностью определять текущее состояние мира, а также нереализуемой возможности моделировать намного быстрее, чем в реальном времени, функционирование мира, включающего саму машину (не говоря уже о миллиардах мозгов, остающихся вторым по сложности объектом во Вселенной).

Это не значит, что невозможно достаточно уверенно предсказать некоторые аспекты будущего. Например, я знаю, какой курс и в какой аудитории буду читать в Беркли почти через год, несмотря на заявления адептов теории хаоса о крыле бабочки и прочем. (Я также не думаю, что люди сколько-нибудь ближе к предсказанию будущего, чем позволяют законы физики!) Чтобы сделать прогноз, нужны правильные абстракции. Например, я могу предсказать, что «я» буду находиться «на трибуне аудитории Уилера» в кампусе Беркли в последний вторник апреля, но не могу предсказать свое местоположение с точностью до миллиметра или какие атомы углерода к тому времени будут содержаться в моем теле.