Стивен Пинкер - Просвещение продолжается. В защиту разума, науки, гуманизма и прогресса

По всем этим причинам многие специалисты в области искусственного интеллекта раздосадованы последней волной всеобщего ажиотажа, которая порождает иллюзию, будто до создания сильного искусственного интеллекта буквально рукой подать (такие волны, кстати, неизменное проклятие этой области знаний) [874] Исследователи ИИ против ажиотажа: Brooks 2015; Davis & Marcus 2015; Kelly 2017; Lake et al. 2017; Lanier 2014; Marcus 2016; Naam 2010; Schank 2015. См. также прим. 25 выше. . Насколько я знаю, подобных планов вообще не существует, и дело не в том, что такой проект вряд ли окупится, а в том, что сама идея практически бессмысленна. Действительно, в последние годы появились компьютеры, способные управлять автомобилем, распознавать речь, составлять подписи к фотографиям и обыгрывать людей в «Свою игру», го и видеоигры для Atari. Но этими достижениями мы обязаны не лучшему пониманию механизмов работы разума, но грубой силе мощных процессоров и больших данных, позволяющих программам тренироваться на миллионах примеров и экстраполировать решения на похожие новые случаи. Каждая из таких программ представляет собой настоящего «идиота-гения»: она с легкостью решает задачи, под которые заточена, но не способна совершить когнитивный прыжок к решению других. Программа распознавания образов снабжает фото, сделанное за секунду до авиакатастрофы, подписью «Самолет стоит на взлетно-посадочной полосе», а игровая программа приходит в замешательство при малейшем изменении правил подсчета очков [875] Блеск и нищета современного ИИ: Brooks 2015; Davis & Marcus 2015; Lanier 2014; Marcus 2016; Schank 2015. . Конечно, они будут совершенствоваться, но никаких признаков фума пока не видно. Не сообщалось и о случаях, когда такая программа попыталась захватить лабораторию или поработить программистов.

Но даже если сильный искусственный интеллект и попытается проявить волю к власти, без сотрудничества с людьми он останется беспомощным мозгом в колбе. Кибернетик Рамез Наам попытался остудить страсти вокруг фума, технологической сингулярности и самосовершенствования ИИ по экспоненте:

Представьте себе, что вы супермощный ИИ, запущенный на некоем микропроцессоре (или, скорее, на миллионе таких процессоров). Внезапно вам приходит идея еще более быстрого и мощного микропроцессора, на котором вы бы могли работать. Теперь… вот незадача! Вам нужно произвести эти микропроцессоры, а производство интегральных схем весьма энергозатратно. К тому же вам потребуется сырье из разных уголков мира и стерильная среда, а значит, тамбур-шлюзы, фильтрация воздуха, масса специального оборудования и так далее. Чтобы все это раздобыть, привезти, собрать в одном месте, возвести здания и электростанции, провести испытания и, наконец, собрать процессоры, необходимо время и энергия. Реальный мир встал на пути вашей устремленной вверх спирали самосовершенствования [876] Naam 2010. .

Реальный мир часто становится на пути цифровых апокалипсисов. Когда суперкомпьютер HAL 9000 из фильма «Космическая одиссея 2001 года» начинает задирать нос, Дэйв обесточивает его отверткой, оставляя жалобно напевать песенку про Дейзи Белл. Конечно, ничто не мешает нам фантазировать о компьютере Судного дня – зловредном, оборудованном всем необходимым и неуязвимом для внешнего вмешательства. Но справиться с этой угрозой проще простого: не стройте его.

Когда перспектива восстания злых роботов начала казаться слишком карикатурной, чтобы принимать ее всерьез, экзистенциальные алармисты заприметили на горизонте новый цифровой апокалипсис. Теперь сюжет взят не из историй о Франкенштейне или Големе, но из сказки про джинна, который обещает исполнить любые три желания (третье всегда необходимо, чтобы отменить первые два), и из мифа о царе Мидасе, пожалевшем о новообретенной способности превращать в золото все, к чему прикасается, в том числе еду и членов своей семьи. Это опасность, которую еще называют проблемой совпадения приоритетов: человек ставит перед искусственным интеллектом некую задачу, а затем бессильно наблюдает, как тот упрямо и буквально воплощает в жизнь свое представление о ней, не учитывая остальных наших интересов. Выполняя поставленную задачу поддерживать уровень воды за плотиной, искусственный интеллект затопит город, не беспокоясь о его жителях. Если мы велим ему делать скрепки, он превратит в скрепки всю материю достижимой Вселенной, в том числе наше имущество и нас самих. Если мы попросим его сделать людей счастливыми, он поставит каждому по дофаминовой капельнице или перепрограммирует мозг человека так, чтобы тот был счастлив, сидя в изолированной капсуле. А если этот ИИ освоил концепцию счастья, рассматривая фото с улыбающимися лицами, он может заполонить галактику триллионами наноизображений желтых смайликов [877] Роботы, превращающие нас в скрепки, и другие примеры проблемы соответствия приоритетов: Bostrom 2016; Hanson & Yudkowsky 2008; Omohundro 2008; Yudkowsky 2008; P. Torres, “Fear Our New Robot Overlords: This Is Why You Need to Take Artificial Intelligence Seriously,” Salon, May 14, 2016. .