Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

При любом обсуждении технологического риска лагерь сторонников технологии выдвигает аргумент, что все страхи из-за рисков вызываются невежеством. Например, вот что утверждает Орен Эциони, исполнительный директор Института изучения ИИ им. Аллена, видный исследователь в области машинного обучения и понимания естественного языка [211] Пример аргумента «специалистам виднее»: Oren Etzioni, «It’s time to intelligently discuss artificial intelligence», Backchannel , December 9, 2014. :

С возникновением любой технологической инновации люди испытывают страх. От ткачей, швырявших свои башмаки в механические ткацкие станки в начале промышленной эры, и до сегодняшнего страха роботов-убийц нашей реакцией управляет незнание того, как новая технология скажется на нашем самоощущении и хлебе насущном. Если же мы чего-то не знаем, наш испуганный ум достраивает картинку.

В Popular Science вышла статья «Билл Гейтс боится ИИ, но исследователи ИИ осведомлены лучше» [212] Новостная статья с утверждением, что настоящие исследователи ИИ отмахиваются от обсуждения рисков: Erik Sofge, «Bill Gates fears AI, but AI researchers know better», Popular Science , January 30, 2015. :

Если поговорить с исследователями ИИ — опять-таки настоящими исследователями, бьющимися над тем, чтобы заставить системы вообще работать, не говоря уже о том, чтобы работать хорошо, — окажется, что они не беспокоятся, что сверхразумность покончит с ними сейчас или в будущем. В противоположность жутким историям, которые так любит рассказывать Маск, исследователи ИИ не занимаются лихорадочным строительством «чертогов призыва» за крепостными стенами, самоликвидирующихся после обратного отсчета.

Этот вывод опирался на опрос четверых человек, причем все они в действительности сказали в интервью, что тема безопасности ИИ в долгосрочной перспективе является важной.

Дэвид Кенни, в то время вице-президент IBM, обратился к Конгрессу США с письмом в духе, очень близком Popular Science , со следующими успокоительными словами [213] Еще одно заявление, что настоящие исследователи ИИ отмахиваются от обсуждения рисков: David Kenny, «IBM’s open letter to Congress on artificial intelligence», June 27, 2017, ibm.com/blogs/policy/kenny-artificial-intelligence-letter . :

Если вы действительно занимаетесь изучением машинного интеллекта и действительно применяете его в реальном мире к бизнесу и обществу — как мы в IBM, когда создавали свою передовую когнитивную компьютерную систему Watson, — то понимаете, что эта технология не поддерживает нагнетание страхов, обычно сопутствующее сегодняшним дебатам вокруг ИИ.

Во всех трех случаях послание одно и то же: «Не слушайте их, специалисты — мы». Что ж, можно заметить, что это аргумент с переходом на личности, попытка опровергнуть чужое послание, обесценив его автора, но даже если принять этот аргумент за чистую монету, он все равно ничего не доказывает. Илон Маск, Стивен Хокинг и Билл Гейтс, безусловно, очень хорошо владеют научным и технологическим мышлением, а Маск и Гейтс еще и руководили и финансировали многие проекты исследования ИИ. Было бы еще менее обоснованно утверждать, что Алан Тьюринг, И. Дж. Гуд, Норберт Винер и Марвин Минский были не подготовлены обсуждать ИИ. Наконец, запись в вышеупомянутом блоге Скотта Александера, озаглавленная «Исследователи ИИ о риске, который несет ИИ», отмечает, что «исследователи ИИ, в том числе некоторые лидеры этого направления, с самого начала играли ключевую роль в постановке вопроса о рисках ИИ и сверхинтеллектуальности». Он перечисляет еще несколько ученых, а сегодня этот список значительно длиннее.

Другой стандартный риторический ход «защитников ИИ» — представлять своих противников новыми луддитами. Упоминание Орена Эциони о «ткачах, швыряющих свои башмаки в механические ткацкие станки» как раз из этой оперы. Луддиты — это ремесленники-ткачи, протестовавшие в начале XIX в. против внедрения машин, заменивших их квалифицированный труд. В 2015 г. Фонд содействия развитию информационной технологии и инноваций вручил свою ежегодную Премию луддитов «алармистам, предрекающим апокалипсис из-за искусственного интеллекта». Что за странное представление о «луддитах», включая Тьюринга, Винера, Минского, Маска и Гейтса, входящих в число самых видных участников технологического прогресса XX и XXI вв.!

Обличение новых луддитов свидетельствует о непонимании природы опасений и цели высказывания этих опасений. Это все равно что называть луддитами инженеров-ядерщиков, указывающих на необходимость контроля реакции синтеза. Как и в случае странного феномена — исследователей ИИ, вдруг заявивших, что ИИ невозможен, — этот загадочный момент, на мой взгляд, можно объяснить все тем же синдромом «нашизма».