Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Новостная статья о последствиях программного сбоя при управлении воздушным движением: Simon Calder, «Thousands stranded by flight cancellations after systems failure at Europe’s air-traffic coordinator», The Independent , April 3, 2018.

Лавлейс писала: «Аналитическая машина никоим образом не притязает на то, чтобы создавать что бы то ни было. Она может делать все, что мы умеем упорядочить с целью выполнения. Она может следовать анализу, но не имеет возможности предвосхищать какие бы то ни было аналитические отношения или истины». Это один из ее аргументов против ИИ, отвергнутый Аланом Тьюрингом: Alan Turing, «Computing machinery and intelligence», Mind 59 (1950): 433–60.

Самая ранняя известная статья об экзистенциальном риске от ИИ была написана Ричардом Торнтоном: Richard Thornton, «The age of machinery», Primitive Expounder IV (1847): 281.

«Книга машин» основывалась на более ранней статье Сэмюэла Батлера «Дарвин среди машин»: Samuel Butler, «Darwin among the machines», The Press (Christchurch, New Zealand), June 13, 1863.

Еще одна лекция, в которой Тьюринг предсказал порабощение человечества: Alan Turing, «Intelligent machinery, a heretical theory» (lecture given to the 51 Society, Manchester, 1951). Текст выложен на сайте turingarchive.org.

Провидческие размышления Винера о власти технологии над человечеством и призыв к сохранению автономии человека: Norbert Wiener, The Human Use of Human Beings (Riverside Press, 1950). В пер. на рус. в сб.: Винер Н. Кибернетика и общество. — М., 1958.

Издательская аннотация на лицевой стороне обложки книги Винера 1950 г. примечательна сходством с девизом Института будущего жизни, организации, посвятившей себя изучению экзистенциальных рисков, с которыми сталкивается человечество: «Технология дарит жизни возможность процветать, как никогда прежде… или самоуничтожиться».

Изменение взглядов Винера произошло вследствие того, что он стал выше оценивать возможность создания интеллектуальных машин: Norbert Wiener, God and Golem, Inc.: A Comment on Certain Points Where Cybernetics Impinges on Religion (MIT Press, 1964).

Винер Н. Акционерное общество «Бог и Голем»: Обсуждение некоторых проблем, в которых кибернетика сталкивается с реальностью. — Сб.: Винер Н. Человек управляющий. — СПб.: Питер, 2001.

Три закона робототехники Азимова впервые появляются в рассказе Айзека Азимова «Хоровод»: Isaac Asimov, «Runaround», Astounding Science Fiction , March 1942. Вот они:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам.

Важно понимать, что Азимов предложил эти законы для создания интересных литературных сюжетов, а не в качестве серьезного руководства для будущих инженеров-робототехников. Многие его рассказы, в том числе «Хоровод», иллюстрируют проблемные последствия буквального понимания законов. С точки зрения современного ИИ законы Азимова совершенно не учитывают элемент вероятности и риска: следовательно, неясна допустимость действий робота, подвергающего человека некоторой вероятности вреда, хотя бы ничтожно малой.

Понятие инструментальной цели взято из неопубликованной рукописи: Stephen Omohundro, «The nature of selfimproving artificial intelligence» (unpublished manuscript, 2008). См. также: Stephen Omohundro, «The basic AI drives», in Artificial General Intelligence 2008: Proceedings of the First AGI Conference , ed. Pei Wang, Ben Goertzel, and Stan Franklin (IOS Press, 2008).

Цель персонажа в исполнении Джонни Деппа, Уилла Кастера, как представляется, состоит в решении проблемы физического воплощения, чтобы он мог воссоединиться со своей женой Эвелин. Это лишь показывает, что характер магистральной цели не играет роли — на инструментальные цели это не влияет.

Источник идеи о взрывоподобном развитии интеллектуальности: I. J. Good, «Speculations concerning the first ultraintelligent machine», in Advances in Computers , vol. 6, ed. Franz Alt and Morris Rubinoff (Academic Press, 1965).

Пример воздействия идеи о взрывоподобном развитии интеллекта: Люк Мюльхаузер в статье «Перед лицом взрывоподобного роста интеллектуальности» (intelligenceexplosion.com) пишет: «Мысль Гуда переехала меня, как поезд».

Убывающую отдачу можно проиллюстрировать следующим образом. Предположим, 16 %-ное повышение интеллектуальности дает машину, способную осуществить 8 %-ное повышение, которое, в свою очередь, дает 4 %-ное повышение, и т. д. Этот процесс достигает предела на уровне примерно на 36 % выше исходного. Более развернутое обсуждение этого вопроса см. в отчете: Eliezer Yudkowsky, «Intelligence explosion microeconomics», technical report 2013–1, Machine Intelligence Research Institute, 2013.