Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Оригинальная статья, описывающая теорему о полноте для логики первого порядка: Kurt Gödel, «Die Vollständigkeit der Axiome des logischen Funktionenkalküls», Monatshefte für Mathematik 37 (1930): 349–60.

Алгоритм рассуждения в логике первого порядка тем не менее имеет недостаток: если ответа нет — то есть если доступного знания недостаточно, чтобы дать ответ, — то алгоритм может никогда не завершиться. Этого невозможно избежать: математически невозможно , чтобы верный алгоритм всегда прерывался, отвечая «я не знаю», в сущности, по той же причине, по которой ни один алгоритм не может решить проблему остановки.

Первый алгоритм доказательства теорем в логике первого порядка, занимающийся сокращением предложений первого порядка до (очень многочисленных) пропозиционных предложений: Martin Davis and Hilary Putnam, «A computing procedure for quantification theory», Journal of the ACM 7 (1960): 201–15. Алгоритм разрешения Робинсона выполнял действия непосредственно над логическими предложениями первого порядка, используя «унификацию» для сопоставления комплексных выражений, содержащих логические переменные: J. Alan Robinson, «A machine-oriented logic based on the resolution principle», Journal of the ACM 12 (1965): 23–41.

Возникает вопрос, как логический робот Shekey вообще приходил к каким-либо определенным выводам о том, что делать. Ответ прост: база знаний Shekey включала ложные предположения. Например, он был убежден, что, если выполнить «протолкнуть объект А через дверь Г в комнату Б», то объект А в результате окажется в комнате Б. Это было ложное убеждение, потому что Shekey мог застрять в дверях, промахнуться мимо двери, или кто-то мог коварно похитить объект А у него из захвата. Его модуль выполнения плана был способен зарегистрировать провал плана и провести соответствующее перепланирование, так что, строго говоря, Shekey не был чисто логической системой.

Ранние замечания о роли вероятности в человеческом мышлении: Pierre-Simon Laplace , Essai philosophique sur les probabilités (Mme. Ve. Courcier, 1814).

Описание Байесовой логики доступным языком: Stuart Russell, «Unifying logic and probability», Communications of the ACM 58 (2015): 88–97. Статья опирается на исследование моего бывшего студента Брайана Милча, проведенное в ходе работы над диссертацией на соискание звания доктора философии.

Источник теоремы Байеса: Thomas Bayes and Richard Price, «An essay towards solving a problem in the doctrine of chances », Philosophical Transactions of the Royal Society of London 53 (1763): 370–418.

Строго говоря, программа Самуэля не рассматривает выигрыш и проигрыш как абсолютные вознаграждения; однако, фиксируя стоимость материала как положительную, программа в общем склонна действовать на достижение победы.

Применение обучения с подкреплением для создания программы, играющей в нарды на мировом уровне: Gerald Tesauro, «Temporal difference learning and TD-Gammon », Communications of the ACM 38 (1995): 58–68.

Система DQN, которая учится играть в широкий спектр видеоигр с использованием глубокого обучения с подкреплением: Volodymyr Mnih et al., «Human-level control through deep reinforcement learning», Nature 518 (2015): 529–33.

Высказывания Билла Гейтса об ИИ Dota 2: Catherine Clifford, «Bill Gates says gamer bots from Elon Musk-backed nonprofit are ‘huge milestone’ in A. I»., CNBC , June 28, 2018.

Отчет о победе OpenAI Five над людьми — чемпионами мира по Dota 2: Kelsey Piper, «AI triumphs against the world’s top pro team in strategy game Dota 2», Vox , April 13, 2019.

Собрание примеров из литературы, когда неверное определение функции вознаграждения приводило к неожиданному поведению: Victoria Krakovna, «Specification gaming examples in AI», Deep Safety (blog), April 2, 2018.

Случай, когда функция эволюционной пригодности, определенная через максимальную скорость передвижения, привела к очень неожиданным результатам: Karl Sims, «Evolving virtual creatures», in Proceedings of the 21st Annual Conference on Computer Graphics and Interactive Techniques (ACM, 1994).

Захватывающее знакомство с возможностями рефлекторных агентов: Valentino Braitenberg, Vehicles: Experiments in Synthetic Psychology (MIT Press, 1984).

Газетная статья об аварии со смертельным исходом с участием автомобиля в режиме самоуправления, который сбил пешехода: Devin Coldewey, «Uber in fatal crash detected pedestrian but had emergency braking disabled», TechCrunch , May 24, 2018.

Об алгоритмах рулевого управления см., например: Jarrod Snider, «Automatic steering methods for autonomous automobile path tracking», technical report CMU-RI-TR-09–08, Robotics Institute, Carnegie Mellon University, 2009.

Норфолкский и норвичский терьеры — две категории из базы данных ImageNet. Они печально знамениты тем, что их трудно различить и до 1964 г. считались одной породой.