Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

К сожалению, Аристотель (и Маккарти) были правы далеко не полностью. Главной проблемой является невежество — разумеется, не Аристотеля или Маккарти, а всех людей и машин, настоящих и будущих. Лишь в очень немногом из нашего знания мы абсолютно уверены. Особенно важно, что мы очень мало знаем о будущем. Невежество — прямо-таки непреодолимая проблема для чисто логической системы. Если я спрошу: «Приеду ли я вовремя в аэропорт, если выйду за три часа до вылета?» или «Смогу ли я обзавестись домом, купив выигрышный лотерейный билет и приобретя дом на выигрыш?» — правильным ответом будет: «Не знаю». Дело в том, что на любой из вопросов с точки зрения логики одинаково возможны ответы «да» и «нет». На практике невозможно быть совершенно уверенным в ответе на любой эмпирический вопрос, если ответ еще не известен [66] Возникает вопрос, как логический робот Shekey вообще приходил к каким-либо определенным выводам о том, что делать. Ответ прост: база знаний Shekey включала ложные предположения. Например, он был убежден, что, если выполнить «протолкнуть объект А через дверь Г в комнату Б», то объект А в результате окажется в комнате Б. Это было ложное убеждение, потому что Shekey мог застрять в дверях, промахнуться мимо двери, или кто-то мог коварно похитить объект А у него из захвата. Его модуль выполнения плана был способен зарегистрировать провал плана и провести соответствующее перепланирование, так что, строго говоря, Shekey не был чисто логической системой. . К счастью, определенность совершенно не обязательна для того, чтобы действовать: нам достаточно знать, какое действие является наилучшим, а не какое обречено на успех.

В силу неопределенности «заложенное в машину назначение» не может, в общем, быть точно известной целью, которой следует добиваться любой ценой. Больше не существует такой вещи, как «последовательность действий, достигающая цели», поскольку любая последовательность действий будет иметь множественные результаты, часть которых не достигнет цели. Вероятность успеха действительно важна: выехав в аэропорт за три часа до вылета, вы, возможно , не опоздаете на самолет, а купив лотерейный билет, возможно , выиграете достаточно, чтобы купить новый дом, но это очень разные возможно . Вы не можете гарантировать достижение цели, даже выбирая план, максимизирующий вероятность ее достижения. План с наибольшей вероятностью поспеть на рейс может предполагать выезд из дома за несколько дней, организацию вооруженного эскорта, готовность разнообразных альтернативных средств транспорта на случай, если другие сломаются, и т. д. Неизбежно приходится принимать в расчет относительную желательность каждого исхода, а также его вероятность.

Таким образом, вместо цели мы можем использовать функцию полезности для описания желательности разных исходов или последовательностей состояний. Часто полезность последовательности состояний выражается в сумме вознаграждений за каждое состояние в последовательности. Если цель определена через функцию полезности или вознаграждения, машина ориентируется на поведение, максимизирующее ожидаемую полезность или ожидаемую сумму вознаграждений, усредненных по возможным результатам с весами-вероятностями. Современный ИИ отчасти возрождает мечту Маккарти, только с полезностями и вероятностями вместо целей и логики.

Пьер-Симон Лаплас, великий французский математик, писал в 1814 г.: «Теория вероятности есть обычный здравый смысл, сведенный к расчетам» [67] Ранние замечания о роли вероятности в человеческом мышлении: Pierre-Simon Laplace , Essai philosophique sur les probabilités (Mme. Ve. Courcier, 1814). . Однако только в 1980-х гг. были разработаны практический формальный язык и алгоритмы формирования рассуждений для вероятностного знания. Это был язык Байесовых сетей В, предложенный Джудой Перлом. Попросту говоря, Байесовы сети — вероятностные родственники пропозиционной логики. Они также являются вероятностным подобием логики первого порядка, в том числе Байесовой логики [68] Описание Байесовой логики доступным языком: Stuart Russell, «Unifying logic and probability», Communications of the ACM 58 (2015): 88–97. Статья опирается на исследование моего бывшего студента Брайана Милча, проведенное в ходе работы над диссертацией на соискание звания доктора философии. и большого разнообразия языков вероятностного программирования .