Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Идея о том, что интеллектуальные системы могли бы просто созерцать мир, чтобы понять свою цель, предполагает, что достаточно интеллектуальная система станет естественным образом отбрасывать свою первоначальную цель ради «правильной» цели. Трудно понять, зачем рациональный агент станет это делать. Более того, изначально предполагается, что где-то в мире присутствует «правильная» цель; это должна быть цель, общая и для питающейся железом бактерии, и для человека, и для всех остальных биологических видов, что трудно представить.

Самая явная критика тезиса об ортогональности Бострома исходит от признанного робототехника Родни Брукса, считающего, что программа не может быть «достаточно умной, чтобы найти способы отвратить человеческое общество от достижения целей, поставленных перед ней человечеством, не понимая, каким образом это создало проблемы для тех же самых людей» [230] Аргумент, что достаточно интеллектуальная машина не может не преследовать цели человека: Rodney Brooks, «The seven deadly sins of AI predictions», MIT Technology Review , October 6, 2017. . К сожалению, подобное поведение программы не просто возможно, но на самом деле неизбежно в свете того, как Брукс ставит вопрос. Брукс предполагает, что оптимальный план «достижения целей, поставленных перед машиной человечеством» вызывает проблемы для человечества. Отсюда следует, что эти проблемы отражают нечто ценное для человечества, что было упущено в целях, поставленных им перед системой. Оптимальный план, осуществляемый машиной, вполне может обернуться проблемами для людей, и машина прекрасно может об этом знать. Однако по определению машина не распознает эти проблемы как «проблемные». Ее это не касается.

Стивен Пинкер, судя по всему, соглашается с тезисом об ортогональности Бострома, когда пишет, что «интеллектуальность есть способность применять новые средства для достижения цели; цели являются внешними для интеллекта как такового» [231] Pinker, «Thinking does not imply subjugating». . В то же время он считает неприемлемым, если «ИИ будет столь блистательным, что освоит трансмутацию элементов и перестройку нейронной структуры мозга, и в то же время настолько идиотским, что станет сеять хаос, грубо ошибаясь из-за банального недопонимания» [232] Оптимистический взгляд, что проблемы безопасности ИИ неизбежно решатся в нашу пользу: Steven Pinker, «Tech prophecy». . Он продолжает: «Способность выбирать действие, наиболее подходящее для достижения конфликтующих целей, — это не дополнительная опция, которую инженеры могут позволить себе забыть инсталлировать и протестировать. Это и есть интеллект. Как и способность интерпретировать с учетом контекста намерения пользователя языка». Конечно, «достижение конфликтующих целей» не проблема — это неотъемлемая часть стандартной модели с самого появления теории принятия решений. Проблемой является то, что конфликтующими целями, о которых машина осведомлена, заботы человека не исчерпываются. Более того, в рамках стандартной модели отсутствует утверждение, что машина обязана беспокоиться о целях, о которых ей не велели беспокоиться.

Однако в словах Брукса и Пинкера есть рациональное зерно. Действительно, представляется тупостью с нашей стороны допускать, чтобы машина, скажем, меняла цвет неба в качестве побочного эффекта преследования какой-то другой цели, игнорируя очевидные признаки недовольства людей результатом. Это было бы нашей глупостью, потому что мы ориентированы на то, чтобы замечать недовольство людей, и (обычно) имеем стимул этого избегать — даже если прежде не сознавали, что данным людям не все равно, какого цвета небо. А именно: мы, люди, (1) придаем значение предпочтениям других людей и (2) знаем, что не знаем всех этих предпочтений. В следующей главе я утверждаю, что эти характеристики, будучи встроены в машину, могут стать началом решения «проблемы царя Мидаса».

В этой главе мы бросили взгляд на дебаты, ведущиеся в широком сообществе интеллектуалов — между теми, кто указывает на риски, которые несет ИИ, и «скептиками», не замечающими особых рисков. Споры ведутся в книгах, блогах, научных статьях, коллективных обсуждениях, интервью, твитах и газетах. Несмотря на отчаянные усилия, скептики — настаивающие, что опасности ИИ пренебрежимо малы, — так и не смогли объяснить, почему сверхинтеллектуальные ИИ-системы обязательно останутся подконтрольными человеку, и даже не попытались указать причины, по которым сверхинтеллектуальные ИИ-системы никогда не будут созданы.