Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

Я сознательно остановился на антропоморфных названиях, но им не следует придавать привычный нам смысл. Это всего лишь ярлыки для обозначения внешних отличий различных интеллектуальных систем, которые можно создать.

При вопросе о результатах следующих выборов вряд ли было бы удобно пользоваться ответом, содержащим полный перечень всех прогнозных вариантов, касающихся как людей, так и ситуаций.

Привязанных к определенному набору команд и компьютеру.

См.: [Kuhn 1962; De Blanc 2011].

Применить метод консенсуса к ИИ-джиннам и ИИ-монархам было бы сложнее, поскольку для достижения одной и той же цели можно использовать различные и при этом почти одинаково эффективные последовательности базовых действий (например, направление определенных наборов электрических сигналов к исполнительным механизмам системы); разные агенты могут выбирать несколько отличные действия, и тогда консенсус окажется невозможным. В отличие от этого, у вопросов, сформулированных нужным образом, не так много вариантов подходящих ответов (например, «да» и «нет»). (О концепции фокусной, или фокальной, точки, или точки Шеллинга, см.: [Schelling 1980].)

В некотором отношении поведение мировой экономики в чем-то напоминает поведение джинна, только джинна какого-то вялого и тщедушного, хотя и чрезвычайно алчного. Мировая экономика, которая может возникнуть в будущем, будет напоминать джинна, обладающего коллективным сверхразумом.

Правда, есть один момент, когда современная экономика не напоминает джинна: я могу приказать ей (конечно, за оплату ее услуг) обеспечить мне пиццу с доставкой на дом, но не в моих силах дать ей команду обеспечить мир во всем мире. Причем причина не в том, что экономика не обладает достаточной властью, просто она недостаточно скоординированна. В этом смысле мировая экономика скорее похожа не на одного джинна или иного единого агента, а на партию джиннов, обслуживающую разных и конкурирующих между собой владельцев.

Вряд ли окажется перспективным путь, если мы начнем наделять каждого джинна б о льшим могуществом — это не сделает нашу экономику более сильной и не обеспечит мир на планете. Чтобы экономика могла функционировать как сверхразумный джинн, нужно не только повышать ее производительность, то есть добиваться при минимальных затратах максимального выпуска товаров и услуг (в том числе тех, которым требуются принципиально новые технологии), но и приспосабливать ее к тому, чтобы она была заинтересована лучше решать проблемы общемировой координации.

Если джинн почему-то будет неспособен отказаться от выполнения команды — и перепрограммировать себя так, чтобы избавиться от этого слабого места, — он может действовать так, чтобы исключить возможность появления новых команд.

Для джинна или монарха, находящихся в поисках нужного варианта ответа, может оказаться полезным даже оракул, отвечающий в духе «да» и «нет». Помощь оракула удобно использовать для написания исходного кода для джинна или монарха — нужно лишь задать ему ряд вопросов, приблизительно такого плана: «В бинарной версии кода первого ИИ, который, по твоему мнению, мог бы стать джинном, n -й символ — это ноль?»

Можно разработать более сложного оракула (или джинна), принимающего вопросы (или команды) только от уполномоченных на это лиц. Но где гарантия, что эти люди не окажутся коррумпированными или не станут жертвами шантажа со стороны ИИ?

Концепция «вуаль неведения», или «вуаль невежества», принадлежит одному из самых известных политических философов XX века Джону Ролзу; согласно ей при формировании принципов справедливого распределения нужно абстрагироваться от возможных последствий для своего личного благосостояния. Другими словами, когда мы размышляем над устройством такого понятия, как общественный договор, нам следует представить, будто мы находимся под «вуалью неведения», не позволяющей нам узнать, ни каким человеком мы станем, ни какую социальную роль будем выполнять. Идея в том, чтобы мы думали построить такое общество, которое могло бы быть наиболее справедливым и желательным безотносительно наших эгоистических интересов и когнитивных искажений. В противном случае мы стали бы действовать в пользу собственной выгоды и предпочли бы такой социальный порядок, при котором имели бы незаслуженные привилегии [Rawls 1971].