Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Мысль о том, что существуют приемлемые пути к изменению предпочтений, как представляется, связана с идеей о наличии приемлемых методов модификации поведения, когда, например, наниматель конструирует ситуацию выбора так, чтобы люди делали «лучший» выбор в отношении пенсионных накоплений. Часто это можно сделать, воздействуя на «нерациональные» факторы, влияющие на выбор, а не путем ограничения выбора или «налогообложения» «плохого» выбора. «Подталкивание» [329], книга экономиста Ричарда Талера и правоведа Касса Санстейна, предлагает широкий спектр предположительно приемлемых методов и возможностей «влияния на поведение людей, с тем чтобы они жили дольше, здоровее и счастливее».

Неясно, действительно ли методы модификации поведения изменяют только поведение. Если при устранении «подталкивания» модифицированное поведение сохраняется — что, предположительно, является желаемым результатом такого рода вмешательств, — значит, что-то изменилось в когнитивной архитектуре индивида (именно она превращает глубинные предпочтения в поведение) или в его глубинных предпочтениях. Весьма вероятно сочетание того и другого. Ясно, однако, что стратегия подталкивания предполагает, что все разделяют предпочтение «жить дольше, здоровее и счастливее». Каждое подталкивание опирается на конкретное определение «лучшей» жизни, что, как представляется, противоречит идее автономии предпочтений. Возможно, целесообразнее было бы не подталкивать, а разрабатывать нейтральные в отношении предпочтений вспомогательные процессы, помогающие людям достигать большей согласованности своих решений и когнитивной архитектуры с глубинными предпочтениями. Например, можно разработать когнитивные вспомогательные средства, которые высвечивают долгосрочные последствия решений и учат людей распознавать зерна этих последствий в настоящем [330].

Очевидно, нам нужно лучше понимать процессы возникновения и формирования человеческих предпочтений хотя бы потому, что это помогло бы нам создавать машины, избегающие случайных и нежелательных изменений человеческих предпочтений наподобие тех, что вносят алгоритмы выбора контента социальных сетей. Разумеется, вооружившись этим пониманием, мы замахнемся и на разработку изменений, которые приведут к «лучшему» миру.

Можно заметить, что необходимо предоставить намного больше возможностей для «совершенствующего» опыта, нейтрального в отношении предпочтений, такого как путешествия, дебаты и обучение аналитическому и критическому рассуждению. Мы могли бы, например, дать каждому старшекласснику возможность прожить по несколько месяцев по меньшей мере в двух разных культурах, отличающихся от его культурной среды.

Почти наверняка мы захотим пойти дальше — скажем, провести социальные и образовательные реформы, повышающие коэффициент альтруизма (веса, приписываемого каждым индивидом благополучию других), в то же время снижая коэффициенты садизма, гордости и зависти. Будет ли это хорошей идеей? Следует ли нам привлечь машины для помощи в этом процессе? Это, безусловно, соблазнительно. Сам Аристотель писал: «Главная забота политика — породить определенный характер в гражданах и сделать их добрыми и расположенными к благородным деяниям». Давайте просто признаем, что существуют риски, связанные с преднамеренным конструированием предпочтений в глобальном масштабе. Мы должны действовать крайне осторожно.

Если нам удастся создать доказуемо полезные ИИ-системы, то мы устраним опасность утраты контроля над сверхинтеллектуальными машинами. Человечество могло бы продолжить их разработку и получить невообразимые выгоды от возможности направить намного больший интеллект на развитие нашей цивилизации. Мы освободились бы от векового рабства, поскольку вместе с сельскохозяйственными, промышленными и офисными роботами сумели бы максимально использовать жизненный потенциал. С точки зрения этого золотого века мы оглядывались бы на свое сегодняшнее существование и видели нечто вроде описанной Томасом Гоббсом жизни без государства: одинокой, бедной, ужасной, жестокой и короткой {18} .

Или нет? Что, если хрестоматийные злодеи перехитрили бы наших «телохранителей» и высвободили неконтролируемую силу сверхинтеллекта, против которой у человечества нет защиты? Если бы мы и выжили, то постепенно слабели бы, передавая все больше своих знаний и умений машинам. Машины могли бы посоветовать нам этого не делать, понимая долгосрочную ценность автономии человека, но, вероятно, мы бы настояли на своем.