Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

4) Преемственность: совместимость со сценариями, которые большинство людей сегодня оценивают как счастливые; несовместимость со сценариями, которые сегодня почти все люди рассматривают как ужасные.

Давайте уделим этим четырем принципам некоторое внимание. Традиционно под утилитаризмом понимается “максимальное счастье для максимального количества людей”, но я обобщил, постаравшись избавить его от излишнего антропоцентризма, чтобы он еще включал других животных, искусственный интеллект, каким он существует сегодня, и другие виды искусственного интеллекта, которые могут появиться в будущем. Я даю определение на языке переживаний, удалив из него упоминания о людях или вещах, так как большинство мыслителей согласны, что красота, радость, удовольствие и страдание – это субъективные переживания. Это означает, что если нет переживания (как в мертвой или населенной зомби-подобными бездушными машинами Вселенной), то не может быть и смысла или чего бы то ни было другого, этически значимого. Если мы согласимся с утилитарным этическим принципом, тогда становится важно, чтобы мы определили, какие разумные системы обладают сознанием (то есть способны на субъективные переживания), а какие нет. Это тема следующей главы.

Если бы нас заботил только утилитарный принцип, то нам было бы достаточно выяснить, что именно вызывает самое положительное из возможных переживаний, и настроить наш космос так, чтобы именно оно повторялось до бесконечности из раза в раз, если это возможно, в максимально возможном числе галактик – и используя симуляцию, если она окажется наиболее эффективной. Если вы чувствуете, что такой способ употребления нашей космической данности слишком банален, то, подозреваю, главным образом из-за того, что вам в этом сценарии не хватает разнообразия. Что бы вы почувствовали, если бы до конца жизни на завтрак, обед и ужин вам предлагали одно и то же? Или всю жизнь крутили бы только одно кино? Или у всех ваших друзей была одинаковая внешность, одинаковый характер и мысли? Возможно, нам нравится разнообразие не в последнюю очередь потому, что именно оно помогло человечеству выживать и процветать, сделало нас более стойкими. Возможно, это также связано с предустановками для разума: его развитие на протяжении 13,8 миллиардов лет космической истории сопровождалось превращением скучного единообразия в более диверсифицированную, дифференцированную и сложную структуру, которая обрабатывает информацию более сложными способами.

Принцип автономности лежит в основе многих прав и свобод, зафиксированных во Всеобщей декларации прав человека, которую ООН приняла в 1948 году в попытке усвоить уроки двух мировых войн. Сюда включены свобода мысли, слова и перемещения, свобода от рабства и истязаний, право на жизнь, неприкосновенность, безопасность, образование, право вступать в брак, работать и владеть собственностью. Если мы хотим, чтобы наше определение было менее антропоцентричным, мы можем дать его в более общем виде, ограничившись свободой думать, учиться, общаться, владеть собственностью и быть избавленными от причинения ущерба, а также свободой делать то, что мы хотим, пока это не нарушает свобод окружающих. Принцип автономности способствует диверсификации до тех пор, пока у всех хоть немного различаются цели. Кроме того, принцип автономности следует из принципа утилитарности, если у отдельных сущностей есть цель получать положительный опыт и они стараются действовать в своих интересах: если бы вместо этого мы хотели запретить какой-нибудь сущности достигать ее целей, даже если они никому не вредят, положительных переживаний стало бы меньше. В самом деле, это аргумент в пользу автономии – тот же самый, который экономисты приводят в пользу свободного рынка: он способствует возникновению равновесной ситуации (экономисты называют ее “парето-эффективным распределением благ”), где никому не может стать лучше без того, чтобы кому-то другому стало хуже.

Принцип преемственности говорит, что у нас должно быть право голоса в определении будущего, раз уж мы помогаем его строить. Принципы автономности и преемственности утверждают демократические идеалы: первый дает будущим формам жизни власть над тем, как будет использоваться наше космическое достояние, а последний дает такую власть ныне живущим людям.

Несмотря на то, что на первый взгляд никакого противоречия между этими четырьмя принципами не видно, внедрение их на практике проблематично – дьявол, как всегда, в деталях. Сложность кроется в реминисценциях по известным “трем законам робототехники” легендарного писателя-фантаста Айзека Азимова: