Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

А как AI-победитель станет нас истреблять? Наверное, он воспользуется методом, которого нам будет даже не понять, – по крайней мере, до тех пор, пока не станет слишком поздно. Представьте себе группу слонов 100 тысяч лет назад, которая обсуждает, не станут ли недавно появившиеся в результате эволюции человеческие существа использовать свой интеллект для того, чтобы истребить весь их вид. “Мы не угрожаем людям, с какой стати им истреблять нас?” – могли они задаваться вопросом. Могло ли им прийти в голову, что мы займемся контрабандой их бивней, из которых будем вырезать различные символы для обозначения своего социального статуса, хотя, с функциональной точки зрения, пластик подходит для этого значительно лучше и к тому же намного дешевле? Мотивы AI-победителя для уничтожения людей в будущем могут оказаться столь же непостижимыми для нас. “А как же они смогут убивать нас, такие маленькие и слабые?” – могли спрашивать слоны. Могло ли им прийти в голову, что мы создадим технологии, разрушающие среду их обитания, отравляющие воду в водоемах, производящие маленькие стальные шарики, которые будут вонзаться в их головы со сверхзвуковой скоростью.

Сценарии того, как людям удается выжить и нанести умным машинам поражение, популяризируются фантастическими голливудскими фильмами вроде серии Терминаторов , выставляющими машины ничуть не более умными, чем люди. Если разница интеллектов достаточно велика, вы получите не битву, а бойню. К настоящему времени мы успешно справились с истреблением восьми из одиннадцати видов слонов, уничтожив также бо2льшую часть поголовья оставшихся трех. Если бы мировые правительства предприняли координированные усилия по истреблению оставшихся слонов, покончить с ними было бы относительно легко и быстро. Я думаю, что мы можем быть совершенно спокойны: если когда-нибудь сверхразумный искусственный интеллект решит истребить человечество, это у него получится еще быстрее.

Насколько плохо истребление 90 % человечества? Насколько хуже истребление 100 % человечества? Хотя велик соблазн ответить: “На 10 % хуже”, – такой ответ очевидно неточен, учитывая космическую перспективу: жертвами этого истребления станут не только все живущие на планете в тот момент, но и все их потомки, которые могли бы жить в будущем, может быть, на протяжении миллиардов лет, на миллиардах или триллионах других планет. С другой стороны, вымирание людей может рассматриваться как благо религиозными людьми, в соответствии с представлениями которых мы в любом случае попадаем на небо и которые не придают поэтому большого значения ни нашему миллиардолетнему будущему, ни космическим поселениям.

Большинство знакомых мне людей, независимо от их религиозных убеждений, начинают кривиться при мысли о вымирании людей. Некоторые из них пребывают в такой ярости от того, как люди обращаются с другими живыми существами, что мечтают о нашем истреблении и замене нас какой-нибудь более разумной и достойной существования формой жизни. В фильме Матрица агент Смит (искусственный интеллект) артикулирует это чувство: “Всякое млекопитающее на этой планете инстинктивно поддерживает естественное равновесие с окружающей его средой, и только люди его нарушают. Вы захватываете территорию и размножаетесь на ней до тех пор, пока все ее ресурсы не будут истощены и у вас останется единственный способ выжить – захватить другую территорию. На этой планете есть и другой организм, ведущий себя так же. Знаете, кто это? Это вирус. Люди – это болезнь, рак этой планеты. И если вы чума, то мы здесь, чтобы лечить”.

Но стоит ли играть в орлянку? Цивилизация не обязательно превосходит другую в моральном или каком-либо ином отношении только потому, что оказалась более могущественной. Право сильного, подразумевающее, что сильнейший всегда лучше, в наши дни значительно утратило свою популярность, ассоциируясь теперь с фашизмом. В самом деле, мы не можем исключить, что цивилизация, созданная победившими машинами, поставит перед собой цели, которые мы сочли бы очень достойными, интересными и глубоко продуманными, но мы не можем исключить и того, что они окажутся и вопиюще банальными – например, наладить оптимальное производство дешевых скрепок для бумаги.

Умышленно дурацкий пример со скрепками для бумаги и оптимизацией их производства в качестве цели для сверхразума был придуман Ником Бострёмом в 2003 году, чтобы показать: цель искусственного интеллекта не зависит от самого интеллекта (определяемого как способность к достижению любой поставленной цели, какова бы она ни была). Единственная цель шахматного компьютера – выигрывать в шахматы, но проводятся компьютерные состязания в шахматные поддавки , и тогда цель компьютера прямо противоположна, но для достижения ее требуется не меньше “ума”, чем обычному шахматному компьютеру, запрограммированному на победу. Мы, люди, можем рассматривать стремление к проигрышу в шахматы или к оптимизации производства скрепок как примеры искусственного идиотизма, а не искусственного интеллекта, но это так только потому, что мы сами эволюционировали с уже предустановленной системой ценностей, в которую изначально была заложена цена таких вещей, как победа или выживание, но искусственному интеллекту она может оказаться неведома. Производитель скрепок стремится превратить в скрепку как можно больше атомов, находящихся на Земле, и быстро начинает строить свои фабрики и в космосе. Он ничего не имеет против людей, но убивает нас просто потому, что нуждается в наших атомах для своих скрепок.