Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Рис. 5.1

Примеры, как может быть уничтожена известная нам жизнь или как может быть существенно снижен ее потенциал. При том, что наша Вселенная, по-видимому, просуществует еще десятки миллиардов лет, наше Солнце сожжет и проглотит Землю уже через миллиард лет, если только мы не отодвинем ее на безопасное расстояние, а еще через 3,5 миллиарда лет, даже если мы отодвинем ее на безопасное расстояние, наша галактика столкнется с соседней. Но даже не зная, как это случится, и задолго до этого, мы можем предсказать, что астероиды изрешетят нашу планету, а супервулканы вызовут долгие холодные зимы, когда на протяжении нескольких лет на небе не будет видно солнца. Мы можем использовать технологии для решения этих проблем, а можем использовать их для создания новых – таких, как климатические изменения, ядерные войны, искусственные пандемии или вышедший из-под контроля искусственный интеллект.

После рассмотрения проблем, к которым могут привести новые технологии, важно остановиться и на проблемах, которые может вызвать отсутствие таких технологий. Давайте для начала рассмотрим те сценарии, где сверхразум не создается, а человечество уничтожает себя другими способами.

Как мы можем этого добиться? Простейшая стратегия – “просто ждать”. Хотя в следующей главе мы рассмотрим способы борьбы с такими неприятностями, как столкновение с астероидами и закипающие океаны, все они требуют технологий, пока еще не разработанных нами, так что, пока наши технологии не достигнут определенного уровня, значительно превышающего нынешний, мать-природа может отправить нас в небытие задолго до истечения следующего миллиарда лет. Как говорил знаменитый экономист Джон Мейнард Кейнс: “В долгосрочной перспективе мы все мертвы”.

К сожалению, у нас есть способы покончить с собой гораздо быстрее благодаря собственной коллективной глупости. Почему наш вид должен совершить коллективный суицид, называемый также омницидом , если практически никто по отдельности этого не хочет? На нашем нынешнем уровне интеллектуального развития и эмоциональной зрелости мы, люди, проявляем особый дар к просчетам, недомыслию и незнанию, отчего наша история полна несчастными стечениями обстоятельств, войнами и разными невзгодами, к которым, если разобраться, никто особенно не стремился. Экономисты и математики разработали красивую теорию игр, объясняющую, что подталкивает людей к поступкам, приводящим к катастрофическим последствиям для всех {72} 72 Наводящие на размышления суждения о том, что может подталкивать людей к совершению поступков с ни для кого не желательными последствиями, можно найти в: Scott Alexander, Meditations on Molloch ( http://slatestarcodex.com/2014/07/30/meditations-on-moloch ) .

Вы можете подумать: чем выше ставки, тем осмотрительнее ведут себя люди, но внимательное исследование нашего самого большого риска, допускаемого современной технологией, а именно – риска глобальной термоядерной войны, не очень-то обнадеживает. Лишь по воле случая мы пережили без последствий обескураживающе длинный список разного рода промахов: тут и компьютерные сбои, и отказы в системах энергоснабжения, и недопонимание проблемы, и навигационные ошибки, и столкновения бомбардировщиков, и взрывы спутников, и многое-многое другое {73} 73 Интерактивная хроника настораживающих событий, которые доказывают, что ядерная война может начаться случайно: http://tinyurl.com/nukeoops . В самом деле, если бы не героические поступки отдельных выдающихся личностей, вроде Василия Архипова и Станислава Петрова, ядерная война была бы уже в нашем прошлом. Оценку вероятности случайного возникновения ядерного конфликта на протяжении года в одну тысячную при нынешнем положении вещей можно считать неправдоподобно оптимистичной, но даже она дает для оценки снизу вероятности такого конфликта в следующие 10 тысяч лет: 1 – 0,999 10000 = 99,995 %.

Для полного понимания нашего безрассудства мы должны отдать себе отчет в том, что начали играть в свою ядерную рулетку еще до внимательного изучения связанных с ней рисков. Во-первых, опасность радиоактивного заражения оказалась существенно недооцененной, и в одних только Соединенных Штатах жертвам облучения при работе с ураном или во время ядерных испытаний было выплачено около 2 миллиардов долларов компенсации {74} 74 О компенсационных выплатах жертвам ядерных испытаний в США см.: https://www.justice.gov/sites/default/files/civil/legacy/2014/10/20/Tre_SysClaimsToDateSum.pdf .