Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Характерное время взрыва принципиально зависит от того, достаточно ли для усиления искусственного интеллекта только улучшения его “софта” (которое возможно в считанные секунды, минуты или часы), или оно требует изменения “харда” (на что могут уйти месяцы или годы). В сценарии “Омега” имелся значительный аппаратный излишек (hardware overhang) , по терминологии Бострёма: “омеги” могли компенсировать низкое качество своих исходных программ изобилием находящихся в их распоряжении компьютеров, что означало наличие возможности у Прометея производить большое количество удвоений качества, только улучшая свой “софт”. Но благодаря интернету у него был и большой излишек контента (content overhang) ; Прометей 1.0 был не в состоянии им воспользоваться, но когда его интеллектуальные способности выросли, данные, необходимые для его дальнейшего обучения, могли быть в его распоряжении незамедлительно.

Стоимость конструкции и расходуемой искусственным интеллектом электроэнергии также существенные факторы, так как интеллектуальный взрыв нам не будет выгоден, пока стоимость выполняемой искусственным интеллектом работы человеческого качества не будет ниже оплаты этой работы, если ее будет выполнять сам человек. Допустим, например, что первый AGI сможет выполнять любые задания, на какие только способен человек, в облаке Amazon по стоимости 1 миллион долларов в час. Конечно, это будет грандиозный прорыв, и все газеты разместят эту новость на первых полосах, но никакого последовательного самоусовершенствования этого искусственного интеллекта пока не случится, потому что выгоднее будет продолжать использовать для его усовершенствования людей. Предположим, что эти люди постепенно добиваются успеха, и стоимость часа работы искусственного интеллекта снижается – сначала до 100 000 долларов в час, потом до 10 000 долларов в час, потом до 1 000 долларов в час, потом до 100 долларов в час, потом до 10 долларов в час и, наконец, до 1 доллара в час. Ко времени, когда использовать сам компьютер для собственного перепрограммирования окажется значительно дешевле, чем платить людям за ту же работу, программистов можно отправлять на покой, а оптимизационная сила резко возрастет за счет появившейся возможности покупать вычислительное время в облаке. Отсюда возникнет еще большее снижение стоимости, еще больше увеличивающее оптимизационную силу. Вот и начало интеллектуального взрыва.

У нас теперь остается только один, последний ключевой вопрос: кто или что будет контролировать интеллектуальный взрыв и его последствия, каковы будут его/их цели. Мы исследуем возможные цели и результаты, получаемые при их достижении, в следующей главе, а потом, на более глубоком уровне, в главе 7. Чтобы разобраться в вопросе управления, его надо разделить на два: насколько управляем искусственный интеллект, и насколько искусственный интеллект способен к управлению.

Относительно того, что случится дальше, у нас наблюдается предельное разнообразие вариантов: вы можете найти серьезных мыслителей, полагающих, что наша гибель в этом случае неизбежна, и не менее серьезных мыслителей, уверенных в том, что нам гарантированы самые благоприятные последствия. Но, на мой взгляд, в самом вопросе содержится подвох: обреченно спрашивать “что случится”, как будто все уже предрешено, – это большая ошибка! Если технологически опережающая нас цивилизация прибудет на Землю завтра, спрашивать “что случится?” естественно: их космические корабли уже подлетают, их сила, очевидно, значительно превосходит нашу, поэтому никаких способов повлиять на будущее у нас нет. Если технологически превосходящая и подкрепленная искусственным интеллектом цивилизация наступает, потому что мы сами ее создали, то у нас, людей, есть много возможностей повлиять на дальнейшее развитие событий – возможностей, реализуемых в процессе создания искусственного интеллекта. Поэтому правильный вопрос звучит так: “Что должно случиться? Какое будущее мы хотим получить?”. В следующей главе мы рассмотрим широкий спектр ответов, возможность которых нам открывает нынешняя гонка за AGI, и мне любопытно узнать, как бы вы расположили их – от наиболее привлекательных к наиболее отталкивающим. Только хорошенько подумав о том, какое будущее нам кажется наиболее привлекательным, мы сможем как-то направить свое развитие в сторону этого будущего. Не зная, чего мы хотим, мы вряд ли это получим.

• Если когда-нибудь нам удастся создать AGI человеческого уровня, за этим может последовать интеллектуальный взрыв, и мы в результате останемся далеко позади.