Ник Бостром: Искусственный интеллект. Этапы. Угрозы. Стратегии

Конечно, и в этом случае имеется некоторый экзистенциальный риск, из-за которого отложить прогресс было бы правильно даже с субъективной точки зрения — это или позволит ныне живущим людям прожить чуть дольше, или обеспечит дополнительное время для попыток снизить опасность.

Предположим, мы можем предпринять некоторое действие, которое приблизит взрывное развитие интеллекта на один год. Предположим также, что люди, в настоящее время населяющие Землю, умирают со скоростью 1% в год и что по умолчанию риск гибели человечества в результате взрывного развития равен 20% (число произвольное, взято просто для иллюстрации). Тогда ускорение появления взрывного развития интеллекта на один год означает (с субъективной точки зрения) увеличение риска с 20% до 21%, то есть на 5%. Однако большинство живущих за год до начала взрывного развития интеллекта людей заинтересованы отложить его, если тем самым можно снизить риск на один процентный пункт (поскольку большинство людей знают, что их риск смерти в следующий год гораздо меньше 1%, учитывая, что основная смертность приходится на сравнительно узкий сегмент старых и больных людей). Так можно получить модель, в которой население ежегодно голосует за то, чтобы отложить взрывное развитие искусственного интеллекта еще на год, притом что все живущие согласны с тем, что было бы хорошо, если рано или поздно он произошел бы. В реальной жизни, конечно, такого бесконечного откладывания, скорее всего, не будет — из-за плохой координации, ограниченных возможностей прогнозирования или предпочтений иных вещей, нежели личное выживание. Если вместо стандартов, затрагивающих личные интересы каждого, использовать экономический коэффициент дисконтирования, позитивный эффект от ускорения резко снизится, так как упадет приведенная стоимость того, что ныне живущие люди обеспечат себе астрономически длинные жизни. Этот эффект проявится особенно заметно, если коэффициент дисконтирования применять к субъективному времени каждого индивидуума, а не к звездному. Если будущие блага дисконтируются по ставке x % годовых, а фоновый уровень экзистенциального риска от других источников равен y % в год, то оптимальный момент для взрывного развития искусственного интеллекта настанет тогда, когда его откладывание еще на год приведет к снижению связанного с ним экзистенциального риска меньше, чем на x + y процентных пунктов.

Я в долгу перед Карлом Шульманом и Стюартом Армстронгом за помощь в создании этой модели. См. также: «Дэвид Чалмерс сообщает о полном согласии среди курсантов и преподавателей Военной академии США в Вест-Пойнте, считающих, что правительство не должно сдерживать исследования в области ИИ даже перед лицом потенциальной катастрофы из-за опасности, что решающее преимущество могут получить конкурирующие державы [Chalmers 2010]» [Shulman 2010 a, p. 3].

Слова о том, что информация — это всегда плохо, являются вплне ожидаемым утверждением. Конечно, все зависит от того, что это за информация, поскольку иногда она может оказаться положительной, например если выяснится, что разрыв между лидером и преследователями гораздо больше, чем предполагалось.

С таким столкновением может быть связан экзистенциальный риск, особенно если ему предшествовало создание новых военных технологий или беспрецедентный рост арсеналов.

Занятые в проекте люди могут жить в совершенно разных местах и связываться друг с другом по защищенным каналам. Но эта тактика является компромиссной с точки зрения безопасности: географическая разбросанность помогает защититься от военного нападения, но повышает операционную уязвимость, поскольку становится труднее обеспечить сохранность информации, предотвратить ее утечки и похищение сотрудников враждебными структурами.

Обратите внимание, что высокий коэффициент дисконтирования по времени может привести к возникновению ощущения гонки даже в тех случаях, когда известно об отсутствии реальных конкурентов. Высокий коэффициент дисконтирования означает, что о далеком будущем можно почти не беспокоиться. В зависимости от ситуации это может препятствовать проведению оторванных от действительности исследований и разработок, что, скорее всего, приведет к задержке революции машинного интеллекта (хотя, вероятно, сделает ее более резкой, когда она наконец случится, — из-за аппаратного навеса). Но высокий коэффициент дисконтирования — или нежелание думать о будущих поколениях — может также снизить значимость экзистенциального риска. Это потворствует авантюрам, в которых имеется возможность получить быструю выгоду за счет резкого роста риска экзистенциальной катастрофы, устраняет стимулы для инвестирования в безопасность и создает стимулы для более раннего появления машинного интеллекта, фактически имитируя ощущение гонки. Но, в отличие от реальной гонки, высокий коэффициент дисконтирования (или игнорирование будущих поколений) не будет провоцировать конфликт. Устранение ощущения гонки — главное преимущество сотрудничества. В ситуации сотрудничества облегчается обмен идеями о возможных путях решения проблемы контроля, что также является преимуществом, хотя в некотором смысле оно уравновешивается тем фактом, что облегчается также обмен идеями и о возможных путях решения проблемы компетентности. Чистым результатом облегчения обмена идеями может быть некоторое повышение уровня коллективного интеллекта соответствующего исследовательского сообщества.