Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

См.: [Bostrom 2012].

См.: [Bostrom 2006 c].

Рассмотрим проблему с прямо противоположной стороны и расследуем вероятные причины, по которым сверхмощный и сверхразумный синглтон не стал бы развивать свои технологические возможности: 1) синглтон прогнозирует, что не воспользуется этими возможностями; 2) затраты на разработку слишком высоки по сравнению с предполагаемой пользой (например, новейшая технология никогда не пригодится для достижения одной из целей синглтона или ставка дисконтирования столь высока, что делает практически нереальными инвестиции); 3) конечная цель синглтона требует воздерживаться от развития конкретных технологических направлений; 4) если синглтон не уверен, что сможет сохранить стабильность, то может предпочесть воздержаться от развития технологий, которые могли бы угрожать его внутреннему состоянию равновесия или привести к более тяжелым последствиям в случае его распада (например, мировое правительство не станет содействовать развитию технологий, которые могут использоваться в случае массовых акций протеста, даже если у них есть и полезные области применения, или технологий, облегчающих производство оружия массового поражения, способное вырваться из-под контроля в случае падения самого правительства); 5) у синглтона есть ранее взятые обязательства не разрабатывать определенные виды технологий; эти обязательства могут по-прежнему действовать, несмотря на их невыгодность в новых условиях. (Следует отметить, что некоторые существующие сегодня причины развития технологий не будут иметь отношения к будущему синглтону: я имею в виду причины, связанные с гонкой вооружений.)

Предположим, что агент будет добывать в будущем ресурсы по экспоненциальной ставке дисконтирования, но обеспеченность ресурсами происходит в соответствии с полиномиальной моделью — из-за ограничений, которые накладывает скорость света. Будет ли это означать, что в определенный момент агент сочтет дальнейшую экспансию бессмысленной? Нет, поскольку так же будут вести себя и затраты на приобретение ресурсов , хотя текущая стоимость ресурсов, которые будут получены в будущем, станет тем быстрее стремиться по асимптоте к нулю, чем дальше в будущее мы будем заглядывать. Текущая стоимость запуска еще одного зонда фон Неймана через 100 млн лет (возможно, за счет ресурсов, приобретенных ранее) будет практически обнулена за счет того же коэффициента дисконтирования, который практически обнулит текущую стоимость будущих ресурсов, добытых этим зондом.

Хотя объем космического пространства, охваченный зондами, всегда будет представлять собой почти идеальную сферу, расширяющуюся пропорционально квадрату времени, прошедшему с момента запуска первого зонда (~ t 2), количество содержащихся в этом объеме ресурсов будет расти с гораздо меньшей скоростью, поскольку они распределены в нем неравномерно. Поначалу, во время колонизации родной планеты, скорость будет равной ~ t 2; потом она достигнет пика за счет колонизации ближайших планет и звездных систем; затем, когда с объемом в форме диска, в котором содержится Млечный Путь, будет покончено, скорость роста упадет примерно до t ; после снова достигнет пика во время колонизации близлежащих галактик; вслед за этим скорость роста снова упадет до ~ t 2, когда расширение достигнет масштабов, в которых распределение галактик можно считать однородным; далее еще один пик и плавный спад до ~ t 2в процессе колонизации галактического суперкластера; и наконец, скорость роста начнет снижаться, пока не упадет до нуля в момент, когда расширение Вселенной сделает дальнейшую колонизацию невозможной.

В этом контексте особенно большое значение приобретает гипотеза симуляции. Сверхразумный агент может присвоить высокую вероятность гипотезе, в соответствии с которой он существует в компьютерной имитационной модели, а его перцептивная последовательность генерируется другим сверхразумом, в результате чего могут возникнуть различные конвергентные инструментальные причины в зависимости от представлений агента о том, в какого типа имитационной модели он может скорее всего находиться; см.: [Bostrom 2003 a].

Открытие фундаментальных законов физики и других фундаментальных фактов является конвергентной инструментальной целью. Поместим ее в категорию «усовершенствование когнитивных способностей», хотя также она может находиться в категории «технологическое совершенство» (поскольку новые физические явления означают создание инновационных технологий).