Ник Бостром: Искусственный интеллект. Этапы. Угрозы. Стратегии

Очевидно, что принцип распределения сверхдоходов можно уточнить. Например, порог распределения может быть сформулирован в суммах на душу населения, или доля сверхдохода, которую может оставить у себя победитель, должна быть выше средней, чтобы сильнее мотивировать будущее производство (например, использовать принцип теории справедливости Ролза). Можно, в принципе, уйти от сумм в денежном выражении и описать задачу следующим образом: «влияние на будущее человечества», «степень того, насколько интересы каждой из сторон будут учитываться в функции полезности будущего синглтона» или что-то подобное.

Некоторые исследования важны не потому, что приводят к открытиям, но по каким-то иным причинам, например, потому что развлекают, развивают, возвеличивают или вдохновляют тех, кто ими занят.

Я не имею в виду, что никто не должен заниматься чистой математикой или философией. Или что эти направления означают пустую трату времени по сравнению со всеми остальными областями науки или жизни в целом. Вероятно, очень хорошо, что некоторые люди могут посвятить себя интеллектуальной деятельности и следовать за своим научным любопытством, куда бы оно ни завело, независимо от любых соображений относительно полезности или возможных последствий этих занятий. Я имею в виду, что как минимум некоторые из этих лучших умов могли бы, поняв, что в обозримом будущем их когнитивная эффективность может совершенно обесцениться, пожелать переключить свое внимание на теоретические проблемы, скорость решения которых имеет для человечества некоторое значение.

Однако следует быть внимательными в случаях, когда неопределенность может быть полезна, — вспомните, например, модель риска, связанного с гонкой вооружений (врезка 13), где мы выяснили, что дополнительная стратегическая информация может быть вредна. Говоря в общем, нас должна беспокоить потенциальная опасность информации, см.: [Bostrom 2011 b]. Возникает соблазн сказать, что нам нужно больше анализировать потенциально опасную информацию. Вероятно, это правда, хотя в таком случае нас не может не беспокоить, что в результате такого анализа, в свою очередь, появится потенциально опасная информация.

См.: [Bostrom 2007].

Я благодарен Карлу Шульману за то, что он подчеркнул этот момент.