Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Нам уже известно: краеугольной в ви2дении дружественного искусственного интеллекта оказывается идея, что искусственный интеллект, постоянно самосовершенствуясь, сохраняет свои конечные (дружественные) цели по мере того, как становится все более умным. Но как может “конечная цель” (“финальная”, как называет ее Бострём) быть даже просто определена для сверхразума? Мне кажется, мы не можем быть уверены в ви2дении дружественного AI до тех пор, пока не ответим на этот принципиальный вопрос.

Исследования в области искусственного интеллекта обычно предполагают наличие четко и однозначно сформулированной финальной цели у умных машин: например, выигрывать в шахматы или, не нарушая правил дорожного движения, довести автомобиль до заданной конечной точки. То же самое сохраняется и для большинства задач, которые мы ставим перед человеком, потому что временной горизонт и контекст известны и ограничены. Но сейчас мы говорим о будущем жизни в нашей Вселенной, не ограниченной ничем, кроме (и это в полной мере не известно) законов физики, поэтому определение целей ужасно важно! Если не учитывать квантовые эффекты, по-настоящему хорошо определенная цель укажет, как все частицы в нашей Вселенной должны быть организованы к концу времен. Но неясно, существует ли в нашей Вселенной хорошо определенный конец времен. А если частицы окажутся организованы таким образом раньше этого срока, то такая их организация долго не продлится. И в любом случае – какая организация частиц предпочтительна?

Нам, людям, свойственно отдавать предпочтение одной организации частиц перед другой; например, мы предпочитаем, чтобы в нашем родном городе сохранялась привычная организация, а не возникала иная под действием взрыва водородной бомбы. Поэтому предположим, что мы пытаемся определить функцию “хорошести”, которая ставит в соответствие каждой возможной организации частиц в нашей Вселенной число, показывающее, насколько “хорошей” мы сочтем такую организацию, и потом зададим сверхразумному искусственному интеллекту цель доводить это число до максимума. Такой подход выглядит вполне разумным, поскольку описание целенаправленного поведения как приведения какой-то функции к ее экстремальному значению популярно в других областях науки: например, экономисты часто моделируют людей, пытающихся увеличить то, что они называют “функцией полезности”, и многие разработчики умных систем тренируют свои интеллектуальные программы на приведение к максимальному значению того, что они называют “функцией успеха”. Однако когда мы говорим о конечных целях нашего космоса, такой подход приводит к вычислительному кошмару, так как будет необходимо определять “хорошесть” для каждого из более чем гуголплекс возможных организаций элементарных частиц во Вселенной, где гуголплекс – это 1 с 10 100нулями, то есть нулей в нем больше, чем частиц во Вселенной. Как мы определим эту функцию нашему искусственному интеллекту?

Выше мы уже выяснили, что, возможно, единственная причина, по которой у нас есть какие-то предпочтения, состоит в том, что мы сами – решение оптимизационной эволюционной задачи. Таким образом, все нормативные определения для нашего человеческого языка – такие как “вкусный”, “благоухающий”, “красивый”, “удобный”, “интересный”, “сексуальный”, “значимый”, “счастливый” и “хороший”, ведут свое происхождение от этой оптимизационной эволюционной задачи, и нет никаких гарантий, что сверхразумный искусственный интеллект посчитает их строго определенными. Даже если искусственный интеллект научится точно предсказывать предпочтения какого-то представителя человеческого рода, он не сможет вычислить функцию “хорошести” для большинства способов упорядочения частиц: их подавляющее большинство соответствует странным космическим сценариям, когда нет звезд, нет планет или людей как таковых, когда у людей нет своих переживаний, и кто же тогда сможет сказать, “хорошо” ли получилось?

Есть, конечно, некоторые функции упорядочения космических частиц, которые могут быть строго определены, и мы даже знаем физические системы, которые эволюционируют в сторону их максимального значения. Например, мы уже обсудили, как много систем эволюционируют, стремясь к максимуму своей энтропии , которая при отсутствии гравитации с течением времени приводит к тепловой смерти, где все скучно, единообразно и неизменно. Так что энтропия – совсем не то, что мы хотели бы предложить искусственному интеллекту как критерий “хорошести”, к максимальному значению которого он бы стремился. Ниже приведены еще несколько примеров величин, к максимальному значению которых он мог бы стремиться и которые можно жестко определить в терминах упорядочения частиц: