Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Дело в том, что никакой закон не требует , чтобы наши предпочтения в отношении того или иного опыта определялись как сумма гедонистических ценностей в отдельные моменты времени. Действительно, стандартные математические модели сосредоточиваются на максимизации суммы вознаграждений [323], но исходным мотивом для этого является математическое удобство. Подтверждения появились позже в виде допущений, согласно которым рационально принимать решения, суммируя вознаграждения [324], но эти допущения необязательно выполняются в реальности. Допустим, Гарриет выбирает одну из двух последовательностей гедонистических ценностей: [10, 10, 10, 10, 10] и [0, 0, 40, 0, 0]. Вполне возможно, что она просто предпочтет вторую последовательность; никакой математический закон не заставит ее делать выбор, исходя из суммы, а не, скажем, максимума.

Канеман признает, что ситуация дополнительно осложняется решающей ролью для благополучия ожиданий и памяти. Память о единичном приятном опыте — своей свадьбе, рождении ребенка, вечере, посвященном сбору ежевики и приготовлению варенья, — способна поддерживать человека долгие годы тяжелой работы и разочарований. Возможно, запоминающее «я» оценивает не только опыт как таковой, но и его совокупное влияние на будущую ценность жизни. Предположительно, именно запоминающее, а не экспериментирующее «я» — лучший судья в вопросе о том, что будет отложено в памяти.

Очевидно, что разумные люди в XXI в. не захотят перенимать предпочтения, скажем, римского общества II в. с его гладиаторскими бойнями на потеху публики, экономикой на основе рабства и жестоким истреблением покоренных народов. (Незачем подробно разбирать очевидные параллели этих характеристик в современном обществе.) Нормы морали совершенствуются со временем, по мере развития — или дрейфа, если вы предпочитаете этот термин, — нашей цивилизации. Это, в свою очередь, предполагает, что будущим поколениям может показаться совершенно отвратительным наше сегодняшнее отношение, скажем, к благополучию животных. Поэтому важно, чтобы машины, перед которыми поставлена задача реализации человеческих предпочтений, имели возможность реагировать на постепенные изменения этих предпочтений, а не фиксировали их намертво. Три принципа, описанных в главе 7, естественным образом учитывают эти изменения, поскольку требуют, чтобы машины изучали и выполняли нынешние предпочтения нынешних людей, — великого множества разных людей — а не один идеализированный комплекс предпочтений или же предпочтения разработчиков машин, возможно, давно умерших [325].

Возможность изменения типичных предпочтений человеческой популяции за историческое время естественным образом сосредоточивает внимание на вопросе о том, как формируются предпочтения каждого индивида, и о пластичности предпочтений взрослых людей. На наши предпочтения, безусловно, влияет наш организм: так, мы обычно избегаем боли, голода и жажды. Строение нашего тела, однако, остается практически неизменным, следовательно, остальные предпочтения должны зависеть от влияния культуры и семьи. Весьма вероятно, что дети постоянно осуществляют, в той или иной форме, процесс обучения с подкреплением на основе обратной связи, учась обнаруживать предпочтения родителей и сверстников, чтобы объяснить их поведение. Затем дети усваивают эти предпочтения как собственные. Даже у взрослых предпочтения меняются под влиянием СМИ, властей, друзей, работодателей и собственного непосредственного опыта. Возможно, например, что многие сторонники Третьего рейха начинали не с гедонистического садизма и жажды расовой чистоты.

Изменение предпочтений вызывает трудность для теорий рациональности, на уровне как индивида, так и социума. Например, предложенный Харсаньи принцип автономии предпочтений, как представляется, гласит, что каждый имеет право на свои предпочтения, какими бы они ни были, и никто не смеет на них посягать. Однако предпочтения ни в коей мере не являются неприкасаемыми, они затрагиваются и модифицируются постоянно по мере накопления опыта. Машины не могут не модифицировать человеческие предпочтения, поскольку машины модифицируют человеческий опыт.

Важно, хотя иногда трудно, отделять изменение предпочтений от обновления, которое происходит, когда изначально пребывающая в неопределенности Гарриет больше узнает о собственных предпочтениях посредством опыта. Обновление предпочтений способно заполнять разрывы в самопознании и, возможно, добавлять определенности предпочтениям, которые прежде были туманными и произвольными. Напротив, изменение предпочтений — это не процесс, являющийся следствием получения дополнительных данных о том, в чем предпочтения индивида в действительности заключаются. В крайнем проявлении можно представить его как следствие приема наркотиков и даже операции на мозге — оно происходит вследствие процессов, которые мы даже можем не понимать и не принимать.