Роджер Пенроуз - Новый ум короля - О компьютерах, мышлении и законах физики

Согласно одному из распространенных убеждений, ИИможет указать нам путь к своего рода пониманию таких категорий восприятия, как счастье, боль, голод. Возьмем, к примеру, черепашку Грэя Уолтера. Когда ее батареи садятся, ее поведение изменяется и она начинает действовать так, чтобы пополнить запас своей энергии. Здесь есть явная аналогия с тем, как человеческое существо — или любое другое животное — стало бы вести себя, ощутив голод. Похоже, мы не слишком сильно погрешим против языка, если скажем, что черепашка Грэя Уолтера была голодной, когда она действовала упомянутым образом. Некое устройство внутри нее, способное «ощущать» уровень заряда в батареях, заставляло ее переключаться в другой режим функционирования, когда заряд опускался ниже некоторой отметки. Нет причин сомневаться в том, что подобный механизм включается и в голодных животных, но с единственной разницей — изменения модели поведения в этом случае более сложны и деликатны . Вместо простого переключения с одного режима на другой здесь происходит смена направленности действий; и эти изменения усиливаются (до определенной степени) по мере того, как нарастает необходимость восстановить запасы энергии.

Исходя из этого, некоторые приверженцы ИИутверждают, что такие понятия, как боль или счастье, могут быть смоделированы аналогичным образом. Давайте упростим задачу и будем рассматривать линейную шкалу «чувств», простирающуюся от крайней «боли» (отметка: -100) до абсолютного «удовольствия» (отметка: +100). Представим далее, что у нас есть устройство — какая-нибудь машина, предположительно электронная, — которая располагает средствами для регистрации собственного (условного) показателя « боль — удовольствие », который я буду называть « бу-показатель». Устройство это должно иметь определенные модели поведения и входные данные, как внутренние (типа состояния батарей), так и внешние. Идея заключается в том, что все действия машины должны быть подчинены критерию максимизации ее бу-показателя . Факторов, влияющих на его величину, может быть множество. Мы, конечно же, можем сделать одним из них уровень заряда батарей, так, чтобы низкий уровень давал отрицательный вклад, а высокий — положительный; но могут существовать и другие факторы. Возможно, наше устройство несет на себе солнечные батареи, которые дают альтернативный источник энергии, при активации которого аккумуляторы перестают использоваться. Мы можем задать такую программу действий, при которой движение к свету будет немного увеличивать бу-показатель устройства — что оно и будет стремиться делать при отсутствии иных факторов. (Хотя, на самом деле, черепашка Грэя Уолтера, как правило, избегала света!) Ему потребуются какие-нибудь средства для выполнения вычислений, позволяющих оценивать последствия тех или иных действий в терминах величины бу-показателя . В дополнении к этому оно может уметь вводить вероятностные веса, так, чтобы в зависимости от достоверности исходных данных вычисления давали больший или меньший вклад в бу-показатель .

Помимо этого нашему устройству необходимо будет задать еще и дополнительные «цели», отличные от поддержания уровня его энергетических запасов, поскольку в противном случае мы не сможем отделить «боль» от «голода». Естественно, было бы слишком требовать от нашего механизма способности к размножению, поэтому давайте пока забудем о сексе! Но, возможно, мы могли бы имплантировать ему «желание» общения с аналогичными устройствами, приписывая таким встречам положительное значение бу-показателя . Или же мы можем заложить в него чистую «жажду знаний», когда даже простое накопление фактов об окружающем мире имело бы положительный эффект на величину бу-показателя . (Действуя из эгоистических побуждений, мы могли бы сделать так, что этот показатель увеличивался бы в результате оказания нам различных услуг — в точности, как при создании робота-слуги!) Можно было бы расценивать такой подход к назначению «целей» как искусственный, поскольку мы руководствуемся здесь разве что своими капризам. Но, в действительности, это не слишком уж отличается от способа, которым нам как индивидуумам определяются «цели» в процессе естественного отбора, где главенствующим фактором является необходимость распространять наши гены.