Предположим, неизвестный бит информации взаимодействует с известным битом информации. После этого взаимодействия первый бит по-прежнему остается неизвестным, но теперь и второй бит тоже становится неизвестным. Неизвестный бит как бы заразил известный, распространяя неведение и увеличивая общую энтропию системы. Идеи вычисления, о которых мы говорили выше, можно использовать для того, чтобы прояснить «заразную» природу неведения.
Возьмем два бита. Значение первого неизвестно – оно может быть или 0, или 1. Значение второго бита известно – скажем, это 0. Таким образом, оба бита вместе находятся в состоянии 00 или 10. Теперь применим к битам следующую простую логическую операцию. Инвертируем второй бит, но если и только если первый бит равен 1. Эту операцию можно назвать «условное не» ( controlled-not ), потому что она выполняет инверсию (или операцию «не») со вторым битом, используя как сигнал управления состояние первого бита (который в данном случае неизвестен).
Итак, если первый бит будет равен 1, то операция «условное не» изменит второй бит с 0 на 1. Если значение первого бита – 0, то после операции «условное не» значение второго бита останется равным 0. Таким образом, после операции «условное не» пара битов будет или в состоянии 00, или в состоянии 11. Теперь два бита коррелируют – то есть имеют одно и то же значение. Если мы посмотрим на первый бит, то узнаем значение второго бита, и наоборот.
Мы как не знали значение первого бита, так и не знаем его после выполнения операции: он по-прежнему находится в состоянии 0 или в состоянии 1. Но посмотрим на второй бит. Теперь он тоже может находиться в состоянии 0 или 1. Второй бит, значение которого до операции было 0, теперь тоже имеет неизвестное значение. Операция «условное не» заставила неизвестную информацию первого бита «заразить» второй бит – незнание распространилось! (Распространение неведения обратимо. Чтобы вернуть оба бита в исходное состояние, нужно выполнить операцию «условное не» повторно. Операция «условное не» является обратной по отношению к самой себе: выполнить ее дважды – все равно что не делать ничего вообще.)
Распространение неведения увеличивает энтропию отдельных битов в системе. Энтропия первого бита по-прежнему составляет один бит, но энтропия второго увеличивается. Тем не менее энтропия пары битов, взятых вместе, остается постоянной! Перед операцией «условное не» два бита могли находиться в одном из двух состояний – 00 или 10. В системе один бит энтропии – в первом бите из пары. После операции «условное не» пара битов может находиться в одном из двух состояний – 00 или 11. Мы по-прежнему видим один бит энтропии, но теперь он распределен между двумя битами.
Распространение неведения отражается в росте величины, которая называется «взаимная информация». У каждого бита после операции есть собственный бит энтропии, но у двух битов, взятых вместе, тоже есть только один бит энтропии. Взаимная информация равняется сумме энтропий, взятых по отдельности, минус энтропия двух битов, взятых вместе. Другими словами, у двух битов есть ровно один бит взаимной информации. Какую бы информацию они ни содержали, они содержат ее вместе.
«Заразный» характер информации относится и к сталкивающимся атомам, и к битам в вычислении. Идею о том, что энтропия отдельных атомов газа имеет тенденцию увеличиваться, впервые выдвинул Людвиг Больцман в 1880-х гг. Больцман определил величину, которую назвал « H », как степень, до которой мы знаем положение и скорость любого данного атома газа.
Величина « H » Больцмана фактически является энтропией отдельного атома, умноженного на минус один. Больцман показал, что, когда положения и скорости атомов не коррелирует, то есть независимы друг от друга, столкновения между ними уменьшают « H » и увеличивают энтропию отдельных атомов. Последующие столкновения, утверждал он, продолжат увеличивать эту энтропию. Он пришел к выводу, что его H -теорема является обоснованием второго начала термодинамики и доказывает математически, что энтропия должна увеличиваться.
Проблема H -теоремы Больцмана состоит в том, что она, строго говоря, не является истинной для атомов газа. Больцман был прав в том, что столкновения между первоначально некоррелирующими атомами увеличивают энтропии отдельных атомов. Эти энтропии увеличиваются из-за «заразного» характера информации. Когда сталкиваются два атома, любая неопределенность по поводу положения и скорости первого атома имеет тенденцию «заражать» второй атом, делая его положение и скорость более неопределенными и тем самым увеличивая его энтропию. Такое увеличение энтропии второго атома похоже на увеличение энтропии второго бита, описанного выше, когда этот бит был подвергнут операцией «условное не», где неизвестный бит выступал в роли управляющего.
Читать дальше
Конец ознакомительного отрывка
Купить книгу