Сезар Идальго - Как информация управляет миром

Однако интерпретацию понятий «энтропия» и «информация», которые появились в результате работы Шеннона, было трудно примирить с традиционным толкованием слов «информация» и «энтропия», возникшим в работе Больцмана. Конфликт между определением слова «информация», используемым Шенноном, и его разговорным значением, которое широко распространено и сегодня, легко понять, используя в качестве примера компьютеры. Подумайте о своем персональном компьютере. Будь то настольный компьютер, ноутбук или смартфон, вы используете его для хранения фотографий, документов и программного обеспечения. Вы считаете эти фотографии и документы «информацией» и, конечно, хорошо понимаете то, что эта информация хранится на жестком диске вашего устройства. Тем не менее, согласно Шеннону, если бы мы случайным образом перемешали все биты на жестком диске, удалив таким образом все ваши фотографии и документы, мы бы увеличили количество информации на жестком диске. Как это может быть? Дело в том, что определение термина «информация», предложенное Шенноном, учитывает только количество битов, необходимое для передачи сообщения о состоянии системы (в данном случае речь идет о последовательности битов, которые хранятся на вашем жестком диске). Поскольку нам требуется больше битов для создания сообщения о состоянии жесткого диска, полного случайных данных, чем о состоянии жесткого диска с фотографиями и документами, содержащими корреляции, позволяющие сжимать последовательности, определение Шеннона подразумевает то, что после перемешивания битов в случайном порядке на вашем жестком диске станет больше информации. Технически Шеннон прав, говоря о том, что нам необходимо большее количество битов для передачи сообщения о содержимом жесткого диска, наполненного случайными данными, чем о содержимом жесткого диска с фотографиями и документами. Однако теорию информации Шеннона, которая, по сути, представляет собой теорию коммуникативного инжиниринга, следует расширить, чтобы примирить ее с разговорным смыслом слова «информация» и работой Больцмана. В дополнение к работе Шеннона мне сначала нужно будет объяснить определение энтропии, которое возникло из работы Больцмана, а затем вывести определение, которое мы могли бы использовать для описания информационно насыщенных состояний, ассоциирующихся с компьютером, наполненным фотографиями и документами.

Чтобы понять разницу между определениями энтропии, используемыми Больцманом и Шенноном, рассмотрим наполовину заполненный стадион. [22]Одной важной характеристикой такого стадиона является то, что существует множество способов наполнить его наполовину, и путем исследования этих способов мы можем объяснить понятие энтропии.

Сначала мы рассмотрим случай, в котором люди могут беспрепятственно передвигаться по стадиону. При этом один из способов наполовину наполнить стадион сводится к тому, чтобы рассадить людей как можно ближе к полю, оставив все верхние ряды свободными. Другой способ предполагает размещение людей на дальних рядах (при этом нижние ряды останутся незанятыми). Тем не менее люди также могут заполнить полстадиона, заняв места случайным образом.

Теперь чтобы использовать пример со стадионом для объяснения понятия энтропии, мне нужно ввести еще две идеи. Во-первых, я буду называть каждую комбинацию из сидящих на стадионе людей состоянием системы (или, выражаясь технически, микросостоянием ). Во-вторых, я буду исходить из того, что мы можем определить эквивалентные конфигурации, используя некоторый критерий, который для целей данной иллюстрации может быть просто средним заполненным рядом.

В данном примере принятое в статистической физике определение энтропии соответствует просто доле всех эквивалентных состояний (на самом деле это логарифм доли, однако эта формальность не имеет отношения к тому, что я пытаюсь сказать). Таким образом, энтропия является наименьшей, когда люди сидят максимально близко или максимально далеко от поля, поскольку существует только один способ такого размещения людей. [23]Энтропия является наибольшей, когда средним из занятых рядов является центральный, поскольку существует много способов размещения людей на местах, при которых средним занятым рядом будет центральный. В предложенном Больцманом определении энтропия представляет собой множество эквивалентных состояний. В случае со стадионом наибольшее число эквивалентных состояний существует тогда, когда средним из заполненных рядов является центральный.