Сезар Идальго - Как информация управляет миром

Следует отметить, что энтропия, которая обычно ассоциируется с беспорядком, не является мерой беспорядка. Энтропия – это мера множества состояний (количества эквивалентных состояний). Тем не менее неупорядоченных состояний, как правило, бывает больше, поэтому на практике состояния высокой энтропии, скорее всего, будут неупорядоченными. Именно поэтому приравнивание беспорядка к энтропии не является таким уж неудачным упрощением. Однако увеличение энтропии может не сопровождаться увеличением беспорядка. Рассмотрим случай с расширением газа в коробке, которая удваивается в размере (или распространение людей по стадиону, увеличивающемуся в два раза). Энтропия газа увеличивается с размером коробки, поскольку в коробке большего размера существует больше вариантов организации частиц газа. Тем не менее газ в большей коробке не является более неупорядоченным, чем газ в меньшей коробке.

Шеннон был заинтересован в передаче микросостояния системы, например отдельного твита или расположения сидящих на нашем гипотетическом стадионе людей, поэтому он приравнял понятие информации к понятию энтропии, часто используя эти слова как синонимы. Передача сообщения об одном микросостоянии, в котором средним из занятых рядов является центральный, требует больше бит, так как при этом условии существует множество эквивалентных микросостояний, поэтому для передачи данных о некотором микросостоянии требуется создать очень конкретное сообщение. Таким образом, на языке Шеннона понятия информации и энтропии функционально эквивалентны, поскольку количество битов, необходимых для создания сообщения (информация по Шеннону), представляет собой функцию от числа возможных сообщений, которые могут быть переданы (множество состояний, которое мы понимаем как энтропию). Но, это не делает энтропию и информацию одним и тем же. Лауреат Нобелевской премии по химии 1967 года Манфред Эйген заметил: «Энтропия относится к среднему (физическому) состоянию, а информация – к конкретному (физическому) состоянию». [24]

Однако тот факт, что нам требуется больше битов для передачи сообщения о состоянии, в котором каждый человек случайно выбрал место на стадионе или в котором биты на жестком диске были случайным образом перемешаны, не означает, что эти состояния заключают в себе больше порядка или информации. Информация подразумевает увеличение количества битов, но это еще не все. В примере со стадионом множество состояний, при которых люди выбрали места случайно, характеризуется наивысшим значением энтропии, но при этом самым низким значением упорядоченности (хотя некоторые из этих состояний могут быть весьма упорядоченными). В самом деле, в области естественных наук и среди широкой общественности давно существует традиция приравнивания понятия информации к чему-то большему, чем биты, к тому, что подразумевает порядок. Подумайте о генетиках, разговаривающих об информации, содержащейся в ДНК, или об информации, содержащейся в музыкальных партитурах, на катушке пленки или в книге. В данных примерах слово «информация» говорит о присутствии порядка, а не только о количестве битов, необходимых для передачи сообщения о генетической последовательности, книги или нот.

Однако упорядоченные состояния являются редкими и своеобразными. Сначала я объясню, что я имею в виду под словом «редкий» в данном контексте. Далее я объясню своеобразие информационно насыщенных состояний, которое подразумевает корреляции, придающие слову «информация» его широко распространенный разговорный смысл.

Чтобы объяснить редкость упорядоченных состояний, я расширю пример со стадионом до того, что описывал Больцман в контексте атомов. Предположим, что стадион наполовину полон, но люди не могут свободно передвигаться. Теперь разрешены только те состояния, в которых средним из занимаемых рядов является центральный. В случае с физической системой это равносильно фиксированию энергии системы. Тем не менее, поскольку существует много различных состояний, в которых средним из занятых рядов является центральный, система по-прежнему предоставляет на выбор множество вариантов. Большинство этих состояний являются достаточно случайными. Другие, однако, весьма своеобразны. Люди на стадионе могут действовать подобно пикселам на экране, поэтому в некоторых из этих состояний комбинации сидящих людей могут образовывать такие слова, как «информация», или изображения лица. Однако насколько часто встречаются такие своеобразные состояния?