Роман Бабкин - Информационный Завет. Основы. Футурологическое исследование

Клод Шеннон предложил считать информационную энтропию и собственно информацию в битах.

Может показаться, что использование бинарного кода – ненужная сложность. Напротив, это очень удобно.

Когда, например, говорят, что общий информационный объём (абсолютная энтропия) сообщения равен 10 битам, это означает, что существует 1024 возможных комбинаций символов, из которых может быть составлено сообщение. Допустим, чтобы составить какое-либо сообщение, имеющее смысл, нам достаточно информации в количестве 4 бита (фактическая энтропия). Это значит, что всего есть 16 (2 4) комбинаций, необходимых для того, чтобы собеседники понимали друг друга. Все остальные комбинации символов – бесполезная белиберда.

Как вычислить эту белиберду? Шеннон нашёл простое решение: из абсолютной энтропии надо вычесть фактическую. Это и будет избыточностью ( redundancy ) данного сообщения. Таким образом, математик предложил объяснение буквенно-фонетической избыточности, которую мы обсудим в следующей главе.

Исследования Гарри Найквиста, обосновывающие порционную (дискретную) обработку информации, получили продолжение в работах Клода Шеннона и были обобщены им в теорему дискретизации ( sampling theorem ). Идее о том, что любую информацию из непрерывного потока можно превратить в дискретные (например, цифровые) сигналы, а потом – восстановить обратно, Шеннон придал строгую математическую форму 28 .

Процедура цифровой обработки сигналов ( digital signal processing ), ставшая в наши дни рутинной, целиком подчинена теореме дискретизации. А все системы связи конструируются с учётом положений теории информации.

Идеи Клода Шеннона послужили триггером для некоторых научных теорий, включая, например, теорию Колмогрова-Арнольда-Мозера или просто КАМ ( Kolmogorov-Arnold-Moser (KAM) theory ) – в чём честно признавался один из её авторов 19 .

Рядовой международный симпозиум, состоявшийся в 1985 году в Брайтоне и посвященный проблемам информационного обмена, не предвещал никаких сюрпризов. Инженеры, программисты, математики собрались обсудить текущие научные вопросы. Но деловой настрой развеялся, когда внезапно на форуме был замечен Клод Шеннон.

Преодолев неприязнь к публичным мероприятиям, создатель теории информации всё-таки появился в профессиональном сообществе. Симпозиум мигом преобразился в его бенефис. Вежливо, но настойчиво расталкивая друг друга, информационщки пробивались к скромной фигуре выдающегося математика. Чтобы взять автограф. Чтобы пообщаться и улыбнуться тому, кто открыл новый путь и сделал по нему первые шаги. Этот путь – научное познание информации.

Меньше, чем за сотню лет, был проделан путь, наполненный парадоксами и гениальными догадками. Венец пути – теория информации как «математическое доказательство» бытия информационного человека.

«Демон Максвелла»: информация – такая же фундаментальная величина, как и энергия.

H -теорема Больцмана: логарифмическая зависимость энтропии от вероятности обнаружения элемента системы.

«Дактилографическое чудо» Бореля: проблема различения полезной и бесполезной информации.

Частота Найквиста: предположение о соотношении полезной информации и шума в канале передачи.

Формула Хартли: мера информации – количество шагов, которые необходимо сделать, чтобы отразить минимальный смысл.

Машина Тьюринга: концепция вычислительного устройства, эффективно перерабатывающего любую информацию в соответствие с алгоритмом.

Архитектура фон Неймана: принципы работы вычислительного устройства, включая двоичный код как систему записи информации.

Математическая теория информации Шеннона: расчёт объёма информации и информационной энтропии, понятие избыточности языковых систем.

Хорошая теория порождает хорошие инструменты. Математическая теория информации выдержала проверку временем. По моему мнению, её прямыми и косвенными следствиями являются:

1 . Мы сами и всё вокруг нас – информация.

Всякое сложное явление (природное, социальное) может быть рассмотрено как информационная система или как взаимодействие таких систем.

2 . Информацию можно посчитать и организовать.

Всякое количество информации характеризуется степенью упорядоченности, которую можно вычислить.

3 . Информацию можно сжать.

В любом объёме информации присутствует избыточность, устранение которой помогает выделить смысл. Чем больше смысла можно вместить в единицу объёма за единицу времени, тем выше скорость передачи информации.