Елена Чернопрудова: Проектирование распределенных информационных систем

n – число разрядов (символов) в сообщении.

Поэтому в различных системах счисления один разряд имеет различный вес, и соответственно меняется единица измерения данных. Так, в двоичной системе счисления единицей измерения служит «бит» – двоичный разряд, в десятичной системе счисления – «дит», как десятичный разряд.

Например:

а) сообщение в двоичной системе 10111011 имеет объем данных V д= 8 бит;

б) сообщение в десятичной системе 275903 имеет объем данных V д= 6 дит.

В современной ЭВМ наряду с минимальной единицей данных «бит» широко используется укрупненная единица измерения «байт», равная 8 бит.

Определение количества информации на синтаксическом уровне невозможно без рассмотрения понятия неопределенности состояния системы (энтропии системы).

Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. До получения информации получатель мог иметь некоторые предварительные (априорные) сведения о системе ɑ. Мера неосведомленности о системе H (ɑ) и является для него мерой неопределенности состояния системы. После получения некоторого сообщения получатель приобретает некоторую дополнительную информацию I β(ɑ), уменьшающую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы становится равной H β(ɑ). Тогда количество информации I β(ɑ) о системе ɑ, полученное в сообщении β, определится как:

т. е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность H β(ɑ) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации станет равным:

Иными словами, энтропия системы H (ɑ) может рассматриваться как мера недостающей информации. Энтропия системы H (ɑ), имеющей N возможных состояний согласно формуле ШЕННОНА, равна:

где P i– вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, ее энтропия определяется по формуле:

Рассмотрим пример. По каналу связи передается n- разрядное сообщение, использующее m различных символов.

Так как количество всевозможных кодовых комбинаций определяется по формуле N = m n, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет определяться по формуле ХАРТЛИ:

Если в качестве основания логарифма принять m, то формула упростится и количество информации станет равным:

В данном случае количество информации (при условии полного априорного незнания абонентном содержания сообщения) будет равно объему данных I = V д, полученных по каналу связи.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно «бит» и «дит».

Степень информативности сообщения определяется отношением количества информации к объему данных, т.е.

где: Y – характеризует лаконичность сообщения.

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.

Семантическая мера информации.

Синтаксические меры количества информации в общем случае не могут быть непосредственно использованы для измерения смыслового содержания, ибо имеют дело с обезличенной информацией, не выражающей смыслового отношения к объекту.

Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне наибольшее признание получила тезаурусная мера информации, предложенная Ю.И. ШНЕЙДЕРОМ. Он связывает семантические свойства информации прежде всего со способностью пользователя принимать поступившее сообщение. Используется понятие «тезаурус пользователя». Тезаурус можно трактовать как совокупность сведений, которыми располагает данная система, пользователь.

В зависимости от соотношений между смысловым содержанием информации Ŝ и тезаурусом пользователя S nизменяется количество семантической информации J c, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. При S n≈ 0 пользователь не воспринимает, не понимает поступающую информацию; при S n→∞ пользователь все знает, и поступающая информация ему не нужна: и в том, и в другом случае J c≈0. Максимальное значение J cприобретает при согласовании Ŝ c тезаурусом S n(S n –S n opt), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения ( рисунок 1.9).