Мера количества информации. Единица количества информации. Количество информации в сообщении.

В теории информации изучаются количественные зако­номерности передачи, хранения и обработки информации.

Основное внимание в теории информации уделяется определению средней скорости передачи информации и решению задачи максимизации этой скорости путем применения соответствующего кодирования Предельные соотношения теории информации позволяют оценить эффективность различных систем связи и установить условия согласования в информационном отношении источника с каналом и канала с потребителем.

Для исследования этих вопросов с общих позиций необходимо прежде всего установить универсальную количественную меру информации, не зависящую от конкретной физической природы передаваемых сообщений. Когда принимается сообщение о каком-либо событии, то наши знания о нем изменяются. Мы получаем при этом некоторую информацию об этом событии. Сообщение о хорошо известном нам событии, очевидно, никакой информации не несет.

Напротив, сообщение о малоизвестном событии несет много информации. Таким образом, количество информации в сообщении о некотором событии существенно зависит от вероятности этого события. Вероятностный подход и положен в основу определения меры количества информации. Для количественного определения информации  можно использовать монотонно убывающую функцию вероятности F[P(a)] , где Р(а) - вероятность 1сообщения Простейшей из них является функцияF=1/ P(a), которая характеризует меру неожиданности (неопределенности) сообщения. Но удобнее исчислять количество информации в логарифмических единицах, т. е. определять количество информации в отдельно взятом сообщении как

  (1)

Так как 0< Р(а) < 1, то J(а) - величина всегда положительная и конечная. При Р(а) = 1 количество информации равно 0, т. е. сообщение об известном событии никакой информации не несет. Логарифмическая мера обладает естественным в данном случае свойством аддитивности, согласно которому количество информации, содержащееся в нескольких независимых сообщениях, равно сумме количества информации в каждом из них. Действительно, так как совместная вероятность nнезависимых сообщений Р(а₁, a₂,..., а_n ) = = Р(а₁)• Р(а₂ )...Р(а_n ), то количество информации в этих сообщениях равно:

(2)

Чаще всего принимают к= 2, и тогда количество информации выражается в двоичных единицах:  J(a)= - log₂P(a), дв.ед.

Двоичную единицу называют бит. Слово бит произошло от выражения binary digit (двоичная цифра). В двоичных системах передачи информации используется два символа, условно обозначаемых 0 и 1. В таких системах при независимых и равновероятных символах, когда Р(0) = Р(1) =¹/₂, каждый из них несет одну двоичную единицу информации: J= - log₂ P(0) = -log₂ P(1) = - log₂( ½) = 1 дв.ед./символ

Формула (1) позволяет вычислять количество информации в сообщениях, вероятность которых отлична от нуля. Это, в свою очередь, предполагает, что сообщения дискретны, а их число ограниченно. В таком случае принято говорить об ансамбле сообщений, который описывается совокупностью возможных сообщений и их вероятностей:

    a₁, а₂, …, a_m           

    P(a₁), P(a₂), …, P(a_n )       (5)

 Ансамбль сообщений образует полную группу событий, поэтому всегда:  

Если все сообщения равновероятны:  J(a) = - log P(a) – log m  (6), то количество информации в каждом из них определяется величиной:  J(a)= – log P(a) = log m.

Отсюда следует, что количество информации в сообщении зависит от ансамбля, из которого оно выбрано. До передачи сообщения имеется неопределенность относительно того, какое из m-сообщений ансамбля будет передано. После приема сообщения эта неопределенность снижается. Очевидно, чем больше m, тем больше

неопределенность и тем большее количество информации содержится в переданном сообщении.

В общем случае при передаче сообщений неопределенность снимается не полностью. Так, в канале с шумами возможны ошибки. По принятому сигналу v только с некоторой вероятностью P(a/υ) < 1 можно судить о том, что было передано сообщение а. Поэтому после получения сообщения остается некоторая неопределенность, характеризуемая вели­чиной апостериорной вероятности Р(а/ υ), а количество информации, содержащееся в сигнале υ, определяется степенью уменьшения неопределенности при его приеме. Если Р(а) - априорная вероятность, то количество информации в принятом сигнале относительно переданного сообщения а, очевидно, будет равно:

(9)

Это выражение можно рассматривать также как разность между количеством информации, поступившим от источника сообщений, и тем количеством информации, которое потеряно в канале за счет действия шумов.