Главная > Разное > Теория кодирования и теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

6.2. Информация

Пусть задан алфавит источника, состоящий из символов и соответствующие вероятности Сколько информации поступает при приеме одного из этих символов? Если, например, (а остальные равны,

очевидно, 0), то никакой неожиданности, никакой информации нет, поскольку заранее известно, каким должно быть сообщение. Если вероятности сильно отличаются друг от друга, то появление маловероятного символа является более неожиданным и при этом получается большее количество информации, чем при появлении высоковероятного символа. Таким образом, в некотором смысле информация образца вероятности появления.

Представляется естественным, что удивление аддитивно; информация от двух различных независимых символов равна сумме информаций от каждого из них в отдельности. Поскольку для получения вероятности составного события нужно перемножить вероятности двух независимых событий, количество информации естественно определить как Поэтому в результате имеем

Эта формула показывает, что произведение вероятностей соответствует сумме информаций. Таким образом, определение согласовано с многими нашими представлениями о том, чем должна быть информация.

Понятия неопределенность, неожиданность и информация связаны между собой. Прежде чем событие (эксперимент, прием символа сообщения и т. д.) произойдет, имеется количество неопределенности; когда событие происходит, возникает количество неожиданности; после того как оно произошло, имеется выигрыш в количестве информации. Все эти величины равны между собой.

Такое определение является техническим, основанным на вероятностях, а не на смысле, который могут нести символы для человека, принимающего сообщение. Этот факт сильно смущает тех, кто смотрит на теорию информации со стороны; они не понимают, что это в высшей мере техническое определение включает в себя лишь часть того разнообразия, которое содержится в обычном понятии информации.

Для того чтобы увидеть, в чем это определение противоречит здравому смыслу, зададим следующий вопрос: «Какая книга содержит больше всего информации? Вопрос, конечно, нужно стандартизировать, указав размер книги, страницы и тип шрифта, а также множество используемых знаков (алфавит). После этого, ответ, очевидно, будет таким: «Больше всего информации содержит книга, текст которой является полностью случайным!» Каждый новый символ должен быть абсолютно неожиданным (обоснование этого утверждения содержится в разд. 6.4).

Какое основание логарифма следует использовать? Ответ на этот вопрос определяется лишь из соображений удобства; поскольку все логарифмы пропорциональны, друг другу. Это непосредственно вытекает из основного соотношения

Удобно использовать логарифмы по основанию 2; получающаяся единица информации называется битом (двоичной единицей). В случае основания (его приходится использовать при некоторых. аналитических рассмотрениях) единица информации называется натом. Наконец, иногда применяется основание 10 и соответствующая единица называется Хартли в честь Р. В. Л. Хартли, который первым предложил логарифмическую меру информации.

- Слово бит имеет в книге два различных смысла; обозначает цифры в двоичной системе представления чисел и единицы информации; Эти понятия не совпадают, и в случаях, когда рассматривается информационная задача и возможна путаница, следует говорить о бите информации.

Одно основание логарифма легко перевести в другое, поскольку

<< Предыдущий параграф Следующий параграф >>
Оглавление