Главная > Разное > Теория кодирования и теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

6.10. Энтропия марковского процесса

В разд. 6.2 было введено понятие марковского процесса, которое позволяет учитывать некоторые структуры входного потока данных. В частности, марковские процессы учитывают зависимости между последовательными символами. Теперь найдем энтропию марковского процесса.

Какова вероятность того, что при заданных предыдущих символах следующим символом будет ? В математике эта условная вероятность обозначается следующим образом:

Отметим, еще раз, что последовательность символов будет такой:

Для марковского процесса нулевого порядка вероятности зависят только от символа и для них можно использовать прежнее обозначение Для марковского источника первого порядка существенны частоты пар символов алфавита.

Используя определение количества информации через неожиданность, получаем, что информация при приеме символа в предположении, что мы уже наблюдали символы равна

Условная энтропия источника с символами естественно задается выражением

Это выражение задает условную энтропию источника при условии, что наблюдалась последовательность символов

Рассмотрим теперь более общую систему, включающую вероятности появления состояний марковского процесса. Пусть вероятность нахождения в состоянии Тогда естественно определить энтропию марковской системы как сумму произведений вероятностей состояний на условные энтропии этих состояний, т. е. выражением

Используя приведенное выше определение условной энтропии, получаем

Так как

то энтропия марковского процесса

<< Предыдущий параграф Следующий параграф >>
Оглавление