Главная > Разное > Теория кодирования и теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Глава 8. Пропускная способность канала

8.1. Определение пропускной способности канала

Пусть заданы условные вероятности определяющие канал. Чему равно наибольшее количество информации, которое можно передать по такому каналу? Этот вопрос является основным в данной главе.

Взаимная информация связывает оба конца канала. Она определяется равенством (7.6.8).

где неопределенность источника до приема В, а неопределенность источника после приема В. Таким образом, выражает изменение количества информации. Другое выражение для задается соотношением (7.6.7)

в котором опущены индексы и очевидным образом обозначены Множества, по которым производится суммирование.

В соотношение входят частоты входных символов примере двоичного симметричного канала было показано (см разд. 7.4), что неудачный выбор для данного канала может сделать бессмысленной работу. Ясно, например, что если вероятность одного из символов равна 1, то вероятность всех други равна 0, а постоянный сигнал не содержит информации. Как выбрать значения при которых по каналу передается наибольшее количество информации, и чему оно равно?

Отложим задачу выбора и используем следующий стандартный математический прием: определим пропускную способность канала как максимальное количество информации по всем возможным выборам

При таком определении пропускная способность зависит только от а нахождение соответствующего распределения откладывается на более позднее время. Вероятности определяются по с помощью соотношений (7.3.1). При этом не возникает вопроса, как получить взаимную информацию, превосходящую пропускную способность канала С, поскольку по определению С является максимальным значением информации.

<< Предыдущий параграф Следующий параграф >>
Оглавление