Главная > Разное > Теория кодирования и теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

10.7. Оценка Фано

Для доказательства обращения теоремы Шеннона, утверждающего, что нельзя передавать сигналы со скоростью, превышающей

пропускную способность канала С, понадобится важная оценка, полученная Фано. Для простоты используем обозначение

где [см. равенство (10.2.5)].

Рассмотрим выражение

Неопределенность задаваемая равенством (7.5.4), выражается аналогичным образом

Вычитая из этого выражения равенство (10.7.1), получаем

Для того чтобы применить неравенство , следует перейти к логарифмам по основанию

Применим это неравенство к каждому слагаемому в сумме. Множитель выносится из каждого слагаемого в правой Оставшиеся члены в правой части дают

Отсюда следует важное неравенство Фано:

Заметим сначала, что при выводе неравенства Фано не использовалось никакое конкретное решающее правило, хотя вероятность ошибки зависит от решающего правила. Зададимся далее вопросом, когда (10.7.2) переходит в равенство? Равенство получается, когда т. е. при Поскольку соответствующее преобразование применялось в обеих суммах, это соответствует тому, что для всех всех для всех

Второе равенство, конечно, следует из первого, потому что для всех

<< Предыдущий параграф Следующий параграф >>
Оглавление