Главная > Разное > Теория кодирования и теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Глава 1. Введение

1.1. Краткая аннотация

Хотя в книге используются такие красивые слова как информация, передача и кодирование, при более близком рассмотрении оказывается, что они в действительности представляют лишь источник сообщений с символами Вначале ни о самих символах, ни о смысле, который в них может содержаться, ничего не говорится. Предполагается только, что они однозначно различимы.

Далее вводятся вероятности появления символов. Вопрос о том, как найти в абстрактную теорию не входит. Для каждого дискретного распределения вероятностей определено значение энтропии Функция зависящая от распределения вероятностей измеряет количество неопределенности, неожиданности или информации, содержащееся в распределении. Эта функция играет основную роль в теории и дает нижнюю границу для средней длины кода. В дальнейшем также рассматриваются более сложные вероятностные структуры, связанные с символами

Проблема представления символов алфавита источника с помощью другой системы символов (обычно двоичной, состоящей из символов и 1) составляет основную тему книги. Она сводится к следующим двум главным задачам.

1. Требуется представить символы источника так, чтобы их представления были в некотором смысле далеки друг от друга. В результате, несмотря на небольшие изменения (шум) этих представлений, изменившиеся символы могут быть опознаны как неправильные и, возможно, даже исправлены.

2. Для повышения эффективности требуется представить символы источника в некоторой минимальной форме. Тогда минимизируется средняя длина кода где длина представления символа Энтропия дает нижнюю границу для .

Таким образом, по существу, это — абстрактная математическая теория представления символов произвольного источника с помощью заданного алфавита (обычно двоичного). В этой теории нет передачи, хранения информации, шума, добавляемого к сигналу. Все это лишь красивые слова, используемые для мотивировки теории. Будем продолжать использовать их, но читатель не должен обманывать себя — предлагаемая теория является лишь теорией представления символов.

<< Предыдущий параграф Следующий параграф >>
Оглавление