Теория кодирования и теория информации

  

Хэмминг Р. В. Теория кодирования и теория информации: Пер. с англ. — М.: Радио и связь, 1983. — 176 с.

Рассматриваются основы теории кодирования и передачи информации. Описываются свойства источника сообщения и каналов, дается классификация различных кодов. Особое внимание уделяется помехоустойчивым кодам с исправлением и с обнаружением ошибок. Приводятся примеры использования теории кодирования и теории информации.

Для инженерно-технических работников, специализирующихся в области передачи, хранения и обработки информации.



Оглавление

Предисловие редактора перевода
Глава 1. Введение
1.2. История
1.3. Модель системы передачи сигналов
1.4. Источник сообщений
1.5. Кодирование алфавита источника
1.6. Некоторые коды
1.7 КОД ASCII
1.8. Некоторые другие коды
1.9. Коды с основанием r
1.10. Служебные знаки
1.11. Краткое содержание книги
Глава 2. Коды с обнаружением ошибок
2.2. Простые проверки на четность
2.3. Коды с обнаружением ошибок
2.4. Независимые ошибки — белый шум
2.5. Повторная передача сообщения
2.6. Простые коды для обнаружения пакетов ошибок
2.7. Буквенно-цифровые коды — взвешенные коды
2.8. Обзор модулярной арифметики
2.9. Номера книг в системе ISBN
Глава 3. Коды с исправлением ошибок
3.2. Прямоугольные коды
3.3. Треугольные, кубические и n-мерные коды
3.4. Коды Хэмминга для исправления ошибок
3.5. Эквивалентные коды
3.6. Геометрический подход
3.7. Коды с исправлением одиночных ошибок и обнаружением двойных ошибок
3.8. Применение идей
3.9. Итоги
Глава 4. Неравномерные коды — коды Хаффмена
4.2. Однозначное декодирование
4.3. Мгновенные коды
4.4. Построение мгновенных кодов
4.5. Неравенство Крафта
4.6. Укороченные блочные коды
4.7. Неравенство Макмиллана
4.8. Коды Хаффмена
4.9. Частные случаи кодов Хаффмена
4.10. Расширения кода
4.11. Коды Хаффмена с основанием r
4.12. Шум в вероятностях кода Хаффмена
4.13. Использование кодов Хаффмена
4.14. Коды Хэмминга — Хаффмена
Глава 5. Другие полезные коды
5.2. Что такое марковский процесс?
5.3. Эргодические марковские процессы
5.4. Эффективное кодирование эргодического марковского процесса
5.5. Расширения марковского процесса
5.6. Кодирование с предсказанием
5.7. Кодер для кодирования с предсказанием
5.8. Декодер
5.9. Длины серий
5.10. Итоги рассмотрения кодирования с предсказанием
5.11. Что такое перемешивание?
5.12. Обработка столкновений
5.13. Удаление из таблицы
5.14. Итоги рассмотрения перемешивания
5.15. Цель кода Грея
5.16. Подробное представление кода Грея
5.17. Декодирование кода Грея
5.18. Другие коды
Глава 6. Энтропия и первая теорема Шеннона
6.2. Информация
6.3. Энтропия
6.4. Математические свойства энтропии
6.5. Энтропия и кодирование
6.6. Кодирование Шеннона — Фано
6.7. Насколько плохим является кодирование Шеннона — Фано?
6.8. Расширения кода
6.9. Примеры расширений
6.10. Энтропия марковского процесса
6.11. Пример марковского процесса
6.12. Смежная система
6.13. Итоги
Глава 7. Канал и взаимная информация
7.2. Информационный канал
7.3. Соотношения в канале
7.4. Двоичный симметричный канал
7.5. Энтропия системы
7.6. Взаимная информация
7.7. Теорема Шеннона для семейств кодов
Глава 8. Пропускная способность канала
8.2. Канал, симметричный по входу
8.3. Равномерный вход
8.4. Коды с исправлением ошибок
8.5. Пропускная способность двоичного симметричного канала
8.6. Условная взаимная информация
Глава 9. Предварительные математические сведения
9.2. Гамма-функция
9.3. Приближение Стерлинга для n!
9.4. Биномиальная оценка
9.5. Евклидово n-мерное пространство
9.6. Один парадокс
9.7. Неравенство Чебышева и дисперсия
9.8. Закон больших чисел
Глава 10. Основная теорема Шеннона
10.2. Решающие правила
10.3. Двоичный симметричный канал
10.4. Случайное кодирование
10.5. Средний случайный код
10.6. Общий случай
10.7. Оценка Фано
10.8. Обратная теорема Шеннона
Глава 11. Алгебраическая теория кодирования
11.2. Еще раз о кодах с проверкой на четность и с обнаружением ошибок
11.3. Еще раз о кодах Хэмминга
11.4. Еще раз о кодах с обнаружением двойных ошибок
11.5. Многочлены или векторы?
11.6. Простые многочлены
11.7. Примитивные корни
11.8. Один частный случай
11.9. Регистры сдвига для кодирования
11.10. Декодирование кодов с исправлением одиночных ошибок
11.11. Код с исправлением двойных ошибок
11.12. Декодирование кодов с исправлением кратных ошибок
11.13. Итоги
Приложение А. Ширина полосы и теорема отсчетов
А2. Интеграл Фурье
A3. Теорема отсчетов
А4. Ширина полосы и скорость изменения
А5. Амплитудная модуляция
А6. Частотная модуляция
А7. Импульсная модуляция
А8. Ширина полосы с общей точки зрения
Приложение Б. Некоторые таблицы для вычисления энтропии