Элементы теории информации

Предисловие ко второму изданию. Предисловие к первому изданию. Благодарности за второе издание. Благодарности за первое издание. 1. Введение и обзор. 1.1 Обзор книги. 2. Энтропия, относительная энтропия и взаимная информация. 2.1 Энтропия. 2.2 Совместная энтропия и условная энтропия. 2.3 Относительная энтропия и взаимная информация. 2.4 Связь между энтропией и взаимной информацией. 2.5 Цепные правила для энтропии, относительной энтропии и взаимной информации. 2.6 Неравенство Йенсена и его следствия. 2.7 Неравенство логарифмической суммы и его применения. 2.8 Неравенство обработки данных. 2.9 Достаточные статистики. 2.10 Неравенство Фано. Резюме. Задачи. Исторические примечания. 3. Асимптотическое свойство равнораспределённости. 3.1 Теорема об асимптотическом свойстве равнораспределённости. 3.2 Следствия AEP: сжатие данных. 3.3 Множества с высокой вероятностью и типичное множество. Резюме. Задачи. Исторические примечания. 4. Скорости энтропии случайного процесса. 4.1 Цепи Маркова. 4.2 Скорость энтропии. 4.3 Пример: скорость энтропии случайного блуждания на взвешенном графе. 4.4 Второй закон термодинамики. 4.5 Функции цепей Маркова. Резюме. Задачи. Исторические примечания. 5. Сжатие данных. 5.1 Примеры кодов. 5.2 Неравенство Крафта. 5.3 Оптимальные коды. 5.4 Границы длины оптимального кода. 5.5 Неравенство Крафта для однозначно декодируемых кодов. 5.6 Коды Хаффмана. 5.7 Некоторые замечания о кодах Хаффмана. 5.8 Оптимальность кодов Хаффмана. 5.9 Кодирование Шеннона—Фано—Элиаса. 5.10 Конкурентная оптимальность кода Шеннона. 5.11 Получение дискретных распределений с помощью честных монет. Резюме. Задачи. Исторические примечания. 6. Азартные игры и сжатие данных. 6.1 Скачки. 6.2 Азартные игры и побочная информация. 6.3 Зависимые скачки и скорость энтропии. 6.4 Энтропия английского языка. 6.5 Сжатие данных и азартные игры. 6.6 Оценка энтропии английского языка с помощью азартных игр. Резюме. Задачи. Исторические примечания. 7. Пропускная способность канала. 7.1 Примеры пропускной способности канала. 7.2 Симметричные каналы. 7.3 Свойства пропускной способности канала. 7.4 Обзор...