Введение в теорию информации
Год выпуска: 2015
Производитель: lektorium.tv
Сайт производителя: www.lektorium.tv
Автор: Андрей Ромащенко
Продолжительность: 14:50:56
Тип раздаваемого материала: Видеоурок
Язык: Русский
Описание:
Сколько информации содержится в генетическом коде человека? Какова взаимная информация между текстами романов “Война и мир” и “Анна Каренина”?
Чтобы попытаться ответить на эти вопросы (или хотя бы понять, есть в них какой-то смысл), нужно уточнить понятие “количество информации”. Математики и инженеры в разных контекстах используют разные определения информации: комбинаторное определение информации по Хартли, вероятностное определение энтропии Шеннона, алгоритмическое определение сложности по Колмогорову.
В курсе мы изучим эти определения и обсудим их области применения:
- сжатие данных, передача информации в каналах без шума;
- передача информации в дискретных и непрерывных каналах с шумом;
- шифрование с точки зрения теории информации; задача разделения секрета;
- информационные неравенства; приложения теории информации в комбинаторике;
- оптимальный поиск: энтропийные нижние оценки и энтропийные эвристики;
- колмогоровская сложность и метод несжимаемых объектов;
- колмогоровская сложность в нижних оценках сложности вычислений;
- коммуникационная сложность, детерминированные и вероятностные протоколы; информационная сложность.
Содержание
Лекция 1. Комбинаторный подход к определению понятия информации, информация по Хартли.
Лекция 2. Вероятностный подход к определению понятия информации, информация по Шеннону.
Лекция 3. Вокруг теоремы Шеннона об оптимальном кодировании.
Лекция 4. Блоковое кодирование.
Лекция 5. Энтропийные профили наборов случайных величин и информационные неравенства.
Лекция 6. Энтропия в классической криптографии.
Лекция 7. Колмогоровская сложность.
Лекция 8. Приложения колмогоровской сложности.
Лекция 9. Случайность по Мартин-Лёфу.
Лекция 10. Коммуникационная сложность.
Файлы примеров: не предусмотрены
Формат видео: MP4
Видео: AVC, 1920x1080 16:9 25fps 125 Kbps
Аудио: AAC 44 kHz 125 Kbps 2 channels
