Автор работы: Пользователь скрыл имя, 17 Апреля 2012 в 12:36, реферат
Основное внимание в теории информации уделяется определению средней скорости передачи информации и решению задачи максимизации этой скорости путем применения соответствующего кодирования. Предельные соотношения теории информации позволяют оценить эффективность различных систем связи и установить условия согласования в информационном отношении источника с каналом и канала с потребителем.
Энтропия – это среднее количество информации, приходящееся на одно сообщение источника.
Чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника.
Введение 3
1 Энтропия источника дискретных сообщений 4
1.1 Энтропия источника независимых сообщений 4
1.2 Энтропия источника зависимых сообщений 6
2 Избыточность источника сообщений 7
3 Связанные источники сообщений (объединения) 9
4 Энтропия непрерывного источника информации 13
Заключение 15
Список литературы 16