Основные энтропийные характеристики СПИ

 

 

4 Энтропия непрерывного источника информации

 

 

  Энтропия непрерывного источника информации бесконечна, т. к. неопределенность выбора из бесконечно большого числа возможных состояний бесконечно велика.   

Дифференциальная  энтропия — средняя информация непрерывного источника. Определяется как

 бит,

где  — плотность распределения сигнала непрерывного источника как случайной величины.

Условная  дифференциальная энтропия для величины X при заданной величине Y определяется следующей формулой:

бит.

Безусловная и условная дифференциальные энтропии могут быть как положительными, так  и отрицательными величинами, а также  могут быть равны бесконечности.

Для дифференциальной энтропии справедливы равенства, аналогичные  для энтропии дискретного источника:

(для независимых источников — равенство)

Дифференциальная  энтропия достигает своего максимума в случае гауссова распределения плотности вероятности сигнала непрерывного источника как случайной величины и равна

бит

Для равномерного распределения:

бит

Для распределения Лапласа

бит

Дифференциальная  энтропия обладает следующими свойствами:

1. Дифференциальная  энтропия в отличие от обычной энтропии дискретного источника не является мерой собственной информации, содержащейся в ансамбле значений случайной величины Х. Она зависит от масштаба Х и может принимать отрицательные значения. Информационный смысл имеет не сама дифференциальная энтропия, а разность двух дифференциальных энтропий, чем и объясняется ее название.

2. Дифференциальная  энтропия не меняется при изменении  всех возможных значений случайной  величины Х на постоянную величину. Действительно, масштаб Х при  этом не меняется и справедливо  равенство

Из этого  следует, что h(x) не зависит от математического ожидания случайной величины, т.к. изменяя все значения Х на С мы тем самым изменяем на С и ее среднее, то есть математическое ожидание.

3. Дифференциальная  энтропия аддитивна, то есть  для объединения ХY независимых случайный величин Х и Y справедливо: 
H(XY)= H(X) + H(Y).

 

 

 

Заключение

 

Задача передачи информации в теории информации является основной. Для ее решения необходимо определить количество информации. В основу определения меры количества информации заложен вероятностный подход.

Среднее количество информации в одном сообщении  называется энтропией. Чем больше энтропия, тем, в среднем, больше количество информации в сообщении.

Условием  оптимальной передачи информации является равновероятность сообщений, то есть максимальная энтропия, а значит и максимальное количество информации.

Информационные  возможности сигнала возрастают с расширением его спектра  и превышением его уровня над  уровнем помех.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Список литературы

 

1. Душин В.К. Теоретические основы информационных процессов и систем: Учебник. —  Издательско-торговая корпорация «Дашков  и К°», 2003.
2. Электронный учебник по циклу дисциплин информационного направления - кафедра Технической кибернетики и информатики Саратовского Государственного технического университета, 2006.
3. У. Томаси. Электронные системы связи. М.: Техносфера, 2007.
4. В. Столлингс. Передача данных 4-е издание. СпБ.: Питер, 2004.
5. Вернер М. Основы кодирования ( Information und Codierung).           пер. Д.К. Зигангирова — ЗАО «РИЦ „Техносфера“», 2004.