Основные понятия теории вероятностей: вероятность наступления случайного события, закон распределения и числовые характеристики случа

1.  Основные понятия  теории вероятностей: вероятность  наступления случайного события,  закон распределения и числовые  характеристики случайной величины.

 

Теория вероятности изучает  возможность появления случайных  событий и связанные с этим численные характеристики. События  бывают: Достоверные – которые  всегда происходят при определ условиях (вода кипит при 100град). Невозможные  – кот при определ условиях не происходят (вода при +10 замерзла). Случайные  – которые при определенных условиях происходят или не происходят.

Основной числовой характеристикой, определяющей возможность появления  случайного события, является вероятность появления события. 

Случайной величиной (св) называется величина, которая при проведении опыта принимает числовое значение, заранее неизвестно какое. Те значения, которые св может принимать, образуют множество ее возможных значений (обычно это множество хорошо известно). Св Х называется дискретной (дсв), если множество ее известных значений счетно, т.е. значения св можно пронумеровать (н-р, х₁, х₂, …, х_n). Дсв полностью задается своим рядом распределения.

Закон распределения – соотношение, позволяющее определить вероятность появления св в любом интервале. Основными формами закона распределения являются: ряд распределения, функция распределения и плотность распределения.

Ряд распределения – это таблица из двух строк, в верхней из которых перечисляются все возможные значения дсв, а в нижней проставлены вероятности, с которыми дсв эти значения принимают. Ряд распределения содержит исчерпывающую информацию о св.

Сумма всех вероятностей в ряду распределения =1, т.к. при проведении опыта св всегда принимает какое-либо значение (Р(ХÎW)=1). Дсв каждое свое значение принимает с ненулевой вероятностью.

Функция распределения св F(x) – функция аргумента х, равная вероятности того, что случайная величина Х примет любое значение, меньшее х. Вероятность попадания св в интервал [a,b) равна разности значений функции распределения в точках a,b: P(a<x<b)=F(b)-F(a). Функция распределения – неубывающая величина в интервале от 0 до1, может иметь разрывы, увеличивается скачками. Между двумя соседними значениями св Х функция F(x) постоянна.

Плотность распределения f(x) – есть предел отношения вероятности попадания случайной величины на малый участок и длины этого участка при неограниченном уменьшении.

Числовые  характеристики св:

1. Среднее значение (математическое ожидание) – характеризует положение св, т.е. представляет собой такую величину, относительно которой к-л.о. группируются всевозможные значения св. х_{i –} возможные значения величины Х, р_{i –} вероятность появления i-го возможного значения св Х
2. Медиана Ме св – величина, относительно которой равновероятно получение большего или меньшего значения св: Р(X>Me)=P(X<Me) Медиану применяют в качестве характеристики ряда распределения в тех случаях, когда имеются большие колебания св.
3. Мода Мо – значение св, обладающее наибольшей вероятностью. Для непрерывной св мода – значение с наибольшей плотностью вероятности.

Для оценки степени разброса св вычисляют:

4. Дисперсия s_x²– математическое ожидание квадрата отклонений св от своего математического ожидания: D_x = s_x²=M[(X-m_x)²]. Чем больше дисперсия, тем больше разброс св относительно среднего значения.

 

5. Среднеквадратическое отклонение s_x – положительное значение корня квадратного из дисперсии.

Дисперсия и среднеквадратическое отклонение недостаточно характеризуют  с уровень рассеивания. Дополнительно  считают коэффициент вариации.

6. Коэффициент вариации V (относительная характеристика) – отношение среднего квадратического отклонения к эмпирической средней:

Коэффициент вариации используется для сравнения меры рассеивания (колеблемости) св, имеющих различную  размерность.

 

2.  Сущность вероятностного  подхода к определению количества  информации, содержащейся в экономической  системе.

 

Для измерения инф вводятся два  параметра: количество информации I и объем данных Vд.

Эти параметры имеют разные выражения  и интерпретацию в зависимости  от рассматриваемой формы адекватности. Каждой форме адекватности соответствует своя мера количества информации и объема данных (см.рис.).

Синтаксическая мера информации – это мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных V_д в сообщении измеряется количеством символов (разрядов) в этом сообщении.

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Пусть до получения информации потребитель имеет сведения о системе a. Мерой его неосведомленности о системе является функция Н(a), которая в то же время служит и мерой неопределенности состояния системы. После получения некоторого сообщения b получатель приобрел дополнительную информацию I_b(a), уменьшившую его неосведомленность так, что неопределенность состояния системы стала H_b(a). Тогда количество инф I_b(a) о системе, полученной в сообщении b, определится как I_b(a) = H(a) - H_b(a), т.е. количество инф измеряется изменением (уменьшением) неопределенности состояния системы.

Иными словами, энтропия системы H(a) может рассматриваться как мера недостающей информации.

Энтропия системы H(a), имеющая N возможных состояний, согласно формуле Шеннона,

равна:              

            где Р_i — вероятн того, что система находится в i-м состоянии.

 

 

 

Для случая, когда все состояния  системы равновероятны, т.е. их вероятности  равны P_i = 1 / N, ее энтропия определяется соотношением

Часто информация кодируется числовыми  кодами в той или иной системе  счисления, тогда разное число состояний  отображаемого объекта можно  представить в виде соотношения N=mⁿ, где т — основание системы счисления;  п — число разрядов (символов) в сообщении.

 

 

Семантическая мера информации. Для измерения смыслового содержания информации наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя. Тезаурус — это совокупность сведений, которыми располагает пользователь или система. Максимальное количество семантической информации 1_С потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом S_p, когда поступающая информация понятна пользователю и несет ему ранее не известные сведения.

Относительной мерой количества семантической  информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему: C = I_c / V_д

Прагматическая мера информации

Эта мера определяет полезность информации (ценность) для достижения пользователем  поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.

Пример. В экономической системе прагматические свойства (ценность) информации можно определить приростом экономического эффекта функционирования, достигнутым благодаря использованию этой информации для управления системой:

I_nb(g) = П(g / b) - П(g)

где I_nb(g) - ценность информационного сообщения Р для системы управления g;

П(g) - ожидаемый экономический эффект функционирования системы управления g;

П(g / b) - ожидаемый эффект функционирования системы у при условии, что для управления будет использована информация, содержащаяся в сообщении b.

2.  Сущность вероятностного  подхода к определению количества  информации, содержащейся в экономической  системе.

 

Для измерения инф вводятся два  параметра: количество информации I и объем данных Vд.

Эти параметры имеют разные выражения  и интерпретацию в зависимости  от рассматриваемой формы адекватности. Каждой форме адекватности соответствует своя мера количества информации и объема данных Синтаксическая мера информации – это мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных V_д в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

• в двоичной системе счисления единица измерения — бит (bit — binary digit — двоичный разряд);
• в десятичной системе счисления единица измерения — дит (десятичный разряд).

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе a. Мерой его неосведомленности о системе является функция Н(a), которая в то же время служит и мерой неопределенности состояния системы. После получения некоторого сообщения b получатель приобрел некоторую дополнительную информацию I_b(a), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала H_b(a).

Тогда количество инф I_b(a) о системе, полученной в сообщении b, определится как I_b(a) = H(a) - H_b(a), т.е. количество инф измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность H_b(a) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I_b(a) = H(a) . Иными словами, энтропия системы H(a) может рассматриваться как мера недостающей информации.

Энтропия системы H(a), имеющая N возможных состояний, согласно формуле Шеннона,

равна:

 

 

где Р_i — вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния  системы равновероятны, т.е. их вероятности  равны P_i = 1 / N, ее энтропия определяется соотношением

 

Часто информация кодируется числовыми кодами в той  или иной системе счисления, особенно это актуально при представлении  информации в компьютере.

 

 

 

 Естественно, что одно и  то же количество разрядов  в разных системах счисления  может передать разное число  состояний отображаемого объекта,  что можно представить в виде  соотношения N=mⁿ, где N — число всевозможных отображаемых состояний; т — основание системы счисления (разнообразие символов, применяемых в алфавите);  п — число разрядов (символов) в сообщении.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами  измерения в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.  Y = I / V_д, причем  0<Y<1.

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования нформации.

Семантическая мера информации. Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя. Тезаурус — это совокупность сведений, которыми располагает пользователь или система.

В зависимости от соотношений между  смысловым содержанием информации S и тезаурусом пользователя S_p изменяется количество семантической информации I_c, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рисунке.

 Рассмотрим два предельных  случая, когда количество семантической информации 1_С равно 0:

• при Sp « 0 пользователь не воспринимает, не понимает поступающую информацию;
• при Sp-*°° пользователь все знает, и поступающая информация ему не нужна.

 

 

I_c

 

 

S_p

 

 

S_p opt

                  Ic

 

 

 

 

Sopt  Sp

Рис. Зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса I_c=f(S_P)

Максимальное количество семантической  информации 1_С потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом S_p (S_p = S_popt), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения.

Следовательно, количество семантической  информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь  смысловое содержание для компетентного  пользователя и быть бессмысленным (семантический шум) для пользователя некомпетентного.

При оценке семантического (содержательного) аспекта информации необходимо стремиться к согласованию величин S и S_p.

Относительной мерой количества семантической  информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему: C = I_c / V_д

 

Прагматическая мера информации

Эта мера определяет полезность информации (ценность) для достижения пользователем  поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.