Теория вероятности и математическая статистика
Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции:
.
Дифференцируя по p1, p2, ..., ps и приравнивая производные нулю получим систему:
i=1, ..., s
Откуда видно, что экстремум достигается при равных между собой p1.
Т.к.
, то p1= p2=, ..., = ps= 1/s.
Еденицей измерения энтропии является энтропия вероятностного пространства вида: ![]()
, которая называется 1 бит.
Неопределенность исхода испытания до испытания автоматически определяет информативность исхода испытания после испытания. Поэтому в битах также измеряется информативность исхода.
Рассмотрим два вероятностных пространства:

Проводим композицию двух испытаний. Композиционное пространство имеет вид:
i=1, ..., s1 j=1, ..., s2
С точки зрения качественного анализа максимальная энтропия композиционного вероятностного пространства достигается тогда, когда испытания независимы. Найдем энтропию композиционного пространства для случая независимых испытаний.
![]()
![]()
Биномиальное распределение.
n испытаний называются системой испытаний Бернулли, если испытания независимы, в каждом из них происходит событие
, либо
с вероятностью наступления P(A) = p; ![]()
Найдем вероятность того, что в результате проведенных n испытаний событие А произошло m раз:
![]()
Рассмотрим композицию n независимых испытаний и построим композиционное пространство элементарных событий.
Общий вид элемента этого пространства следующий:
![]()
|
где |
|
При этом вероятность наступления такого события равна:
(умножение при независимых событиях)![]()
Найдем вероятность наступления любого элементарного события из композиционного пространства:
![]()
Рассмотрим в композиционном вероятностном пространстве событие: в n испытаниях событие A произошло m раз.
Событие A состоит из
- общее кол-во элементарных событий, в которое входит событие А. А произошло m раз,
- n-m раз. Вероятность каждого из этих элементарных событий одинакова и равна:
![]()
Следовательно, на основании III аксиомы теории вероятности результат равняется:
(сложение вероятностей)
![]()
Случайная величина
Пусть имеется вероятностное пространство вида
.
Случайной величиной называется измеримая числовая скалярная функция
, элементами которой являются элементарные события.
Числовая скалярная функция - это функция, удовлетворяющая следующему условию:
событие
- алгебре и, следовательно, имеет вероятность наступления.
Если произведено испытание, в результате которого произошло некоторое элементарное событие
. В соответствии с функцией
этому элементарному событию соответствует число, которое называется реализацией случайной величины x в данном испытании.
В соответствии с определением случайной величины вводится числовая скалярная функция F(x),
, определенная для каждого действительного x и по определению равная вероятности наступления события:
![]()
Эта функция называется функцией распределения случайной величины
.
Рассмотрим три события:

где a<b, a, b - действительные числа.
Свойства:
![]()
Покажем, что из факта
A2 -алгебре
A1 -алгебре
и равенства
следует, что A3 .
![]()
По определению -алгебры A3 измерима, поэтому можно принять III аксиому теории вероятности:

F(x) - неубывающая функция
Если x<y, то
![]()
т.к.
, то преобразования верны.
Для всех технических приложений функцию распределения можно считать направленной слева.
В силу того, что функция распределения не убывает, она однозначно задает стчетно-аддитивную меру на поле, порожденном всеми полуинтервалами ненулевой длины.
По введенному полю построим борелевскую алгебру. Обозначим ее . Возьмем произвольное число B не принадлежащее полю. Это точка или сегмент. Т.к. множество
получено с помощью счетной суммы или счетного пересечения множеств принадлежащих -алгебре, то и это множество принадлежит -алгебре и, следовательно, существует вероятность наступления события B. Следовательно, имеет место следующее эквивалентное определение измеримой функции.
Функция
называется измеримой, если для любого BО множество
алгебре
где ![]()
множество, полученное следующим образом:
![]()
Функция g(x) называется борелевской функцией, если для любого B множество
![]()
Борелевская функция - функция, определяемая на системе борелевских множеств.
В функциональном анализе показано, что все известные аналитические функции являются борелевскими.
ТЕОРЕМА:
Пусть g(x) борелевская функция,
- случайная величина, т.е. измеримая функция. Тогда функция
![]()
является измеримой и, следовательно, случайной величиной.
Берем произвольное B.
по определению борелевской функции.
Рассмотрим множество
![]()
т.к.
измеримая функция и
, то A-алгебре
Следовательно, функция
- измеримая функция, т.е. случайная величина.
Теорема Колмогорова
Любая числовая скалярная функция, которая удовлетворяет свойствам, которым удовлетворяет функция распределения, является функцией распределения и однозначно задает вероятностное пространство вида:
![]()
- борелевская алгебра;
P - мера на борелевской алгебре;
R1 - числовая скалярная ось.
Введем функцию F(x)
![]()
Эта функция определена для всех x, неубывающая, непрерывная сверху. Показать самим, что такая функция однозначно задает счетно-аддитивную меру на поле, порожденном всеми полуинтервалами ненулевой длины.
Докажем, что 0<F(x)<1
Согласно терминологии, если функция y=f(x) непрерывна на отрезке [a, b], то она ограничена. Поскольку наша функция не убывающая, то максимум и минимум она соответственно будет иметь такой:
![]()
т.е. 0<F(x)<1.
2. Пусть имеем следующие функции.
Построим борелеву алгебру на поле, тогда по теореме о продолжении счетно-аддитивная функция, определенная на поле, без изменения аксиом теории вероятности, однозначно распространяется на все элементы борелевой алгебры, не принадлежащие полю. Т.о. вероятностное пространство построено, теорема доказана.
Смысл теоремы.
Теорема Колмогорова позволяет утверждать, что если вы исследуете случайную величину, то не надо строить абстрактное пространство элементарных событий, -алгебру, счетно-аддитивную меру, конкретный вид функции
. Нашей задачей будет лишь то, что считая R1 - числовой скалярной осью - пространство элементарных событий, мы должны найти функцию распределения F(x), использую статистику: результата конкретного испытания над случайной величиной:
X1, X2, ..., Xn
Дискретные случайные величины
Случайная величина называется дискретной, если в результате испытания она может принять значение из конечного либо счетного множества возможных числовых значений.
Случайные величины в дальнейшем будем обозначать большими буквами:
X, Y, Z
Вероятностное пространство дискретной случайной величины задается в виде:
, n - конечное или бесконечное.
Пример:
Испытание - композиция n-независимых испытаний, в каждом из которых происходит событие A с вероятностью p, либо
с вероятностью 1-p.
Вероятностное пространство

В этом примере -алгеброй является множество всех подмножеств пространства элементарных событий. Введенную нами случайную величину x по определению можно задать:
![]()
- верхняя строчка - это совокупность возможных числовых значений, которые может принимать случайная величина;
- нижняя строчка - вероятность наступления этих числовых значений.
Практически во всех задачах естествознания отсутствует промежуточный этап: испытание, - пространство всех возможных исходов испытания,
- числовая скалярная функция, элементы которой w
.
На самом деле структура:
- испытание;
- исход испытания;
- число на числовой оси.
Вероятностные характеристики дискретных случайных величин.
Математическим ожиданием случайной величины X называется число вида
![]()
xi - все возможные различные конкретные исходы испытания;
pi - вероятности их наступления.
Математическое ожидание является как бы аналогом центра масс точечной механической системы:
![]()
Как центр масс:

Смысл характеристики мат.ожидания заключается в следующем: это точка на числовой оси, относительно которой группируются результаты конкретных испытаний над дискретной случайной величиной.
Свойства математического ожидания
1. MC=C
![]()
2. MCX=CMX
Построим таблицу для случайной величины CX:
![]()
по определению математического ожидания:
![]()
3. M(X+a)=MX+a, a=const
Построим таблицу для случайной величины x+a

Доказать следствие
4. M(aX+b)=aMX+b, где a, b - константы

Пусть случайная величина Y является функцией f(x) от случайной величины X. Построим вероятностное пространство случайной величины Y.

Верхняя строчка является пространством элементарных событий для случайной величины Y. В противном случае верхняя строчка является пространством элементарных событий для величины Y.
Все одинаковые числа в верхней строчке заменяется одним, вероятность наступления которого равна сумме соответствующих вероятностей.
Следствие.
Математическое ожидание случайной величины Y равняется:

Начальным моментом К-го порядка случайной величины X называется математическое ожидание случайной величины Xk.
![]()
Центрированная случайная величина - это величина, равная X’=X-MX
Покажем, что математическое ожидание MX’ равно 0.

Центральным моментом К-го порядка называется начальный момент К-го порядка случайной величины X’
![]()
при решении реальных задач практические вероятности рi неизвестны, но считая, что вероятность - это частость, при большом числе испытаний

Дисперсией случайной величины X, называется центральный момент второго порядка случайной величины X.
![]()
Дисперсия является мерой концентрации результатов конкретных испытаний над случайной величиной X.
Свойства.
1. Чем меньше дисперсия, тем более тесно группируются результаты конкретных испытаний относительно математического ожидания.
Пусть дисперсия мала, тогда мало каждое слагаемое суммы (xi-)2pi. Тогда для , xi которое по модулю резко отличается от математического ожидания , pi - мало. Следовательно, большую вероятность наступления могут иметь лишь те xi, которые по модулю мало отличаются от математического ожидания.
2. Если дисперсия равна 0, то X - const.
