Теория вероятности и математическая статистика
![]()

В общем случае доказать эту формулировку невозможно, в теории вероятности она вводится как правило. Существует лишь толкование этой формулы.
Обоснование формулы условной вероятности в общем случае.
Пусть в nB испытаниях произошло событие B, а в nA испытаниях произошло событие A. Найдем условную частость наступления события A при условии, что произошло событие B. Мы можем сделать это для обоснования формулы, т.к. под вероятностью наступления события понимается предел частости наступления события при условии, что серия испытаний достаточно длинная.
Условная частость ![]()
![]()
Рассматривая AB как одно событие D имеем:
с другой стороны ![]()
Рассмотрим систему событий A1, A2,...,Ak. Покажем, что вероятность их совместного наступления равна: ![]()
Доказательство проведем по мат индукции.
Формула равна для 2 и 3 (см. ранее)
Пусть формула верна для k-1.
![]()
Введем событие B.
![]()
P(A1A2...Ak-1)=P(B)
P(A1A2...Ak)=P(AkB)=P(B)× P(AkB)
Независимые события.
Два события A и B называются независимыми, если P(A/B)=P(A); P(B)=P(B/A) - доказать.
В этом случае вероятность наступления двух событий A и B равна P(AB)=P(B)P(A/B)=P(A)P(B),
при этом покажем, что P(B/A)=P(B); P(AB)=P(B)P(A)=P(A)P(B/A)
События A1A2...Ak называются независимыми между собой, если вероятность их совместного наступления
;
. Два независимых события совместны.
* Если бы события были несовместны, то P(A/B)=0 и P(B/A)=0, т.к. они независимы, то P(A/B)=P(A) и P(B/A)=P(B), т.е. утверждение “независимые события несовместны”, т.к. P(A)=0 и P(B)=0, то это утверждение неверно.
Формула сложения вероятностей.
![]()
U - достоверное событие
![]()
Покажем, что события
несовместны.
* Если события несовместны, то
;
;
т.е. события несовместны.
Тогда по третей аксиоме теории вероятности ![]()
![]()
Справедливо следующее тождество на основании (1) и закона дистрибутивности
![]()
Показать самим, что все три множества попарно несовместны.

На основании первой и третей аксиомы теории вероятности получаем:
![]()
Имеет место тождество
, показать самим, что
несовместны
![]()
По третей аксиоме:

Для экзамена доказать самим формулу суммы произвольного числа событий
![]()
Формула полной вероятности.
Рассмотрим систему A из k попарно несовместных событий.
B1, B2, ..., Bk ![]()
Пусть дано событие A, удовлетворяющее равенству A=B1A+B2A+...+BkA.
Показать, что события B1A, B2A, BkA попарно несовместны. BiABjA=BiBjAA=VAA=V
Найти вероятность наступления события A. Любое событие входящее в A, обязательно входит в некоторое, но одно Bi, т.к. B1, B2, ..., Bk образуют полную группу.
Т.к. B1, B2, ..., Bk несовместны, то по третей аксиоме теории вероятности имеем:
; т.е.
![]()
Например: Имеются урны трех составов
|
1 |
5 урн |
6 белых и 3 черных шара |
|
2 |
3 урны |
10 белых и 1 черный |
|
3 |
7 урн |
0 белых и 10 черных |
Все шары в каждой урне перемешаны.
Испытание - извлекается шар. Какая вероятность того, что при этом будет извлечен белый шар.
B1 - Вытащить любой шар из урны 1.
B2 - Вытащить любой шар из урны 2.
B3 - Вытащить любой шар из урны 3.
A - Извлечь белый шар.
A=B1A+B2A+B3A
B1, B2, B3 - попарно несовместны.
Формула полной вероятности: P(A)=P(B1)P(A/B1)+P(B2)P(A/B2)+P(B3)P(A/B3)
|
P(B1)=1/3 |
P(A/B1)=6/9=2/3 |
|
P(B2)=1/5 |
P(A/B2)=10/11 |
|
P(B3)=7/15 |
P(A/B3)=0 |
P(A)=1/3× 2/3+1/5× 11/10+7/15× 0=2/9+2/11=40/99» 0.4
Формула Байеса.
Постановка задачи та же, но решаем обратную задачу.
Проводится испытание, в результате которого произошло событие A. Какова вероятность того, что в этом испытании произошло событие Bi.
Условные вероятности называются апостериорными, а безусловные - априорными вероятностями.
P(ABi)=P(A)P(Bi/A)=P(Bi)P(A/Bi)
Откуда, 
Таким образом, формула Байеса: 
Композиция испытаний.
Имеется вероятностное пространство, которое порождает испытание 1.

где Ei, i=1, ..., m1 - пространство элементарных событий в результате испытания.
P(Ei), i=1, ..., m1 - вероятности элементарных событий.
Испытание 2 порождает вероятностное пространство вида

P(Ei), P(Qj) - разные вероятностные меры.
Композицией двух испытаний называется сложное испытание, состоящее в поведении первого и второго испытания.
Композиция испытаний порождает вероятностное пространство вида:
![]()
EiQj - композиционное событие.
В общем случае по P(Ei) и P(Qj) найти P(EiQj) невозможно.
Рассмотрим один частный случай, когда это можно сделать.
Два испытания называются независимыми, если различные исходы обоих испытаний определяются несвязанными между собой случайными факторами.
Из определения независимости испытания вытекает, что условные частости наступления события в одном испытании, при условии, что во втором испытании произошло фиксированное число событий равны безусловным частостям, если они существуют.
Пусть испытания независимы. В результате проведения первого испытания произошло элементарное событие Ei, в результате второго испытания может произойти все что угодно.
Тогда сложное событие, определяющее исход первого и второго испытания имеет вид:
и равно сумме комбинаций исходов первого и второго испытаний.
Вероятность сложного события A.
, т.е. результаты второго испытания не зависят от результатов первого.
Если в результате второго испытания произошло событие Qj, а в результате первого испытания могло произойти все что угодно, то сложное событие B имеет вид:
.
Вероятность сложного события B равна сумме вероятностей комбинаций вида EiQj, i=1, ..., m1
, т.к. исходы первого испытания не влияют на исходы второго испытания. Из факта: P(AB)=P(A)P(B/A); P(B/A)=P(B); AB=EiQj (надо доказать)
A={EiQ1, EiQ2, ..., EiQj, ..., EiQm2}
B={E1Qj, E2Qj, ..., EiQj, ..., Em1Qj}
По определению произведения AB в него входят только те события, которые входят и в A, и в B. Из приведенных выше формул следует, что только событие EiQj входит и в A, и в B, то AB= EiQj. Следует:
![]()
Композиционное пространство имеет вид: 
Общая структура независимых событий в композиционном пространстве, порожденном композицией испытаний:
![]()
т.е. в результате первого испытания произошли элементарные события:
.
В результате второго испытания события:
.
Сложное событие B определяет все возможные комбинации исходов двух испытаний независимо друг от друга. В результате первого испытания произошли элементарные события:
.
В результате второго испытания события:
.
Тогда: ![]()
, т.к. второе испытание не влияет на результаты первого.
![]()
т.к.
, (надо доказать)
то ![]()
При решении практических задач, связанных с независимыми испытаниями обычно не требуется строить композиционных пространств элементарных событий, а использовать формально неверную запись: P(A× B)=P(A)× P(B).
Композиция n испытаний.
Имеется n испытаний. Зададим для i-го испытания вероятностное пространство:
i=1, ..., n
Композицией n испытаний называется сложное испытание, состоящее в совместном проведении n испытаний. Задается n испытаний, вероятностное пространство каждого из которых имеет вид:
i=1, ..., n
Композиционное пространство имеет вид:
j1=1, ..., m1; j2=1, ..., m2; jn=1, ..., mn;
Композиция n независимых испытаний.
Испытания (n - испытаний) называются независимыми, если неоднозначность исхода каждого из испытаний определена не связанными между собой группами факторов.
Событие A1: в результате проведения композиционного испытания в первом испытании произошло событие
. Тогда ![]()
Событие An: в результате проведения композиционного испытания в первом испытании произошло событие
. Тогда ![]()
![]()
![]()
i=1, ..., n
Рассмотрим событие: ![]()
В силу определения независимости испытаний очевидно, что:
![]()
![]()
![]()
.
Следовательно:
.
На практике не строят композиционных пространств, а записывают формально неправильную формулу: P(A1A2...An)=P(A1)P(A2)...P(An).
Композиционное пространство имеет вид:
j1=1, ..., m1; j2=1, ..., m2; jn=1, ..., mn;
Общая структура независимых событий в композиционном пространстве имеет вид:
|
1-е событие - |
это событие, которое происходит в 1-м вероятностном пространстве |
|
2-е событие - |
это событие, которое происходит во 2-м вероятностном пространстве |
|
n - событие - |
это событие, которое происходит в n-м вероятностном пространстве |
Рассмотрим два вероятностных пространства.
|
I |
II |
|
|
|
Очевидно, что неопределенность испытания до испытания в первом вероятностном пространстве выше, чем во втором. Действительно, до испытания в I нельзя ни одному из событий отдать предпочтения, а во II событие E3 происходит чаще.
Энтропия - мера неопределенности исхода испытания (до испытания).
Первым, кто функционально задал выражение для энтропии был Шеннон.
, ![]()
Для вероятностного пространства:

Энтропия задается выражением:
. Если P1=0, то Pi×
logPi=0.
Самим показать, что:
Если вероятностное пространство не имеет определенности, т.е. какое-то из Pi=1, а остальные равны 0, то энтропия равна нулю.
Если элементарный исход равновероятен, т.е.
, то энтропия принимает максимальное значение.
0£
Pi£
1, ![]()

, ![]()
т.о. вероятности p1, p2, ..., ps обращаются в ноль, например pi, которая равна 1. Но log1=0. Остальные числа также обращаются в 0, т.к.
.
Докажем, что энтропия системы с конечным числом состояний достигае максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы как функцию вероятностей p1, p2, ..., ps и

