Курс лекций по теории вероятностей
о есть f является плотностью распределения случайной величины ξ
Свойства плотностей
(f3) Если случайная величина ξ имеет абсолютно непрерывное распределение, то ее функция распределения всюду непрерывна.
Следствие 4. Если случайная величина ξ имеет абсолютно непрерывное распределение, то P(ξ = х) = 0 для любого х R.
(f4) Если случайная величина ξ имеет абсолютно непрерывное распределение, то ее функция распределения дифференцируема почти всюду, и

для почти всех х.
Замечание 12. Термин для «почти всех» означает «для всех, кроме (возможно) х из некоторого множества нулевой меры (длины)». Заметьте, что стоящую под интегралом функцию можно изменить в одной точке (или на множестве нулевой длины), и интеграл (« площадь подграфика») от этого не изменится.
(f5) Если случайная величина ξ имеет абсолютно непрерывное распределение, то

Доказательство. Действительно,

Остальные равенства вытекают из следствия 5.
8.1 Примеры абсолютно непрерывных распределений
Равномерное.
Это распределение нам уже знакомо. Говорят, что ξ имеет равномерное распределение на отрезке [a, b], и пишут ξ Ua,b если

Заметьте, что в точках a и b функция распределения недифференцируема, и плотность можно задать как угодно.
Показательное.
Говорят, что ξ имеет показательное распределение с параметром α, α > 0 и ξ Еα, если

Показательное распределение является единственным абсолютно непрерывным распределением, для которого выполнено свойство «не старения» (и в этом смысле оно является непрерывным аналогом дискретного геометрического распределения).
Теорема 21. Свойство «Не старения». Пусть ξ Еα. Тогда для любых х, у > 0

Нормальное.
Г
оворят,
что ξ
имеет нормальное
распределение
с параметрами
а и σ2
, где а
R, σ
> 0, и пишут ξ
если ξ
имеет следующую
плотность
распределения:
для
любого x
R
Убедимся, что fξ(x)действительно является плотностью распределения. Так как fξ(x) > 0 для всех x R, то свойство (f1) выполнено. Проверим выполнение (f2). Используем табличный интеграл (интеграл Пуассона)

Нормальное (иначе называемое гауссовским по имени Карла Гаусса распределение играет исключительно важную роль в теории вероятностей, поэтому мы очень подробно изучим все свойства этого распределения.
8.2 Свойства нормального распределения
Нормальное
распределение
задается, как
мы видим, с помощью
плотности
распределения.
Связано это
с тем, что нельзя
выписать
первообразную
от функции
иначе как в
виде интеграла,
поэтому функцию
распределения
этого закона
можно записать
лишь в таком
виде:

М
ы
часто будем
использовать
обозначение
для функции
распределения
нормального
распределения
с параметрами
а и σ2.
Стандартное нормальное распределение
Нормальное
распределение
при
а = 0 и σ=
1 называется
стандартным
нормальным
распределением.
Плотность
стандартного
нормального
распределения
имеет вид
для
любого x
R
а функция распределения

табулирована (то есть ее значения вычислены при многих х) почти во всех математических справочниках. Установим связь между

Свойство 5. Для любого x R справедливо соотношение

То же самое на языке случайных величин можно сформулировать так:
С
ледствие
5. Если
то
Следствие
6. Если
то

Как мы видим, вычисление любых вероятностей для нормально распределенной случайной величины сводится к вычислению функции распределения Ф0,1. Ее свойства
Свойство 6. Ф0,1(0) = 0,5
Свойство 7. Ф0,1(-х) = 1 - Ф0,1(х)
Свойство 8. Если ξ N0,1, то

Свойство 9 (« Правило трех сигм»).
Если
то
Смысла в запоминании числа 0.0027 нет никакого, а вот помнить, что почти вся масса нормального распределения сосредоточена в границах [a - 3σ, a - 3σ] всегда полезно.
Смысла в запоминании числа 0.0027 нет никакого, а вот помнить, что почти вся масса нормального распределения сосредоточена в границах [a-3σ, a+3σ], всегда полезно.
Раздел 9. Случайные вектора и их распределения
Определение
29. Если случайные
величины
заданы на одном
вероятностном
пространстве,
то вектор (
)
мы будем называть
случайным
вектором.
Определение
30. Функция
называется
функцией
распределения
случайного
вектора (
)
или функцией
совместного
распределения
случайных
величин
.
9.1 Свойства функции совместного распределения
Для простоты
обозначений
все дальнейшие
рассуждения
и формулировки
приводятся
в случае n
= 2 для случайного
вектора (
)
F0)

F1)
не убывает по
каждой координате
вектора (x1
x2).
F2) Для любого i = 1, 2, существуют


При этом

F3) Функция
по каждой координате
вектора (x1
x2)
непрерывна
слева.
Только теперь этих свойств оказывается недостаточно для описания класса функций совместного распределения. Иначе говоря, выполнение этих свойств для некоторой функции F: R2 R вовсе не гарантирует, что эта функция является функцией распределения некоторого случайного вектора.
Пример 25. Функция


a) удовлетворяет всем свойствам (F0)-(F3);
б) не является функцией распределения никакого вектора (ξ1, ξ2.) хотя бы потому, что, найдись такой вектор, найдется и прямоугольник [a1 b1] x [a2 b2], вероятность попасть в который (вычисленная с помощью этой «функции распределения») отрицательна:
P(a1 ξ1< b1 , a2 ξ22 ) < 0!
Как же связана вероятность вектору попасть в прямоугольник с функцией распределения этого вектора?
Упражнение. Доказать, что
P(a1 ξ1< b1 , a2 ξ2<b2 )= F ξ1 ξ2 (b1, b2) - F ξ1 ξ2 (a1, b2) - F ξ1 ξ2 (b1, a2) + F ξ1 ξ2 (a1, a2) (8)
Оказывается, если потребовать дополнительно от функции F, чтобы для всякого [a1 b1] x [a2 b2] вероятность P(a1 ξ1< b1] , [a2 ξ2<b2], связанная с функцией F равенством (8), была неотрицательна, то любая функция, обладающая этим свойством и свойствами (F0)-(F3), уже будет функцией распределения некоторого случайного вектора.
9.2 Типы многомерных распределений
Ограничимся рассмотрением только двух случаев, когда совместное распределение координат случайного вектора (ξ1, ξ2.) либо дискретно, либо абсолютно непрерывно.
Дискретное совместное распределение
Определение 31. Говорят, что случайные величины ξ1, ξ2. имеют дискретное, совместное распределение, если существует конечный или счетный набор { ai, bi } такой, что

Таблицу, на пересечении i-й строки и j-го столбца которой (или наоборот) стоит число
P(ξ1= ai ,ξ2= bj) называют таблицей совместного распределения случайных величин ξ1,. ξ2
Замечание 13. Напомню, что таблицы распределения каждой из случайных величин ξ1, ξ2 в отдельности (таблицы частных, или маргинальных распределений) восстанавливаются по таблице совместного распределения с помощью очевидных формул:

Если эти формулы вам не представляются очевидными, необходимо вернуться к разделу 4 и перечитать определение 18 полной группы событий, обратив также внимание на доказательство теоремы 8 (формулы полной вероятности).
Абсолютно непрерывное совместное распределение
Определение
32. Говорят,
что с.в. ξ1,
ξ2
(заданные на
одном вероятностном
пространстве)
имеют абсолютно
непрерывное
совместное
распределение,
если существует
функция
такая, что для
любой точки
(x1,
x2)
R2

Если такая
функция
существует,
она называется
плотностью
совместного
распределения
случайных
величин ξ1,
ξ2.
Замечание 14. Для всего дальнейшего более чем достаточно считать, что

равняется объему под графиком функции f над областью интегрирования — прямоугольником [a1,b1] x [a2,b2].
Плотность совместного распределения обладает свойствами, аналогичными свойствам плотности распределения одной случайной величины:
(f1)
для
любых x1,
x2
R;
(f2)
.
Более того, любая функция, обладающая этими свойствами, является плотностью некоторого совместного распределения.
Если совместное распределение абсолютно непрерывно, то по функции совместного распределения его плотность находится как смешанная частная производная:
(f3)
.
Из свойства (F2) функции совместного распределения вытекает следующее утверждение. Для n > 2 это утверждение, как и свойство (F2), выглядит существенно иначе!
Теорема 22. Если случайные величины ξ1, ξ2 имеют абсолютно непрерывное совместное распределение с плотностью f (x1, x2), то ξ1, и ξ2 в отдельности также имеют абсолютно непрерывное распределение с плотностями:

9.3 Независимость случайных величин
Определение 33. Случайные величины ξ1, ξ2, … , ξn независимы, если для любого набора множеств В1 R, … Вn R имеет место равенство:

Это определение можно сформулировать в терминах функций распределения:
Определение 34. Случайные величины ξ1, ξ2, … , ξn независимы, если для любых х1, х2, … , хn имеет место равенство:

Определение 35. Случайные величины ξ1, ξ2, … , ξn с дискретным распределением независимы, если для любых а1, а2, … , аn имеет место равенство:

Для случайных величин с абсолютно непрерывным совместным распределением определение независимости можно сформулировать так:
Определение 36. Случайные величины ξ1, ξ2, … , ξn с абсолютно непрерывным совместным распределением независимы, если плотность совместного распределения равна произведению плотностей случайных ξ1, ξ2, … , ξn, то есть для любых х1, х2, … , хn имеет место равенство:

Раздел 10. Преобразования случайных величин
10.1 Преобразование одной случайной величины
Мы будем рассматривать только преобразования случайных величин с абсолютно непрерывными распределениями. Пусть с. в. ξ имеет функцию распределения Fξ(x) и плотность распределения fξ(x). Построим с помощью функции g: R R случайную величину η= g(ξ). Требуется найти функцию распределения и, если существует, плотность распределения η.
Замечание 15. Плотность распределения случайной величины η= g(ξ) существует далеко не при любых функциях g. Так, если функция g кусочно-постоянна, то с. в. η имеет дискретное распределение, и плотность ее распределения не существует.
Плотность распределения g(ξ) заведомо существует, если, например, функция g(ξ) монотонна («строго монотонна»). Вспомним, что означает «найти плотность распределения η, если она существует».
По определению,
если мы представим
(для любого х)
функцию распределения
η
в виде
где подинтегральная
функция h(y)
неотрицательна,
то плотность
распределения
с.в. η
существует
и в точности
равна подинтегральной
функции fξ(x)
= h(x)
.
Так что доказывать существование плотности распределения и находить ее мы будем одновременно, находя нужное интегральное представление для функции распределения.
Теорема 23. Пусть ξ имеет функцию распределения Fξ(x) и плотность распределения fξ(x) , и постоянная a отлична от нуля. Тогда случайная величина η = a ξ + b имеет плотность распределения

Для произвольной монотонной функции g (то есть либо монотонно возрастающей функции, либо монотонно убывающей функции справедливо аналогичное теореме 23 утверждение).
Теорема 24. Пусть ξ имеет функцию распределения Fξ(x) и плотность распределения fξ(x), и функция g: R R монотонна. Тогда случайная величина η= g(ξ) имеет плотность распределения

Здесь g -1— функция, обратная к g, и
—
производная
функции g
-1.
Следствие
7. Если ξ
N0,1,
то η
= σξ+а
Следствие
8. Если η
,
то ξ
= (η
–а)/ σ
N0,1.
Следствие 9. Если ξ Еα, то η = αξ Е1
10.2 Функции от двух случайных величин
Пусть ξ1
ξ2
— случайные
величины с
плотностью
совместного
распределения
,
и задана функция
g
: R2
R.
Требуется найти
функцию (а если
существует,
то и плотность)
распределения
случайной
величины η
= g(ξ1
, ξ2).
Пользуясь тем, что вероятность случайному вектору попасть в область можно вычислить как объем под графиком плотности распределения вектора над этой областью, сформулируем утверждение.
Теорема 25. Пусть х R, и область Dx R2 состоит из точек (x1 x2 ) таких, что g (x1 x2 ) < x. Тогда случайная величина η = g(ξ1 , ξ2). имеет функцию распределения

Всюду далее
в этой главе
предполагается,
что случайные
величины ξ1
и ξ2
независимы,
то есть

Следствие 10 (Формула свертки). Если с. в. ξ1 и ξ2 независимы и имеют абсолютно непрерывное распределение с плотностями f ξ1 (x1) и f ξ2 (x2)., то плотность распределения суммы ξ1 + ξ2 равна «свертке» плотностей f ξ1 (x1) и f ξ2 (x2)
(9)
Следствие 10 не только предлагает формулу для вычисления плотности распределения суммы, но и утверждает (заметьте!), что сумма двух независимых случайных величин с абсолютно непрерывными распределениями также имеет абсолютно непрерывное распределение.
Если даже одна из двух независимых случайных величин имеет дискретное, а вторая – абсолютно непрерывное распределение, то их сумма тоже имеет абсолютно непрерывное распределение, как показывает следующее упражнение.
Упражнение. Пусть с. в. ξ имеет таблицу распределения P(ξ = аi) = pi, с. в. η имеет плотность распределения fη(x), и эти величины независимы. Доказать, что ξ +η имеет плотность распределения


10.3 Примеры использования формулы свертки
Пример 26. Пусть независимые случайные величины ξ и η имеют стандартное нормальное распределение. Докажем, что их сумма имеет нормальное распределение с параметрами 0 и 2.
Доказательство. По формуле свертки, плотность суммы равна

Выделим полный квадрат по u в показателе экспоненты:

Тогда

Последнее
равенство верно
поскольку под
интегралом
стоит плотность
нормального
распределения
с параметрами
0 и
,
так что интеграл
по всей прямой
равен 1. Итак,
мы получили,
что плотность
суммы есть
плотность
нормального
распределения
с параметрами
0 и 2.
Если сумма двух независимых случайных величин из одного и того же распределения (возможно, с разными параметрами) имеет такое же распределение, говорят, что это распределение устойчиво относительно суммирования.
В следующих утверждениях, перечислены практически все устойчивые распределения.
Лемма 3. Пусть случайные величины ξ Пλ и η Пμ независимы. Тогда ξ+ η Пλ+μ
Лемма 4. Пусть случайные величины ξ Bn,p и ξ Bm,p независимы. Тогда ξ+ η Bm+n,p
Лемма
5. Пусть случайные
величины
и
независимы.
Тогда

Показательное распределение не устойчиво по суммированию, однако его можно считать частным случаем гамма-распределения, которое уже в некотором смысле устойчиво относительно суммирования.
Определение 37. Случайная величина ξ имеет гамма-распределение Гα,λ с параметрами α > 0, λ > 0, если она имеет плотность распределения

где постоянная c вычисляется из условия

Заметим, что показательное распределение Еα есть гамма-распределение Гα,1.
Лемма 6. Пусть независимые случайные величины ξ1, … , ξn имеют показательное распределение Еα = Гα,1 Тогда ξ1 +…+ξn Гα,n
«Случайных величин без мат. ожидания не бывает, так как, если у нас есть случайная величина мы всегда в праве от нее что-нибудь ожидать.»
Из студенческой контрольной работы.
Раздел 11. Числовые характеристики случайных величин
11.1 Математическое ожидание случайной величины
Определение 38. Математическим ожиданием Eξ (средним значением, первым моментом) случайной величины ξ с дискретным распределением, задаваемым таблицей P(ξ = аi) = pi, называется число
если указанный
ряд абсолютно
сходится.
Если же
,
то говорят, что
математическое
ожидание не
существует.
Определение 39. Математическим ожиданием Eξ случайной величины ξ с абсолютно непрерывным распределением с плотностью распределения fξ(x), называется число
если указанный
интеграл абсолютно
сходится.
Если же
,
то говорят, что
математическое
ожидание не
существует.
Математическое ожидание имеет простой физический смысл: если на прямой разместить единичную массу, поместив в точку аi массу pi (для дискретного распределения), или «размазав» ее с плотностью fξ(x) (для абсолютно непрерывного распределения), то точка Eξ есть координата «центра тяжести» прямой.
Пример 26. Пусть случайная величина ξ равна числу очков, выпадающих при одном подбрасывании кубика. Тогда



в среднем при подбрасывании кубика выпадает 3.5 очка
Пример 27. Пусть случайная величина ξ — координата точки, брошенной наудачу на отрезок [a,b]. Тогда


центр тяжести равномерного распределения на отрезке есть середина отрезка.
11.2 Свойства математического ожидания
Во всех свойствах предполагается, что рассматриваемые математические ожидания существуют.
E0. Математическое ожидание случайной величины есть ЧИСЛО!
E1. Для произвольной функции функция g : R R

Доказательство. Мы докажем это свойство (как и почти все дальнейшие) только для дискретного распределения. Пусть g(ξ) принимает значения с1 с2 … с вероятностями

Тогда

E2 Математическое ожидание const равно этой const Eс = с.
E3. const можно вынести за знак математического ожидания: E(с ξ) = с Eξ.
Доказательство. Следует из свойства E1 при g(ξ) = с ξ .
E4. Математическое ожидание суммы любых случайных величин ξ и η равно сумме их математических ожиданий.
E (ξ + η ) = E (ξ )+ E (η)
Доказательство. Для величин с дискретным распределением: пусть xk и yn — значения ξ и η, соответственно.

E5.Если ξ 0 п.н. (« почти наверное», т.е. с вероятностью 1: P(ξ 0 ) = 1), то E ξ 0;
Если ξ 0 п.н., и при этом Eξ = 0, то ξ = 0 п.н., то есть P(ξ = 0) = 1.
Следствие 11.
Если ξ η п.н., то E ξ Eη .
Если ξ η п.н., и при этом Eξ = Eη, то ξ = η п.н.
E6. Математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.: если ξ и η независимы, то
E(ξη) = Eξ Eη.
Доказательство.

Замечание 16. Обратное утверждение к свойству E6 неверно: из равенства E(ξη) = Eξ Eη. Не следует независимость величин ξ и η.
Пример 28. Пусть φ U0,2π, ξ = cos φ, η = sin φ— заведомо зависимые случайные величины. Но математическое ожидание их произведения равно произведению их математических ожиданий: по свойству E1

11.3 Моменты старших порядков. Дисперсия
Определение
40. Если
,
то число
называется
моментом порядка
k (k
-м моментом)
случайной
величины ξ;
называется
абсолютным
моментом порядка
k (абсолютным
k -м
моментом) случайной
величины ξ;
называется
центральным
моментом порядка
k (центральным
k -м
моментом) случайной
величины ξ;
называется
абсолютным
центральным
моментом порядка
k (абсолютным
центральным
k -м
моментом) случайной
величины ξ.
Число Dξ = E(ξ – Eξ)2 (центральный момент порядка 2) называется дисперсией случайной величины ξ
Пример 29. Пусть, скажем, случайная величина ξ принимает значение 0 с вероятностью 1-10-5 , и значение 100 с вероятностью 10-5. Посмотрим, как моменты разных порядков реагируют на большие, но маловероятные значения случайной величины.

Пример 30. Дисперсия Dξ = E(ξ – Eξ)2 есть «среднее значение квадрата отклонения случайной величины ξ от своего среднего». Посмотрим, за что эта величина отвечает.
Пусть случайная величина ξ принимает значения +-1 с вероятностью 1/2, а случайная величина η — значения ю +-10 с вероятностью 1/2. Тогда Eξ = Eη = 0 поэтому D ξ = E ξ2 = 1, Dη = Eη2 = 100. Говорят, что дисперсия характеризует степень разброса значений случайной величины вокруг ее математического ожидания.
Если говорить о распределении случайной величины, как о распределении единичной массы по невесомому стержню, то дисперсия есть в точности момент инерции этого стержня, закрепленного в центре тяжести.
Определение
40. Если дисперсия
величины ξ
конечна, то
число
называют
среднеквадратичным
отклонением
случайной
величины ξ.
Следует хорошо понимать, что из существования моментов больших порядков следует существование моментов меньших порядков. В частности, конечность второго момента (или дисперсии) влечет существование математического ожидания.
11.4 Свойства дисперсии
Все свойства дисперсии следуют из соответствующих свойств математического ожидания.
D1.

Действительно,

D2.

D3.
если
и только если
ξ=
const.п.н.
Доказательство. Дисперсия есть всего-навсего математическое ожидание п.н. неотрицательной с.в.:
Dξ = E(ξ – Eξ)2, и неотрицательность дисперсии следует из свойства E5. По тому же свойству, Dξ = 0 если и только если E(ξ – Eξ)2 = 0 п.н., то есть ξ = ξ п.н.
D4. Дисперсия не меняется от сдвига с.в. на постоянную:

D5. Если ξ и η независимы, то

Действительно,

так как математическое ожидание произведения независимых с.в. равно произведению их математических ожиданий.
D6. Минимум среднеквадратического отклонения случайной величины ξ от точек вещественной прямой есть среднеквадратическое отклонение ξ от своего математического ожидания:

Наименьший момент инерции стержня с распределенной на нем единичной массой получится, если точка вращения – центр тяжести стержня, а не любая другая точка.
Доказательство.
причем
равенство
достигается
только для а
= Eξ.
11.5 Математические ожидания и дисперсии стандартных распределений
Пример 31. Распределение Бернулли Вр,