Курс лекций по теории вероятностей
Пример 32. Биномиальное распределение Вn,p
Воспользуемся свойством устойчивости биномиального распределения относительно суммирования — леммой 5. Возьмем n независимых случайных величин ξ1 ξ2 … ξn, имеющих распределение Бернулли В,p = В1,p.
Тогда их сумма Sn = ξ1 + ξ2 +… + ξn имеет распределение Вn,p

так как все ξi одинаково распределены и их математическое ожидание равно pi;

поскольку ξi независимы и дисперсия каждой равна pq.
Пример 33. Геометрическое распределение Gp
При p (0,1)

Равенство (*) появилось из-за нежелания дифференцировать сумму геометрической прогрессии, которая начинается не с 0 а с q. Заметьте, что производная у добавленных слагаемых равна 0, так что производные от этих двух сумм равны


Поэтому
Пример 34. Распределение Пуассона Пλ


Показать, что
,
следовательно

Пример 35. Равномерное распределение Ua,b



Пример 36. Стандартное нормальное распределение N0,1

поскольку
под интегралом
стоит нечетная
функция, и сам
интеграл абсолютно
сходится (за
счет быстро
убывающей


Последнее равенство следует из того, что
а
интеграл по
всей прямой
от плотности
любого распределения
равен 1. Поэтому

Пример
37. Нормальное
распределение

Мы знаем, что если


Поэтому

Пример 38. Показательное (экспоненциальное) распределение Еα
Найдем для произвольного k N момент порядка k.

В последнем равенстве мы воспользовались гамма-функцией Эйлера:
Соответственно,

Пример 39. Стандартное распределение Коши С0,1
Распределение Коши. Говорят, что ξ имеет распределение Коши с параметрами α, σ2, где α R, σ > 0, если
для всех х
R
Распределение Коши имеет, например, абсцисса точки пересечения луча, посланного из точки (α, σ) под наудачу выбранным углом,
с осью ОХ.
Математическое ожидание для распределения Коши не существует, поскольку

расходится (подинтегральная функция ведет себя на бесконечности как 1/х).
Пример 40. Распределение Парето
Распределение Парето. Говорят, что ξ имеет распределение Парето с параметрами х0, s, где х0 > 0, s > 0, если

У распределения Парето существуют только моменты порядка u < s, поскольку

сходится при u < s, то есть когда подинтегральная функция на бесконечности бесконечно мала по сравнению с 1/х.
«Случайных величин без мат. ожидания не бывает, так как, если у нас есть случайная величина мы всегда в праве от нее что-нибудь ожидать.»
Из студенческой контрольной работы.
Раздел 11. Числовые характеристики случайных величин
11.1 Математическое ожидание случайной величины
Определение 38. Математическим ожиданием Eξ (средним значением, первым моментом) случайной величины ξ с дискретным распределением, задаваемым таблицей P(ξ = аi) = pi, называется число
если указанный
ряд абсолютно
сходится.
Если же
,
то говорят, что
математическое
ожидание не
существует.
Определение 39. Математическим ожиданием Eξ случайной величины ξ с абсолютно непрерывным распределением с плотностью распределения fξ(x), называется число
если указанный
интеграл абсолютно
сходится.
Если же
,
то говорят, что
математическое
ожидание не
существует.
Математическое ожидание имеет простой физический смысл: если на прямой разместить единичную массу, поместив в точку аi массу pi (для дискретного распределения), или «размазав» ее с плотностью fξ(x) (для абсолютно непрерывного распределения), то точка Eξ есть координата «центра тяжести» прямой.
Пример 26. Пусть случайная величина ξ равна числу очков, выпадающих при одном подбрасывании кубика. Тогда



в среднем при подбрасывании кубика выпадает 3.5 очка
Пример 27. Пусть случайная величина ξ — координата точки, брошенной наудачу на отрезок [a,b]. Тогда


центр тяжести равномерного распределения на отрезке есть середина отрезка.
11.2 Свойства математического ожидания
Во всех свойствах предполагается, что рассматриваемые математические ожидания существуют.
E0. Математическое ожидание случайной величины есть ЧИСЛО!
E1. Для произвольной функции функция g : R R

Доказательство. Мы докажем это свойство (как и почти все дальнейшие) только для дискретного распределения. Пусть g(ξ) принимает значения с1 с2 … с вероятностями

Тогда

E2 Математическое ожидание const равно этой const Eс = с.
E3. const можно вынести за знак математического ожидания: E(с ξ) = с Eξ.
Доказательство. Следует из свойства E1 при g(ξ) = с ξ .
E4. Математическое ожидание суммы любых случайных величин ξ и η равно сумме их математических ожиданий.
E (ξ + η ) = E (ξ )+ E (η)
Доказательство. Для величин с дискретным распределением: пусть xk и yn — значения ξ и η, соответственно.

E5.Если ξ 0 п.н. (« почти наверное», т.е. с вероятностью 1: P(ξ 0 ) = 1), то E ξ 0;
Если ξ 0 п.н., и при этом Eξ = 0, то ξ = 0 п.н., то есть P(ξ = 0) = 1.
Следствие 11.
Если ξ η п.н., то E ξ Eη .
Если ξ η п.н., и при этом Eξ = Eη, то ξ = η п.н.
E6. Математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.: если ξ и η независимы, то
E(ξη) = Eξ Eη.
Доказательство.

Замечание 16. Обратное утверждение к свойству E6 неверно: из равенства E(ξη) = Eξ Eη. Не следует независимость величин ξ и η.
Пример 28. Пусть φ U0,2π, ξ = cos φ, η = sin φ— заведомо зависимые случайные величины. Но математическое ожидание их произведения равно произведению их математических ожиданий: по свойству E1

11.3 Моменты старших порядков. Дисперсия
Определение
40. Если
,
то число
называется
моментом порядка
k (k
-м моментом)
случайной
величины ξ;
называется
абсолютным
моментом порядка
k (абсолютным
k -м
моментом) случайной
величины ξ;
называется
центральным
моментом порядка
k (центральным
k -м
моментом) случайной
величины ξ;
называется
абсолютным
центральным
моментом порядка
k (абсолютным
центральным
k -м
моментом) случайной
величины ξ.
Число Dξ = E(ξ – Eξ)2 (центральный момент порядка 2) называется дисперсией случайной величины ξ
Пример 29. Пусть, скажем, случайная величина ξ принимает значение 0 с вероятностью 1-10-5 , и значение 100 с вероятностью 10-5. Посмотрим, как моменты разных порядков реагируют на большие, но маловероятные значения случайной величины.

Пример 30. Дисперсия Dξ = E(ξ – Eξ)2 есть «среднее значение квадрата отклонения случайной величины ξ от своего среднего». Посмотрим, за что эта величина отвечает.
Пусть случайная величина ξ принимает значения +-1 с вероятностью 1/2, а случайная величина η — значения ю +-10 с вероятностью 1/2. Тогда Eξ = Eη = 0 поэтому D ξ = E ξ2 = 1, Dη = Eη2 = 100. Говорят, что дисперсия характеризует степень разброса значений случайной величины вокруг ее математического ожидания.
Если говорить о распределении случайной величины, как о распределении единичной массы по невесомому стержню, то дисперсия есть в точности момент инерции этого стержня, закрепленного в центре тяжести.
Определение
40. Если дисперсия
величины ξ
конечна, то
число
называют
среднеквадратичным
отклонением
случайной
величины ξ.
Следует хорошо понимать, что из существования моментов больших порядков следует существование моментов меньших порядков. В частности, конечность второго момента (или дисперсии) влечет существование математического ожидания.
11.4 Свойства дисперсии
Все свойства дисперсии следуют из соответствующих свойств математического ожидания.
D1.

Действительно,

D2.

D3.
если
и только если
ξ=
const.п.н.
Доказательство. Дисперсия есть всего-навсего математическое ожидание п.н. неотрицательной с.в.:
Dξ = E(ξ – Eξ)2, и неотрицательность дисперсии следует из свойства E5. По тому же свойству, Dξ = 0 если и только если E(ξ – Eξ)2 = 0 п.н., то есть ξ = ξ п.н.
D4. Дисперсия не меняется от сдвига с.в. на постоянную:

D5. Если ξ и η независимы, то

Действительно,

так как математическое ожидание произведения независимых с.в. равно произведению их математических ожиданий.
D6. Минимум среднеквадратического отклонения случайной величины ξ от точек вещественной прямой есть среднеквадратическое отклонение ξ от своего математического ожидания:

Наименьший момент инерции стержня с распределенной на нем единичной массой получится, если точка вращения – центр тяжести стержня, а не любая другая точка.
Доказательство.
причем
равенство
достигается
только для а
= Eξ.
11.5 Математические ожидания и дисперсии стандартных распределений
Пример 31. Распределение Бернулли Вр,

Пример 32. Биномиальное распределение Вn,p
Воспользуемся свойством устойчивости биномиального распределения относительно суммирования — леммой 5. Возьмем n независимых случайных величин ξ1 ξ2 … ξn, имеющих распределение Бернулли В,p = В1,p.
Тогда их сумма Sn = ξ1 + ξ2 +… + ξn имеет распределение Вn,p

так как все ξi одинаково распределены и их математическое ожидание равно pi;

поскольку ξi независимы и дисперсия каждой равна pq.
Пример 33. Геометрическое распределение Gp
При p (0,1)

Равенство (*) появилось из-за нежелания дифференцировать сумму геометрической прогрессии, которая начинается не с 0 а с q. Заметьте, что производная у добавленных слагаемых равна 0, так что производные от этих двух сумм равны


Поэтому
Пример 34. Распределение Пуассона Пλ


Показать, что
,
следовательно

Пример 35. Равномерное распределение Ua,b



Пример 36. Стандартное нормальное распределение N0,1

поскольку
под интегралом
стоит нечетная
функция, и сам
интеграл абсолютно
сходится (за
счет быстро
убывающей


Последнее равенство следует из того, что
а
интеграл по
всей прямой
от плотности
любого распределения
равен 1. Поэтому

Пример
37. Нормальное
распределение

Мы знаем, что если


Поэтому

Пример 38. Показательное (экспоненциальное) распределение Еα
Найдем для произвольного k N момент порядка k.

В последнем равенстве мы воспользовались гамма-функцией Эйлера:
Соответственно,

Пример 39. Стандартное распределение Коши С0,1
Распределение Коши. Говорят, что ξ имеет распределение Коши с параметрами α, σ2, где α R, σ > 0, если
для всех х
R
Распределение Коши имеет, например, абсцисса точки пересечения луча, посланного из точки (α, σ) под наудачу выбранным углом,
с осью ОХ.
Математическое ожидание для распределения Коши не существует, поскольку

расходится (подинтегральная функция ведет себя на бесконечности как 1/х).
Пример 40. Распределение Парето
Распределение Парето. Говорят, что ξ имеет распределение Парето с параметрами х0, s, где х0 > 0, s > 0, если

У распределения Парето существуют только моменты порядка u < s, поскольку

сходится при u < s, то есть когда подинтегральная функция на бесконечности бесконечно мала по сравнению с 1/х.
Раздел 12. Числовые характеристики зависимости случайных величин
12.1 Чем отличается дисперсия суммы от суммы дисперсий?
Мы знаем, что для независимых с. в. с конечными вторыми моментами дисперсия их суммы равна сумме их дисперсий. Чему равна дисперсия суммы в общем случае?
(10)
Величина E(ξη) - Eξ Eη равняется нулю, если случайные величины ξ и η независимы (свойство E6 математического ожидания). С другой стороны, из равенства ее нулю вовсе не следует независимость, как показывает пример 30. Оказывается, что эту величину часто используют как «индикатор наличия зависимости» пары с. в.
Определение 41. Ковариацией cov(ξ, η) случайных величин ξ и η называется число

Свойство 10.

Свойство 11.
;
.
Свойство 12. Дисперсия суммы нескольких случайных величин вычисляется по любой из следующих формул:

Обсудим достоинства и недостатки ковариации, как величины, характеризующей зависимость двух с. в.
1. Если ковариация cov(ξ, η) отлична от нуля, то величины ξ и η зависимы!
2. С гарантией о наличии зависимости мы можем судить, если знаем совместное распределение пары ξ и η, и можем проверить, равна ли (например) плотность совместного распределения произведению плотностей.
Но найти совместное распределение часто бывает сложнее, чем посчитать математическое ожидание произведения ξ и η. Если нам повезет, и математическое ожидание произведения ξ и η не будет равняться произведению их мат. ожиданий, мы скажем, что ξ и η зависимы не находя их совместного распределения!
Пример 41. Покажем, что с помощью ковариации можно судить о зависимости даже когда для вычисления совместного распределения недостаточно данных.
Пусть ξ и η — независимые случайные величины, и дисперсия ξ отлична от нуля. Докажем, что ξ и ξ+ η зависимы.
(11)
Поэтому

Следовательно, ξ и ξ+ η зависимы.
3. Жаль, что величина cov(ξ, η) не является «безразмерной»: если ξ – объем газа в сосуде, а η – давление этого газа, то ковариация измеряется в кубометрах х Паскали :).
Иначе говоря, при умножении одной из величин ξ, η на какое-нибудь число ковариация тоже умножается на это число. Но умножение на число не сказывается на «степени зависимости» величин (они от этого «более зависимыми» не становятся), так что большое значение ковариации не означает более сильной зависимости.
Нужно как-то нормировать ковариацию, получив из нее «безразмерную» величину, абсолютное значение которой
а) не менялось бы при умножении или сдвиге случайных величин на число;
б) свидетельствовало бы о «силе зависимости» с. в.
Говря о «силе» зависимости между с.в., мы имеем в виду следующее. Самая сильная зависимость – функциональная, а из функциональных – линейная зависимость, когда ξ= аη + b п.н. Бывают гораздо более слабые зависимости. Так, если по последовательности независимых случайных величин ξ1 ξ2 … построить ξ = ξ1 +…ξ24 + ξ25 η = ξ25 +ξ26 + …+ξ90 , то эти величины зависимы, но очень “слабо зависимы”: через одно-единственное общее слагаемое ξ25 .
Итак, следующая величина есть всего лишь ковариация, нормированная нужным образом.
12.2 Коэффициент корреляции
Определение 43. Коэффициентом корреляции ρ(ξ, η) случайных величин ξ, η, дисперсии которых существуют и отличны от нуля, называется число

Пример 42. Рассмотрим продолжение примера 41, но пусть ξ и η будут не только независимыми, но и одинаково распределенными случайными величинами, и их дисперсия отлична от нуля. Найдем коэффициент корреляции величин ξ и ξ + η. Согласно формуле (10),

Поэтому

Определение 44. Случайные величины ξ и η называют некоррелированными, если cov(ξ, η) = 0 (или если ρ(ξ, η) = 0, — в том случае, когда коэффициент корреляции существует).
Замечание 17. Если одна из величин ξ и η — постоянная, то эти величины независимы, и cov (ξ, η) = 0. Естественно в этом случае тоже полагать, что ξ и η «некоррелированы», хотя коэффициент корреляции не определен (дисперсия постоянной равна 0).
12.3 Свойства коэффициента корреляции
Всюду далее специально не оговаривается, но предполагается, что коэффициент корреляции существует.
Теорема 26.
Коэффициент корреляции обладает следующими свойствами.
1. Если с. в. ξ и η независимы, то ρ(ξ, η) = cov(ξ, η) = 0.
2. ρ(ξ, η). 1
3. ρ(ξ, η)= 1, если и только если с. в. ξ и η с вероятностью 1 линейно связаны, т.е. существуют числа а 0 и b такие, что P(η = aξ+ b) = 1.
Определение 45. Пусть D конечна и отлична от нуля. Определим случайную величину

Преобразование
называется
стандартизацией
случайной
величины ξ,
а сама с. в.
называется
стандартизованной
, или (слэнг!)
центрированной
и нормированной
версией с. в.
ξ.
Свойство
13. Стандартизованная
с. в.
имеет
нулевое математическое
ожидание и
единичную
дисперсию.
Доказательство. Воспользуемся свойствами математического ожидания и дисперсии:

Полезно знать следующие часто употребляемые термины.
Определение 46. Говорят, что величины ξ и η отрицательно коррелированы, если ρ(ξ, η) < 0; говорят, что величины ξ и η положительно коррелированы, если ρ(ξ, η) > 0.
Смысл знака коэффициента корреляции особенно ясен в случае ρ(ξ, η) = 1. Тогда знак ρ равен знаку a в равенстве η = aξ+ b п.н. То есть ρ(ξ, η) = 1 означает, что чем больше ξ, тем больше и η. Напротив, ρ(ξ, η) = -1 означает, что чем больше ξ, тем меньше η. Похожим образом можно трактовать знак коэффициента корреляции и в случае, когда ρ(ξ, η) < 1, помня при этом, что зависимость величин ξ и η теперь уже не линейная и, возможно, даже не функциональная.
Так, величины ξ и ξ + η в примерах 41 и 42 положительно коррелированы, но их зависимость не функциональная.
Пример 43.

Если с. в. ξ и η есть координаты точки, брошенной наудачу в треугольник с вершинами (2,0), (0,0) и (0,1), то коэффициент корреляции ρ(ξ, η) отрицателен. Это можно объяснить «на пальцах» так: Чем больше ξ, тем меньше у η возможностей быть большой) Предлагаю убедиться в этом, проверив справедливость следующих высказываний.
Во-первых,

Во-вторых,
Совместное
распределение
координат
точки, брошенной
наудачу в
произвольную
(измеримую)
область D
на плоскости
имеет постоянную
плотность во
всех точках
области D.
Это связано
с понятием
«наудачу»:
вероятность
попасть в любую
область A
D,
с одной стороны
зависит только
от площади
А и не зависит
от формы и положения
А внутри
D,
равняясь с
другой стороны,
интегралу по
области А
от плотности
совместного
распределения
координат
точки. Эти два
качества возможно
совместить,
только если
плотность
совместного
распределения
постоянна
внутри D.
Более того, эта
постоянная,
как легко видеть,
есть просто
(хотя бы потому,
что интеграл
от нее по всей
области D
должен ровняться
вероятности
попасть в D,
или единице).
Распределение точки, брошенной наудачу в область (все равно где), называют равномерным распределением.
Итак, плотность равномерного распределения в произвольной области на плоскости — постоянная, равная (1/ площадь области) для точек внутри области и нулю — вне. Поэтому (а также потому, что площадь этого треугольника равна 1)

То есть ковариация (а с ней и коэффициент корреляции) отрицательна (посчитать cov(ξ, η)).
Пример 44.
Найти коэффициент корреляции между числом выпадений единицы и числом выпадений шестерки при n подбрасываниях симметричного кубика.
Решение. Обозначим для i = 1, 2, 3, 4, 5, 6 через ξi случайную величину, равную числу выпадений грани с i очками при n подбрасываниях кубика. Посчитаем cov(ξ1, ξ6).
Каждая из случайных величин ξi имеет биномиальное распределение с параметрами n и 1/6, поэтому
.
Заметим,
что сумма ξ1
+ … + ξn
этих величин
равна n.
В силу симметрии
кубика, все
математические
ожидания
одинаковы,
но, скорее всего,
отличаются
от