Цепи Маркова

loading="lazy" src="http://xreferat.ru/image/54/1306459765_102.gif" alt="Цепи Маркова" width="38" height="26" align="BOTTOM" border="0" />вероятности перехода.

Если в цепи Маркова Цепи Маркова то при любом Цепи Маркова

Цепи Маркова Цепи Маркова


Это утверждение следует по индукции из (7) и (8).

Приведем формулировку теоремы о предельных вероятностях для одного важного класса цепей Маркова.

Теорема 1. Если при некотором Цепи Маркова>0 все элементы матрица Цепи Маркова положительны, то для любых Цепи Маркова, при Цепи Маркова


Цепи Маркова, (9)


где Цепи Маркова стационарное распределение с Цепи Маркова Цепи Маркова Цепи Маркова а Цепи Маркованекоторая постоянная, удовлетворяющая неравенством 0<h<1.

Так как Цепи Маркова , то по условию теоремы из любого состояния можно попасть в любое за время Цепи Маркова с положительной вероятностью. Условия теоремы исключает цепи, являющиеся в некотором смысле периодическими.

Если выполнить условие теоремы 1, то вероятность того, что система находится в некотором состоянии Цепи Маркова, в пределе не зависит от начального распределение. Действительно, из (9) и (7) следует, что при любом начальном распределении Цепи Маркова , Цепи Маркова


Цепи МарковаЦепи Маркова Цепи Маркова


Рассмотрим несколько примеров цепи Маркова, которых условия теоремы 1, не выполнены. Нетрудно проверить, что такими примерами является примеры . В примере Цепи Маркова вероятности перехода имеют приделы, но эти приделы зависят от начального состояния. В частности, при Цепи Маркова

Цепи Маркова 0<Цепи Маркова<Цепи Маркова, Цепи МарковаЦепи Маркова

Цепи Маркова Цепи Маркова

Цепи Маркова


В других примеров приделы вероятностей Цепи Маркова Цепи Маркова при Цепи Маркова очевидно, не существуют.

Найдем стационарное распределение в примере 1. Нужно найти вектор Цепи Маркова удовлетворяющий условиям (8):


Цепи Маркова Цепи Маркова,

Цепи Маркова,

Цепи Маркова;

Цепи Маркова Цепи Маркова Цепи Маркова


Отсюда, Цепи Маркова Цепи Маркова Таким образом, стационарное распределение существует, но не все координаты векторы Цепи Маркова положительны.

Для полиномиальной схемы были введены случайные величины, равные чесу исходов данного типа. Введем аналогичные величины для цепей Маркова. Пусть Цепи Маркова Цепи Маркова − число попадания системы в состояние Цепи Маркова за время Цепи Маркова. Тогда Цепи Маркова частота попаданий системы в состояние Цепи Маркова. Используя формулы (9), можно доказать, что Цепи Маркова при Цепи Маркова сближается с Цепи Маркова. Для этого нужно получить асимптотические формулы для Цепи Маркова и Цепи Маркова и воспользоваться неравенством Чебышева. Приведем вывод формулы для Цепи Маркова. Представим Цепи Маркова в виде


Цепи Маркова (10)


где Цепи Маркова, если Цепи Маркова, и Цепи Маркова в противном случае. Так как


Цепи Маркова,


то, воспользовавшись свойством математического ожидания и формулой (9), получим


Цепи Маркова.


Втрое слагаемое в правой части этого равенства в силу теоремы 1 является частной суммой сходящегося ряда. Положив Цепи Маркова, получим


Цепи Маркова Цепи Маркова (11)


Поскольку


Цепи Маркова Цепи Маркова


Из формулы (11), в частности, следует, что


Цепи МарковаЦепи Маркова Цепи Маркова при Цепи Маркова

Так же можно получить формулу для Цепи Маркова которая используется для вычисления дисперсии.


§5. Доказательство теоремы о предельных вероятностях в цепи Маркова


Докажем сначала две леммы. Положим


Цепи Маркова Цепи Маркова


Лемма 1. При любых Цепи Маркова существуют пределы


Цепи Маркова Цепи Маркова и Цепи МарковаЦепи Маркова


Доказательство. Используя уравнение (3) с Цепи Маркова получим


Цепи Маркова

Цепи Маркова


Таким образом, последовательности Цепи Маркова и Цепи Маркова монотонны и ограничены. Отсюда следует утверждение леммы 1.

Лемма 2. Если выполнены условия теоремы 2, то существуют постоянные Цепи Маркова, Цепи Маркова Цепи Маркова такие, что

Цепи Маркова Цепи Маркова

Для любых Цепи Маркова

Цепи МарковаЦепи Маркова


где Цепи Маркова , Цепи Маркова означает суммирование по всем Цепи Маркова, при которых Цепи Маркова положительно, а Цепи Марковасуммирование по остальным Цепи Маркова. Отсюда


Цепи Маркова. (12)


Так как в условиях теоремы 1 вероятности перехода Цепи Маркова при всех Цепи Маркова, то при любых Цепи Маркова


Цепи Маркова (13)


И в силу конечности числа состояний


Цепи Маркова (14)


Оценим теперь разность Цепи Маркова. Используя уравнение (3) с Цепи Маркова, Цепи Маркова, получим


Цепи Маркова

=Цепи Маркова

Цепи Маркова.

Отсюда, используя (8)-(10), найдем


Цепи МарковаЦепи Маркова

=Цепи Маркова.


Объединяя это соотношение с неравенством (14) , получим утверждение леммы.

Перейти к доказательству теоремы. Так как последовательности Цепи Маркова, Цепи Маркова монотонны, то


0<Цепи Маркова. (15)


Отсюда и из леммы 1 находим


Цепи Маркова


Следовательно, при Цепи Маркова получи Цепи Маркова и


Цепи Маркова (16)


Положительность Цепи Маркова следует из неравенства (15). Переходя к пределу при Цепи Маркова и Цепи Маркова в уравнении (3), получим, что Цепи Маркова удовлетворяет уравнению (12). Теорема доказана.


§6. Области применения цепей Маркова


Цепи Маркова служат хорошим введением в теорию случайных процессов, т.е. теорию простых последовательностей семейства случайных величин, обычно зависящих от параметра, который в большинстве приложений играет роль времени. Она предназначена, главным образом, для полного описания как долговременного, так и локального поведения процесса. Приведем некоторые наиболее изученные в этом плане вопросы.

Броуновское движение и его обобщения - диффузионные процессы и процессы с независимыми приращениями. Теория случайных процессов способствовала углублению связи между теорией вероятностей, теорией операторов и теорией дифференциальных уравнений, что, помимо прочего, имело важное значение для физики и других приложений. К числу приложений относятся процессы, представляющие интерес для актуарной (страховой) математики, теории массового обслуживания, генетики, регулирования дорожного движения, теории электрических цепей, а также теории учета и накопления товаров.

Мартингалы. Эти процессы сохраняют достаточно свойств цепей Маркова, чтобы для них оставались в силе важные эргодические теоремы. От цепей Маркова мартингалы отличаются тем, что когда текущее состояние известно, только математическое ожидание будущего, но необязательно само распределение вероятностей, не зависит от прошлого. Помимо того, что теория мартингалов представляет собой важный инструмент для исследования, она обогатила новыми предельными теоремами теорию случайных процессов, возникающих в статистике, теории деления атомного ядра, генетике и теории информации.

Стационарные процессы. Самая старая из известных эргодических теорем, как отмечалось выше, может быть интерпретирована как результат, описывающий предельное поведение стационарного случайного процесса. Такой процесс обладает тем свойством, что все вероятностные законы, которым он удовлетворяет, остаются инвариантными относительно сдвигов по времени. Эргодическую теорему, впервые сформулированную физиками в качестве гипотезы, можно представить как утверждение о том, что при определенных условиях среднее по ансамблю совпадает со средним по времени. Это означает, что одну и ту же информацию можно получить из долговременного наблюдения за системой и из одновременного (и одномоментного) наблюдения многих независимых копий той же самой системы. Закон больших чисел есть не что иное, как частный случай эргодической теоремы Биркгофа. Интерполяция и предсказание поведения стационарных гауссовских процессов, понимаемых в широком смысле, служат важным обобщением классической теории наименьших квадратов. Теория стационарных процессов - необходимое орудие исследования во многих областях, например, в теории связи, которая занимается изучением и созданием систем, передающих сообщения при наличии шума или случайных помех.

Марковские процессы (процессы без последействия) играют огромную роль в моделировании систем массового обслуживания (СМО), а также в моделировании и выборе стратегии управления социально-экономическими процессами, происходящими в обществе.

Также цепь Маркова можно использовать для генерации текстов. На вход подается несколько текстов, затем строится цепь Маркова с вероятностями следования одних слов за другими и на основе данной цепи создается результирующий текст. Игрушка получается весьма занятной!


Заключение


Таким образом, в нашей курсовой работе речь шла о схеме цепей Маркова. Узнали, в каких областях и как она применяется, независимые испытания являются доказали теорему о предельных вероятностях в цепи Маркова, приводили примеры для типичной и однородной цепи Маркова, а так же для нахождения матрицы перехода.

Мы убедились в том, что схема цепей Маркова является непосредственным обобщением схемы независимых испытаний.


Список использованной литературы


Чистяков В.П. Курс теории вероятностей. 6-е изд., испр. − СПб.: Издательство «Лань», 2003. − 272 с. − (Учебник для вузов. Специальная литература).

Гнеденко Б.В. Курс теории вероятностей.

Гмурман В.Е. Теория вероятностей и математическая статистика.

Вентцель Е.С. Теория вероятностей и ее инженерные приложения.

Колмогоров А.Н., Журбенко И.Г., Прохоров А.В. Введение в теорию вероятностей. − Москва-Ижевск: Институт компьютерных исследований, 2003, 188 стр.

Кац М. Вероятность и смежные вопросы в физике.

Размещено на

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту
Нужна помощь в написании работы?
Мы - биржа профессиональных авторов (преподавателей и доцентов вузов). Пишем статьи РИНЦ, ВАК, Scopus. Помогаем в публикации. Правки вносим бесплатно.

Похожие рефераты: