стационарное математическое ожидание для марковского процесса

stel_s

Знакомый попросил запостить:
Подскажите пожалуйста с задачкой: найти стационарные вероятности и стационарное математическое ожидание для марковского процесса, заданного графом переходов состояний. Не было у меня курса случайных процессов, а решить задачку надо. Может быть где-то есть пример подобный. Перерыл весь тырнет толком найти инфу не смог.

a7137928

Выписать переходную матрицу.
Видимо, тебе должен быть задан граф примерно такого вида: вершины - это состояния, рёбра - возможные переходы между состояниями, над рёбрами написано, с какой вероятностью переходишь из одного состояния в другое. Нумеруешь состояния от 1 до n, по этому графу строишь матрицу: переходных вероятностей:
[math]$P_{ij}=\mathbf P\{x_{n+1}=j | x_n=i\}, i,j=1\ldots n$[/math]
Матрица Р должна быть стохастической, естественно.
2. Решаешь систему уравнений
[math]$\pi\cdot P = \pi$[/math]
относительно вектор-строки \pi. Нормируешь этот вектор так, чтобы
[math]$\sum\limits_{i=1}^n \pi_i=1$[/math]
Этот вектор есть стационарное распределение цепи. В тексте задачи как будто подразумевается, что он единственный, хотя в общем случае там могут быть разные ситуации.
Дальше считаешь стационарное мат.ожидание. Да, видимо, у тебя состояния как-то уже обозначены числами, т.е. не надо их перенумеровывать.

natunchik

В тексте задачи как будто подразумевается, что он единственный, хотя в общем случае там могут быть разные ситуации.
Я правильно понимаю, что разные ситуации могут быть только в случае несвязного графа, кстати?

a7137928

В целом, да.
Но если формально, то надо аккуратно сказать, что такое "связный граф" в данном случае, поскольку это же не просто граф, а "ориентированный подписанный граф" (термин неправильный, но правильный не помню там над каждым ребром какое-то число стоит. Так что для начала надо исключить рёбра, по которым нулевая вероятность перехода.
Потом граф разбивается на связные компоненты, т.е. такие группы вершин, что в пределах одной группы можно с ненулевой вероятностью попасть из любой вершины в любую за конечное число шагов ("конечное" - обобщение на случай счётной цепи). Каждое такое подмножество вершин называется эргодической компонентой. Марковская цепь, попадая за какое-то число шагов в эргодическую компоненту, крутится по ней до бесконечности, с ненулевой вероятностью возвращаясь бесконечное число раз в каждое состояние.
Могут обнаружиться ещё несущественные (невозвратные) состояния, из которых можно уйти в какую-то эргодическую компоненту, но вернуться назад нельзя.
После того, как выделены эргодические компоненты, можно смотреть на стационарные распределения. На каждой компоненте есть своё стац. распределение (единственное). Если компонента всего одна, то цепь обладает единственным стац.распределением, а если есть несколько компонент, то любая выпуклая комбинация стац.распределений на компонентах будет являться стац. распределением для всей цепи.
В счётном случае бывают ещё такие нехорошие невозвратные цепи, у которых вообще нет эргодических компонент. Ну там уже другая история.
Оставить комментарий
Имя или ник:
Комментарий: