Вычисление предельных вероятностей эргодической цепи Маркова (на основе примера).

Эргодическое состояние

Эргодическая цепь Маркова, если все состояния цепи эргодичны.

Если:

(распределение как функция вероятностей) от n всегда сходится к некоторому предельному стационарному распределению , которое не зависит от начального распределения вероятностей.

Цепь Маркова конечна, если число состояний конечно неприводимая цепь Маркова типа 1 из теоремы 2 (возвратная нулевая или невозвратная) не может быть конечной.

Все состояния конечной апериодической неприводимой цепи Маркова эргодичны.

Предельные вероятности эргодической цепи Маркова часто называют вероятностями состояния равновесия, имея при этом в виду, что влияние начального распределения вероятностей полностью отсутствует.

Цепь Маркова называется эргодической (регулярной), если для любых двух состояний x_k, x_l справедливо равенство: -по мере увеличения числа шагов i влияние начального состояния x_k уменьшается и при достаточно большом i становится ничтожно малым.

Условие эргодичности однородных цепей: если при некотором i>0 все элементы матрицы L(i) положительны, то существуют постоянные числа p_l(l=1,2,…,n), что независимо от индекса k имеет место равенство, приведенное выше. N-число возможных состояний цепи Маркова.

Из определения матрицы L(i) следует:

Предел L(i), когда i→∞ - предельная матрица L. Aⁱ –матрица перехода.

Возьмем вектор начальных вероятностей p⁰=[p₁⁽⁰⁾, p₂⁽⁰⁾, … , p_n⁽⁰⁾] эргодической цепи Маркова и найдем предел к которому стремится вектор p⁽ⁱ⁾ при i→∞:

Подставляя выражение для предельной матрицы L, запишем в развернутом виде:

После перемножения (строка на столбец) имеем:

Учитывая, что сумма компонентов вектора вероятности на любом шаге i всегда равна единице:

, так как цепь Маркова обязательно принимает одно из значений x₁,…, x_n.

Получаем: . При возрастании числа шагов i вектор вероятности принимает постоянное значение p, которое называется предельным. Предельный вектор не зависит от вектора начальных вероятностей p⁽⁰⁾, а определяется предельной матрицей L. Каждая строка предельной матрицы – это предельный вектор p.

Пример:

Поместим нашего путешественника в фантастическую страну Гатафиа.

Диаграмма перехода из одного состояния в другое:

Стрелки – дозволенные направления на дорогах (передвижение); числа – вероятности того, что путешественник найдет попутную машину, идущую по этой дороге, при условии что он попытается выбраться из города в направлении, соответствующем исходящей стрелке.

Вероятность оставания в городе Саксимад до следующего дня равна ½.

Матрица вероятностей переходов :

Вектор вероятностей

;

;

Решив систему, имеем:

Вектор вероятностей в момент n:

;

Решение для не зависит от начального распределения вероятностей. С вероятностью 1 он начинает путь в момент 0 из города Абра: .