§ 3. Равенство Маркова
Обозначим через Рij(п) вероятность того, что в результате п шагов (испытаний) система перейдет из состояния i в состояние j. Например, Р25(10)—вероятность перехода за 10 шагов из второго состояния в пятое. Подчеркнем, что при п = 1 получим переходные вероятности
Рij(1)=pij.
Поставим перед собой задачу: зная переходные вероятности Рij, найти вероятности Рij(п) перехода системы из состояния i в состояние j за п шагов. С этой целью введем в рассмотрение промежуточное (между i и j) состояние r. Другими словами, будем считать, что из первоначального состояния i за т шагов система перейдет в промежуточное состояние r с вероятностью Рir(т), после чего за оставшиеся п—т шагов из промежуточного состояния r она перейдет в конечное состояние j с вероятностью Рrj(п—т).
По формуле полной вероятности,
(*)
Эту формулу называют равенством Маркова.
Пояснение. Введем обозначения: A—интересующее нас событие (за п шагов система перейдет из начального состояния i в конечное состояние j), следовательно, P(A)=Pij(n); Вr(r = 1, 2, ..., k)—гипотезы (за т шагов система перейдет из первоначального состояния ( в промежуточное состояние r), следовательно, Р(Вr)=Рir(m); РBr(A)—условная вероятность наступления А при условии, что имела место гипотеза Вr (за п—т шагов система перейдет из промежуточного состояния r в конечное состояние j), следовательно, РBr(A)= Рrj(п—m). По формуле полной вероятности,
,
или в принятых нами обозначениях
,
что совпадает с формулой (*) Маркова.
Покажем, что, зная все переходные вероятности рij=Рij(1), т. е. зная матрицу τ1 перехода из состояния в состояние за один шаг, можно найти вероятности Рij(2) перехода из состояния в состояние за два шага, следовательно, и саму матрицу перехода τ2 по известной матрице τ2, можно найти матрицу τ3 перехода из состояния в состояние за 3 шага, и т.д.
Действительно, положив n=2, m=1 в равенстве Маркова
,
получим
или
(**)
Таким образом, по формуле (**) можно найти все вероятности Рij(2), следовательно, и саму матрицу τ2. Поскольку непосредственное использование формулы (**) оказывается утомительным, а матричное исчисление ведет к цели быстрее, напишем вытекающее из (**) соотношение в матричной форме:
τ2=τ1 τ1=τ22
Положив n=3, m =2 в (*), аналогично получим
τ3=τ1τ2=τ1τ12=τ13.
В общем случае
τn=τ1n
Пример.Задана матрица переходаНайти матрицу перехода
Решение. Воспользуемся формулой: τ2= τ12:
Перемножив матрицы, окончательно получим
Задачи
1. Задана матрица перехода Найти матрицу перехода τ2.
Отв.
2. Задана матрица перехода Найти матрицу перехода τ3.
Отв.
- § 1. Предмет метода Монте-Карло
- § 2. Оценка погрешности метода Монте—Карло
- § 3. Случайные числа
- § 4. Разыгрывание дискретной случайной величины
- § 5. Разыгрывание противоположных событий
- § 6. Разыгрывание полной группы событий
- § 7. Разыгрывание непрерывной случайной величины.
- § 8. Метод суперпозиции
- § 9. Приближенное разыгрывание нормальной случайной величины
- § 1. Цепь Маркова
- § 2. Однородная цепь Маркова.
- § 3. Равенство Маркова