Равенство Маркова

Обозначим через вероятность того, что через шагов (после испытаний) система перейдет из состояния в состояние . Очевидно, что при получим переходные вероятности . По известным переходным вероятностям нужно найти вероятность перехода системы из состояния в состояние через шагов. Для этого введем в рассмотрение промежуточное (между и ) состояние , т.е. будем считать, что из первоначального состояния за шагов система переходит в состояние , с вероятностью , после чего за оставшиеся шагов из промежуточного состояния она перейдет в конечное состояние с вероятностью . По формуле полной вероятности:

.

Полученное выражение называется равенством Маркова.

Если в равенстве Маркова предположить, что , а , то получим:

.

Таким образом, можно найти все вероятности , а значит и матрицу . Далее предположим, что , а , тогда по аналогии с предыдущими рассуждениями, получим .

В общем случае .