Предельные вероятности

Следующей важной задачей является исследование вероятностей переходов системы при неограниченном увеличении числа .

Теорема Маркова. Пусть существует такое число шагов, при которых все вероятности строго положительны (отличны от нуля). Тогда для каждого состояния существует предельная вероятность его наступления, т.е. такое число , что независимо от исходного состояния имеет место равенство .

Смысл содержащегося в теореме утверждения интуитивно понятен: вероятность того, что система окажется в состоянии не зависит от предыстории системы и мало отличается от предельной величины . Найти эти вероятности можно следующим образом. Воспользуемся доказанным ранее равенством Маркова . Если перейти к пределу при , то получим . Если дополнить это уравнение условием нормировки , то получится система уравнений, решениями которой и будут искомые величины . Причем, несложно показать, что эта система определяет величины однозначно, т.е. полученные значения единственны.