Цепи Маркова в теории вероятности и их приложения
3. Теорема возвратного состояния
Теорема. Состояние еi является возвратным тогда и только тогда, когда
.
Доказательство. Возвратность состояния еi означает, что
,
Это предельное соотношение равносильно тому, что
.
Но, как легко видеть
Таким образом, возвратность состояния еi равносильна тому, что ряд расходится. Для завершения доказательства остается лишь напомнить, что ип = рii(п).
Теорема. Если исходное состояние еi является возвратным, то система с вероятностью 1 за бесконечное число шагов бесконечно много раз возвратится в еi. Если это состояние является невозвратным, то за бесконечное число шагов система с вероятностью 1 лишь конечное число раз побывает в состоянии еi, другими словами, после некоторого конечного числа шагов она никогда больше не возвращается в еi.
Доказательство. Обозначим н1 -- число шагов до первого возвращения в состояние еi, н2 -- число шагов до второго возвращения и т. д. Если за бесконечное числа шагов происходит меньше k возвращений, то полагаем нk=?. Событие {нk < ?} означает, что произошло по меньшей мере k возвращений. Вероятность возвращения есть
.
При условии осуществления события {н1 < ?} система через некоторое конечное число шагов н1 возвращается в исходное состояние еi, после чего ее дальнейшее поведение подчиняется тем же закономерностям, как если бы она только начинала свое движение. Таким образом, вероятность события {н2< ?} при условии, что {н1 < ?}, будет равна х:
.
Очевидно, если н1=?, то также и н2=?. Поэтому
.
Совершенно аналогично при любом k
, .
Невозвратность состояния еi означает, что х<1. В этом случае
.
и, согласно первой лемме Бореля -- Кантелли, с вероятностью 1 может произойти лишь конечное число событий вида {нk < ?}, т. е. с вероятностью 1 за бесконечное число шагов система лишь конечное число раз побывает в состоянии еi.
Возвратность состояния еi означает, что х=1. В этом случае при любом k
.
Обозначим х число возвращений за бесконечное число шагов. Очевидно, событие {х ? k} тождественно с событием {нk < ?}, так что, если P{нk < ?} =1 при всех k, то с вероятностью 1 величина x превосходит любое наперед заданное число k. Это значит, что
.
Теорема доказана.