Цепи Маркова в теории вероятности и их приложения

курсовая работа

3. Теорема возвратного состояния

Теорема. Состояние еi является возвратным тогда и только тогда, когда

.

Доказательство. Возвратность состояния еi означает, что

,

Это предельное соотношение равносильно тому, что

.

Но, как легко видеть

Таким образом, возвратность состояния еi равносильна тому, что ряд расходится. Для завершения доказательства остается лишь напомнить, что ип = рii(п).

Теорема. Если исходное состояние еi является возвратным, то система с вероятностью 1 за бесконечное число шагов бесконечно много раз возвратится в еi. Если это состояние является невозвратным, то за бесконечное число шагов система с вероятностью 1 лишь конечное число раз побывает в состоянии еi, другими словами, после некоторого конечного числа шагов она никогда больше не возвращается в еi.

Доказательство. Обозначим н1 -- число шагов до первого возвращения в состояние еi, н2 -- число шагов до второго возвращения и т. д. Если за бесконечное числа шагов происходит меньше k возвращений, то полагаем нk=?. Событие {нk < ?} означает, что произошло по меньшей мере k возвращений. Вероятность возвращения есть

.

При условии осуществления события {н1 < ?} система через некоторое конечное число шагов н1 возвращается в исходное состояние еi, после чего ее дальнейшее поведение подчиняется тем же закономерностям, как если бы она только начинала свое движение. Таким образом, вероятность события {н2< ?} при условии, что {н1 < ?}, будет равна х:

.

Очевидно, если н1=?, то также и н2=?. Поэтому

.

Совершенно аналогично при любом k

, .

Невозвратность состояния еi означает, что х<1. В этом случае

.

и, согласно первой лемме Бореля -- Кантелли, с вероятностью 1 может произойти лишь конечное число событий вида {нk < ?}, т. е. с вероятностью 1 за бесконечное число шагов система лишь конечное число раз побывает в состоянии еi.

Возвратность состояния еi означает, что х=1. В этом случае при любом k

.

Обозначим х число возвращений за бесконечное число шагов. Очевидно, событие {х ? k} тождественно с событием {нk < ?}, так что, если P{нk < ?} =1 при всех k, то с вероятностью 1 величина x превосходит любое наперед заданное число k. Это значит, что

.

Теорема доказана.

Делись добром ;)