Цепи Маркова в теории вероятности и их приложения

курсовая работа

4. Достижимые возвратные состояния

Говорят, что состояние еj достижимо из еi, если за некоторое число шагов система с положительной вероятностью переходит из еi в еj т. е. pij(M)>0 при некотором М.

Пусть еi -- возвратное состояние еj достижимо из еi. Тогда еi в свою очередь достижимо из еj, так как в противном случае, выходя из еi система за М шагов с положительной вероятностью рij (М)=б>0 попадает в состояние еj, после чего уже не может вернуться в еi; таким образом, вероятность возвращения в еi будет не больше, чем 1--б, а это противоречит возвратности еi. Итак, если еj достижимо из возвратного состояния еi, то в свою очередь еi достижимо из еj, т. е. pij(N)=в>0 при некотором N. Как следует из формулы (8.7), при любом п

,

откуда

,

.

Эти неравенства показывают, что ряды

,

сходятся или расходятся одновременно. Согласно условию (8.11), для возвратного состояния еi ряд расходится. Поэтому также и

Следовательно, состояние еj является возвратным. Мы пришли к следующему результату.

Теорема. Если состояние еj достижимо из возвратного состояния еi, то еj также является возвратным, причем еi в свою очередь достижимо из еj.

Следствие. Если цепь Маркова имеет лишь конечное число состояний, причем каждое из них достижимо из любого другого состояния, то все они являются возвратными.

Действительно, если имеется лишь конечное число состояний, то за бесконечное число шагов хотя бы в одном из них система обязательно побывает бесконечное число раз. Следовательно, хотя бы одно состояние является возвратным, а поскольку по условию из него можно с положительной вероятностью перейди в любое другое состояние, все они будут возвратными.

Делись добром ;)