Классификация цепей Маркова. Основные определения и понятия, характеристики.

В ероятности   могут использоваться для определения возможности возвращения в состояние i после того, как было проведено большое число шагов n, т. е. для определения, имеет ли   при росте n предел, отличный от нуля, а также для проверки того, насколько эта возможность в смысле вероятности близка к нулю. В первом случае речь идет о возвратных (рекуррентных), во втором — о невозвратных (транзитивных) состояниях. Рекуррентные состояния могут быть:

• Эргодическими – возврат к исходному состоянию может произойти через любое число шагов; 

• Периодическими – возврат может произойти только по прошествии конечного числа шагов; 

• Рекуррентными – в случае бесконечного числа шагов.

Различать достижимые и недостижимые состояния позволяют вероятности перехода за n шагов p_ij⁽ⁿ⁾. К состоянию j можно прийти от состояния i, если p_ij⁽ⁿ⁾>0, то есть если существуют ненулевые вероятности перехода из состояния i в состояние j по прошествии n шагов. В противном случае состояние j недостижимо из состояния i.

Последовательные (сообщающиеся)- взаимно достижимые состояния.

Совокупность сообщающихся состояний называется замкнутой (изолированной, эквивалентной) группой.

Если цепь имеет одну такую группу, она называется неразложимой (неприводимой).

Цепь Маркова называют неприводимой, если каждое её состояние может быть достигнуто из любого другого состояния.

Е сли все состояния цепи образуют одну замкнутую группу и являются эргодическими, то цепь называется регулярной. Если для одного или нескольких состояний   (сохранение состояния i достоверно) и к ним есть переход, то система постепенно задерживается в этом состоянии. В этом случае говорят о поглощающих (абсорбционных) состояниях. Остальные состояния обязательно должны быть транзитивными, так как постепенно их вероятности приближаются к нулю.

Приводимая цепь -это означает, что можно получить нулевые подматрицы, перенумеровав состояния в переходной матрице.

Вероятность первого перехода - вероятности того, что через n шагов после начала процесса перехода из состояния i впервые появится состояние j:

.

Для i = j можно говорить о вероятности первого возвращения.

Для каждой пары состояний и существует целое число , которое может зависеть от i и j.

множество всех возможных состояний цепи Маркова.

Замкнутое подмножество : Нельзя за один шаг перейти из произвольного состояния подмножества в произвольное состояние подмножества (дополнение множества

произвольного состояния подмножества ).

Поглощающее подмножество : состоит из одного состояния, например . Необходимое и достаточное условие .

Неприводимая цепь: А – замкнуто и не содержит в себе другого замкнутого подмножества.

Приводимая цепь Маркова: А содержит замкнутые подмножества.

Если путешественник захочет возвратиться в город, в котором он уже побывал, нужно найти вероятность

– первое возвращение в состояние через n шагов после ухода из этого состояния.

Возвращение путешественника в город j:

Состояние возвратное, если . Невозвратное состояние , если .

Если единственными возможными шагами возвращения в являются шаги j, 2j, 3j,…(j > 1 – наименьшее целое число, обладающее таким же свойством), то состояние - периодическое с периодом j.

Апериодическое состояние , если j=1.

Рассмотрим :

Среднее время возвращения в :

- возвратное нулевое состояние

- возвратное ненулевое состояние