3. Цепи Маркова

Литература. [8], гл. 8, § 1—3, задачи 1—6, 8, 9.

Цепью Маркова называют последовательность испытаний, в каждом из которых система принимает одно из k состояний, образующих полную группу, причем условная вероятность P_ij(s) того, что в s-м испытании система будет находиться в состоянии j, при условии, что в (s—1)-м испытании она находилась в состоянии i, не зависит от результатов остальных, ранее произведенных испытаний.

Однородной называют цепь Маркова, если условная вероятность p_ij(s) появления событий А, в s-м испытании при условии, что в предшествующем (s—1)-м испытании наступило событие A_t, не зависит от номера испытания (или, что то же, от времени). Поэтому вместо p_ij(s) пишут просто р_ij.

Вероятностью перехода (или переходной вероятностью) p_ij называют условную вероятность того, что из состояния i (в котором система оказалась в результате некоторого испытания, безразлично с каким номером) в итоге следующего испытания система перейдет в состояние j. Таким образом, в обозначении р_ij; первый индекс указывает номер предшествующего, а второй — номер последующего состояния. Например, р₁₁ — вероятность «перехода» из первого состояния в первое; p₂₃ — вероятность перехода из второго состояния в третье.

Пусть число всех возможных состояний конечно и равно k.

Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:

В каждой строке матрицы помещены вероятности событий (перехода системы из состояния i в состояние j), которые образуют полную группу, поэтому сумма вероятностей этих событий равна единице:

Обозначим через p_ij(n) вероятность того, что в результате n шагов (испытаний) система перейдет из состояния i в состояние j. Например, р₂₅(10)—вероятность перехода за 10 шагов из второго состояния в пятое. Отметим, что при n=1 получаем переходные вероятности p_ij(1)=p_ij.

Поставим задачу: зная переходные вероятности р_ij, найти вероятности p_ij(n) перехода системы из состояния i в состояние j за n шагов. Для этого введем промежуточное (между i и j) состояние r. Другими словами, будем считать, что из первоначального состояния i за m шагов система перейдет в промежуточное состояние r с вероятностью p_ij(m), после чего за оставшиеся n—м шагов из промежуточного состояния r она перейдет в конечное состояние j с вероятностью р_ij(n—m). По формуле полной вероятности получаем

Эту формулу называют равенством Маркова.

Покажем, что, зная все переходные вероятности p_ij=p_ij(1), т. е. зная матрицу Р₁ перехода из состояния в состояние за один шаг, можно найти вероятности р_ij(2) перехода из состояния в состояние за два шага, а следовательно, и саму матрицу перехода Р₂; по известной матрице Р₂ можно найти матрицу Р₃ перехода из одного состояния в другое состояние за три шага и т. д. Действительно, полагая n=2, m=1 в равенстве Маркова, получим

или

С помощью этой формулы можно найти все вероятности p_ij(2), а следовательно, и саму матрицу Р₂. Так как матричное исчисление ведет к цели быстрее, запишем вытекающее из полученной формулы соотношение в матричной форме:

Полагая n=3, m=2, аналогично получим

В общем случае Р_n= Р^π₁

Пример 8. Задана матрица перехода

Найти матрицу перехода

Решение. Воспользуемся формулой :

Перемножив матрицы, окончательно получим

Вопросы для самопроверки

1. Дайте определение цепи Маркова и сформулируйте ее основные свойства.

2. Что называется переходной вероятностью (вероятностью перехода)?

3. Что называется стационарным распределением?

4. Сформулируйте теорему о предельных вероятностях.