1.6. Время пребывания цепи Маркова в j-ом состоянии

Пусть величина τ_j – остаточное время пребывания цепи Маркова в j-ом состоянии. Обозначим её закон распределения B_j(x)=P{τ_j ≥ x}, тогда, используя марковское свойство цепи, можно записать равенство

B_j(x+Δx) = p_jj(Δx)B_j(x) = {1 + q_jjΔx}B_j(x) + o(Δx) = B_j(x) +q_jj Δx B_j(x) + o(Δx),

выполнив в котором несложные преобразования, получим уравнение

,

определяющее вид функции B_j(x).

Из полученного дифференциального уравнения следует, что

B_j(x) = exp{q_jjx},

следовательно величина τ_j имеет экспоненциальное распределение с параметром –q_jj. В силу свойства отсутствия последействия экспоненциального распределения, полное (не остаточное) время пребывания цепи Маркова в j-ом состоянии также имеет экспоненциальное распределение с тем же параметром –q_jj. Среднее значение этого времени составляет –1/q_jj.

Таким образом равенство (14) можно переписать в виде

,

следовательно финальная (стационарная) вероятность π_j равна отношению среднего значения времени пребывания цепи Маркова в -ом состоянии к сумме этого значения и среднего значения T_j – времени возвращения в это состояние, то есть вероятность π_j имеет смысл доли времени проведённого цепью в состоянии j.