3.2.2. Исследование полумарковского процесса методом дополнительной переменной y(t)

Пусть для полумарковского процесса k(t), заданного полумарковской матрицей A(x) необходимо найти стационарное распределение вероятностей P(k) = P{k(t) = k}.

Для исследования полумарковского процесса k(t), определяемого полумарковской матрицей A(x), применение случайного процесса z(t) требует введения ещё одной дополнительной переменной, поэтому рассмотрим случайный процесс y(t), равный длине интервала от момента последнего отказа (замены элемента) до текущего момента времени t. В этом случае двумерный процесс {k(t), y(t)} является марковским процессом.

Обозначим

(10)

тогда для этого распределения вероятностей можно при t_n < t < t_n+1 = t_n + (n+1) записать следующее равенство

,

из которого получим уравнение

.

Для стационарного распределения P(k,y,t) = P{k,y} это уравнение перепишем в виде

. (11)

Для нахождения частного решения этого уравнения необходимо записать краевое по y условие для решения P(k,y) уравнения (11). Такое краевое условие получим следующим образом. При t_n<t<t_n+1=t_n+(n+1) в силу (10) можно записать

.

Поделив левую и правую части этого равенства на t и полагая, что t сходится к нулю, получим равенство

,

которое в стационарном режиме имеет вид

(12)

и определяет краевое условие при y = 0 для решения P(k,y) уравнения (11). Общее решение уравнения (11) можно записать в виде

. (13)

Для определения постоянных C(k), воспользуемся краевым условием (12), подставив в которое (13), получим равенство

которое совпадает с системой уравнений Колмогорова для стационарного распределения вероятностей r(k) значений вложенной цепи Маркова, поэтому

,

и в силу (13) запишем

.

В силу определения (10) функций P(k,y) и условия согласованности распределений одномерное маргинальное распределение P(k) имеет вид

. (14)

Отметим, что распределение (14) для полумарковского процесса совпадает с распределением вероятностей (9) для процесса марковского восстановления.