4.4. Полумарковские потоки

Рассмотрим двумерный однородный марковский случайный процесс {ξ(n), τ(n)} с дискретным временем n = 0,1,2,3,…, первая компонента ξ(n), которого принимает значения из некоторого дискретного множества. Для определённости будем полагать, что

ξ(n) = k = 1,2,3,… .

Вторая компонента τ(n) рассматриваемого процесса принимает неотрицательные значения (вообще говоря, из непрерывного множества).

По определению, марковской переходной функцией F(k₂,x; k₁,y) двумерного однородного марковского случайного процесса {ξ(n), τ(n)} называется

F(k₂, x; k₁, y) = P{ξ(n +1) = k₂, τ(n + 1) < x | ξ(n) = k₁, τ(n) = y}. (1)

Будем рассматривать только такие двумерные случайные процессы {ξ(n), τ(n)}, для марковских переходных функций которых выполняются равенства

F(k₂, x; k₁, y) = F(k₂, x; k₁), (2)

то есть условное распределение (1.1) не зависит от второго условия (не зависит от значений второй компоненты). В этом случае марковскую переходную функцию F(k₂, x; k₁) будем обозначать

=.

Определение. Матрицу A(x), элементами которой являются функции , будем называть полумарковской.

Определение. Случайный поток однородных событий

t₁ < t₂ < … < t_n < …

будем называть полумарковским или SM-потоком, заданным матрицей A(x), если последовательность моментов t_n наступления его событий определяется равенством

t_n+1 = t_n + τ(n + 1). (3)

В силу свойства (2), первая компонента ξ(n) рассматриваемого двумерного марковского процесса {ξ(n), τ(n)} также является марковским процессом, точнее цепью Маркова с дискретным временем и матрицей P вероятностей переходов за один шаг, определяемой равенством

P = A(∞).

Эта цепь Маркова для рассматриваемого SM-потока называется вложенной по моментам времени (3).

Вторая компонента τ(n), вообще говоря, является немарковским процессом (последовательностью зависимых случайных величин), но для её элементов можно определить условные функции распределения

,

а также по формуле полной вероятности в стационарном режиме и безусловную функцию распределения

,

где r(k) – стационарное распределение вероятностей значений цепи Маркова ξ(n), которое определяется системой уравнений

.

Эту систему уравнений можно переписать в матричном виде, обозначив векторы

r = {r(1), r(2), …}, E = {1,1,…}^T,

следующим образом

r = rP, rE = 1.

Определение. Если компоненты ξ(n), τ(n) двумерного процесса {ξ(n), τ(n)}, условно независимы, то есть для элементов полумарковской матрицы A(x) выполняется равенство

A_kν(x) = A_k(x)P_kν,

то полумарковский поток будем называть потоком марковского восстановления.