1.1. Определение и основные свойства цепи Маркова с непрерывным временем

Определение. Процесс ξ(t) с дискретным множеством состояний =1,2,… называется цепью Маркова с непрерывным временем, если для любых моментов времени и любых значений процесса ξ(t), выполняется условие

. (1)

Здесь p_ij(s,t) – вероятность перехода цепи Маркова из -го состояния в -е за промежуток времени [s,t].

Если вероятность p_ij(s,t) зависит лишь от разности моментов времени

p_ij(s,t) =p_ij(t-s)=p_ij(τ),

то цепь Маркова называется однородной.

Однородные цепи Маркова полностью определяются матрицей вероятностей переходов P(t)={p_ij(t)} и начальным распределением q_i =P{ξ(0)=i}. Действительно, применяя формулу полной вероятности, можно определить вероятности состояний в любой момент времени

.

Отметим свойства переходных вероятностей

1. p_ij(t)≥0;

2. ;

3. уравнение Чепмена-Колмогорова для однородных цепей Маркова с непрерывным временем

, (2)

для неоднородных аналогично

, (3)

4. условие стохастической непрерывности цепи Маркова

Это условие означает, что с вероятностью единица система (процесс) не изменит своего состояния за бесконечно малый промежуток времени τ → 0. Следует отметить, что стохастическая непрерывность не означает непрерывности реализаций случайного процесса. Это тем более очевидно в данном случае, так как множество значений цепи Маркова дискретно, то есть реализации разрывны, тем не менее, условие стохастической непрерывности выполнено. Происходит это потому, что разрывы каждой реализации цепи Маркова реализуются в случайные моменты времени и вероятность того, что разрыв произойдёт именно в данной точке t, равна нулю.

Сформулируем и докажем несколько теорем относительно вероятностей p_ij(t).

Теорема 1. Для однородной цепи Маркова вероятности p_ij(t) непрерывны по t.

Доказательство.

Рассмотрим

,

то есть p_ij(t) непрерывны справа.

С дугой стороны

.

Выполнив в этом равенстве предельный переход при h→0, получим

,

то есть p_ij(t) непрерывны слева, следовательно, они непрерывны.

Теорема доказана.

Теорема 2. Для вероятность p_ii(t)>0.

Доказательство.

В силу стохастической непрерывности найдём такое , что для выполняется неравенство p_ii(t)>0.

Пусть t произвольно. Всегда можно найти такое n, что t/n≤h, тогда

.

Теорема доказана.

Теорема 3. Если для некоторого t₀ выполняется неравенство p_ij(t₀)>0, то и для всех t≥t₀ аналогично p_ij(t)>0.

Доказательство.

Это утверждение очевидно следует из уравнения Чепмена-Колмогорова

,

причём строгое неравенство следует из теоремы 2.

Теорема 4. Для цепи Маркова с непрерывным временем существует предел

,

хотя и может быть бесконечным.

Теорема 5. Для цепи Маркова с непрерывным временем существует и конечен предел

.

Величины q_ij(t) имеют смысл интенсивности перехода цепи Маркова из состояния i в состояние j. Эти величины называются инфинитезимальными характеристиками цепи Маркова с непрерывным временем.

Из определения инфинитезимальных характеристик следует, что выполняются равенства

p_ij(t,t+Δt) = q_ij(t)Δt+o(Δt), i≠j,

p_ii(t,t+Δt) = 1+q_ii(t)Δt+o(Δt),

. (4)