1.2.2. Прямая система дифференциальных уравнений Колмогорова

Обратимся вновь к уравнению Чепмена-Колмогорова

.

Выполнив преобразования аналогичные предыдущим, нетрудно получить систему

. (8)

которая называется прямой системой дифференциальных уравнений Колмогорова. Для однородных цепей Маркова прямая система уравнений имеет вид

. (9)

Если к этой системе добавить начальные условия (7), то переходные вероятности p_ij(t) определяются однозначно. Если число состояний системы конечно, то решение прямой и обратной систем уравнений совпадают.

Для неоднородных цепей Маркова для системы (8) краевые условия заданы на левой границе области изменения переменной t и определяются условием стохастической непрерывности цепи Маркова в виде

.

Прямую систему уравнений можно применять для нахождения распределения вероятностей P(j,t)=P{ξ(t)=j} состояний системы. Пусть

q(i,s)= P{ξ(s)=i}

начальное распределение вероятностей значений цепи Маркова в момент времени s, тогда по формуле полной вероятности запишем

,

поэтому, домножив уравнения системы (8) на q(i,s) и суммируя их по i, получим равенства

,

которые являются системой дифференциальных уравнений относительно вероятностей P_i(t) значений цепи Маркова. Для этой системы начальные условия, определяемые в момент времени s имеют вид

P_i(s) = q(i,s),

где q(i,s) – заданное распределение вероятностей.