Лекция 19 (уир). Цепи Маркова с непрерывным временем.

Марковский случайный процесс называется цепью Маркова с непрерывным временем, если переходы системы из состояние в состояние происходят не в фиксированные, а в случайные моменты времени.

Время наступления событий часто предсказать заранее невозможно. Например, любая деталь устройства или агрегат могут выйти из строя в любой, непредсказуемый момент времени. Описание таких, и гораздо более сложных ситуаций возможно при использовании формализма непрерывных цепей Маркова.

Пусть система характеризуется состояниями , и переход из состояния в состояние может происходить в любой момент времени. Обозначим через вероятность того, что в момент времени система будет находиться в состоянии . Требуется определить для любого момента времени вероятности состояний . При этом, очевидно, должно выполняться условие нормировки

.

Для процесса с непрерывным временем вместо переходных вероятностей рассматриваются плотности вероятностей перехода , представляющие собой предел отношения вероятности перехода системы за время из состояния в состояние к величине :

, (1)

где - вероятность того, что система, пребывавшая в момент в состоянии , за время перейдет из него в состояние ; при этом всегда .

Если , то процесс называется однородным, если же , то – неоднородным.

При рассмотрении непрерывных марковских процессов принято считать, что переходы системы происходят под влиянием некоторых потоков событий.

Потоком событий называется последовательность событий, следующих одно за другим через какие-то случайные интервалы времени. Плотность вероятности перехода интерпретируется как интенсивность соответствующих потоков событий. Если все эти потоки пуассоновские, то процесс, протекающий в системе, является марковским.

Марковские процессы удобно иллюстрировать с помощью графа состояний (Рис. 1), где кружками обозначены состояния системы, а стрелками – возможные ее переходы. Задержки в прежнем состоянии изображают “петлей”, т.е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным.

Рис. 1. Граф состояний системы .

Как правило, в графе состояний над стрелками проставляют соответствующие переходам интенсивности . Такой граф называют размеченным.