Понятие цепи Маркова

Цепью Маркова называют последовательность испытаний, в каждом из которых появляется только одно из полной группы попарно несовместных событий , причем условная вероятность того, что в -м испытании наступило событие , ( ) при условии, что в -м испытании наступило событие , ( ), не зависит от результатов предшествующих испытаний.

Независимые испытания являются частным случаем цепи Маркова, таким образом, понятие цепи Маркова является обобщением понятия независимых испытаний. Для описания цепей Маркова целесообразно ввести некоторые новые понятия. Пусть исследуемая система в каждый момент времени находится в одном из состояний. В отдельные моменты времени в результате испытаний состояния системы изменяются, т.е. система переходит из состояния в состояние . В частности, после испытания система может остаться и в прежнем состоянии (случай ).

Таким образом, события называют состояниями системы, а испытания – изменениями ее состояний.

Цепью Маркова называется последовательность испытаний, в каждом из которых система принимает только одно из состояний полной группы, причем условная вероятность того, что в -м испытании система будет находиться в состоянии ( ) при условии, что после -го испытания она находилась в состоянии ( ), не зависит от результатов остальных, ранее произведенных испытаний.

Цепью Маркова с дискретным временем называют цепь, изменение состояний которой происходит в определенные фиксированные моменты времени.

Цепью Маркова с непрерывным временем называют цепь, изменение состояний которой происходит в любые случайные возможные моменты времени.