33.1. Цепи Маркова.

Цепью Маркова называют последовательность испытаний, в каждом из которых появляется только одно из k несовместных событий и полной группы, причем условная вероятность того, что в s-м испытании наступит событие при условии, что в (s—1)-м испытании наступило событие , не зависит от результатов предшествующих испытаний.

Например, если последовательность испытаний образует цепь Маркова и полная группа состоит из четырех несовместных событий , причем известно, что в шестом испытании появилось событие , то условная вероятность того, что в седьмом испытании наступит событие не зависит от того, какие события появились в первом, втором, ..., пятом испытаниях.

Заметим, что независимые испытания являются частным случаем цепи Маркова. Действительно, если испытания независимы, от появление некоторого определенного события в любом испытании не зависит от результатов ранее произведенных испытаний. Отсюда следует, что понятие цепи Маркова является обобщением понятия независимых испытаний.

Далее используется терминология, которая принята при изложении цепей Маркова. Пусть некоторая система в каждый момент времени находится в одном из kсостояний: первом, втором, ....k-м. В отдельные моменты времени в результате испытания состояние системы изменяется, т. е. система переходит из одного состояния, напримерi, в другое, напримерj. В частности, после испытания система может остаться в том же состоянии

(«перейти» из состояния iв состояниеj=i).

Таким образом, события называют состояниями системы, а испытания — изменениями ее состояний.

Цепью Маркова называют последовательность испытаний, в каждом из которых система принимает только одно из kсостояний полной группы, причем условная вероятность того, что вs-м испытании система будет находиться в состоянииj, при условии, что после (s—1)-го испытания она находилась в состоянииi, не зависит от результатов остальных, ранее произведенных испытаний.

Цепью Маркова с дискретным временем, называют цепь, изменение состояний которой происходит в определенные фиксированные моменты времени.

Цепью Маркова с непрерывным временем называют цепь, изменение состояний которой происходит в любые случайные возможные моменты времени.

Однородной называют цепь Маркова, если условная вероятность (перехода из состояния i в состояние j) не зависит от номера испытания. Поэтому вместо пишут просто .

Пример. Случайное блуждание. Пусть на прямой Ох в точке с целочисленной координатой х = nнаходится материальная частица. В определенные моменты времени частица испытывает толчки. Под действием толчка частица с вероятностью р смещается на единицу вправо и с вероятностью 1 — р— на единицу влево. Ясно, что положение (координата) частицы после толчка зависит от того, где находилась частица после непосредственно предшествующего толчка, и не зависит от того, как она двигалась под действием остальных предшествующих толчков.

Таким образом, случайное блуждание — пример однородной цепи Маркова с дискретным временем.