§ 1. Цепь Маркова

Цепью Маркова называют последовательность испытаний, в каждом из которых появляется только одно из k несовместных событий A₁, A₂,…,A_k полной группы, причем условная вероятность р_ij(s) того, что в s-м испы­тании наступит событие Aj(j=1,2, ...,n), при усло­вии, что в (s—1)-м испытании наступило событие A_i(i=1, 2, ...,n), не зависит от результатов предшест­вующих испытаний.

Например, если последовательность испытаний обра­зует цепь Маркова и полная группа состоит из четырех несовместных событий A₁, A₂, A₃, A₄, причем известно, что в шестом испытании появилось событие A₂ то условная вероятность того, что в седьмом испытании насту­пит событие A₄, не зависит от того, какие события поя­вились в первом, втором, .... пятом испытаниях.

Заметим, что независимые испытания являются част­ным случаем цепи Маркова. Действительно, если испы­тания независимы, от появление некоторого определенного события в любом испытании не зависит от результатов ранее произведенных испытаний. Отсюда следует, что понятие цепи Маркова является обобщением понятия независимых испытаний.

Далее используется терминология, которая принята при изложении цепей Маркова. Пусть некоторая система в каждый момент времени находится в одном из k состоя­ний: первом, втором, ..., k-м. В отдельные моменты времени в результате испытания состояние системы изме­няется, т.е. система переходит из одного состояния, например i, в другое, например j. В частности, после испытания система может остаться в том же состоянии («перейти» из состояния i в состояние j=i.

Таким образом, события называют состояниями си­стемы, а испытания—изменениями ее состояний.

Дадим теперь определение цепи Маркова, используя новую терминологию.

Цепью Маркова называют последовательность испы­таний, в каждом из которых система принимает только одно из k состояний полной группы, причем условная вероятность р_ij(s) того, что в s-м испытании система будет находиться в состоянии j, при условии, что после (s—1)-го испытания она находилась в состоянии i, не зависит от результатов остальных, ранее произведенных испытаний.

Цепью Маркова с дискретным временем называют цепь, изменение состояний которой' происходит в опре­деленные фиксированные моменты времени.

Цепью Маркова с непрерывным временем называют цепь, изменение состояний которой происходит в любые случайные возможные моменты времени.