Однородные цепи Маркова

Однородной называют цепь Маркова, в которой условная вероятность перехода из состояния в состояние не зависит от номера испытания . Поэтому, вместо обычно применяют обозначение .

Условную вероятность того, что из состояния (в котором система оказалась в результате некоторого испытания безразлично какого номера) в итоге следующего испытания система перейдет в состояние переходной вероятностью. В обозначении первый индекс указывает номер предшествующего, а второй – номер последующего состояния.

Матрицей перехода системы, имеющей конечное число состояний , называют матрицу, которая содержит все переходные вероятности этой системы:

Так как в каждой строке матрицы помещены вероятности событий (перехода из одного и того же состояния в любое возможное состояние ), которые образуют полную группу событий, то сумма вероятностей этих событий равна единице. Сумма переходных вероятностей каждой строки матрицы перехода равна единице:

, ( ).