Переходные вероятности. Матрица перехода.

Переходной вероятностью называют условную вероятность того, что из состояния в итоге следующего испытания система перейдет в состояние . Таким образом, индекс относится к предшествующему, а - к последующему состоянию.

Будем считать, что число состояний конечно и равно k.

Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:

,

где представляют вероятности перехода за один шаг.

Отметим некоторые особенности матрицы перехода.

• Элементы каждой строки матрицы представляют собой вероятности всех возможных переходов за один шаг из выбранного состояния, в том числе и вероятность отсутствия перехода (элемент строки с равными индексами)

• Элементы столбцов задают вероятности всех переходов системы за один шаг в заданное состояние

• Так как в каждой строке матрицы помещены вероятности событий (т.е. вероятности перехода из состояния в любое возможное состояние ), которые образуют полную группу, то сумма вероятностей этих событий равна единице:

• По главной диагонали матрицы перехода стоят вероятности того, что система не выйдет из состояния, а останется в нем.