Дискретные цепи Маркова. Однородные цепи Маркова. Определение.

Множество случайных величин образует цепь Маркова, если вероятность того, что следующее значение (состояние) равно зависит только от текущего состояния (значения) и не зависит от предыдущих значений процесса.

Цепь Маркова – последовательность случайных величин {ξ_n}:

P{ ξ_n =i/ ξ₀ =i₀, ξ₁ =i₁,…, ξ_n_-2 =i_n_-2, ξ_n_-1 =j}=P{ ξ_n=i/ ξ_n_-1=j}=p_ij⁽ⁿ⁾- свойство отсутствия последствий с начальным состоянием P{ ξ₀ =i} =p_i⁽⁰⁾, ⁽⁰⁾=1

p_ij⁽ⁿ⁾– вероятность перехода.

Рассмотрим путешественника, переезжающего из города в город на попутных машинах. – город, в котором он окажется в полдень n-го дня. Когда путешественник находится в некотором городе, он предпринимает первую попытку покинуть этот город вечером. Временем передвижения из города в город пренебрегаем. Если поездка не состоится, то путешественник останется в городе i до следующего вечера. Так как движение транспорта между соседними городами непредсказуемо, положение путешественника в некоторые моменты в будущем несомненно является случайной величиной. Эту случайную величину можно должным образом описать с помощью цепи Маркова.

Последовательность случайных величин образует дискретную цепь Маркова, если для всех n (n=1,2,…) и возможных значений случайной величины выполняется равенство.

Вероятность попадания путешественника в следующий город зависит только от того, в каком городе он находится в настоящее время, и не зависит от того, какие города он уже посетил.

- вероятность перехода (за 1 шаг)

Она задает условную вероятность перехода из состояния на n-1 шаге в состояние на n-м шаге процесса.

Если вероятности переходов не зависят от n, то цепь Маркова называется однородной.

- вероятность перехода на следующем шаге из состояния в состояние .

Однородная цепь Маркова – вероятности перехода p_ij⁽ⁿ⁾не зависят от времени, то есть

Вероятности перехода стационарны во времени. Если задано текущее состояние, то вероятности различных состояний через m шагов зависят только от этих m шагов и не зависят от текущего времени.

Вероятность перехода за m шагов:

Свойство отсутствия последствий – поведение процесса в будущем зависит только от фиксированного настоящего и не зависит от его прошлого.

Содержание