2. Марковські випадкові процеси. Ланцюги Маркова

Серед випадкових процесів, що широко застосовуються для створення стохастичних (імовірних) моделей, котрі описують процеси функціювання певних систем технічного , економічного, екологічного та соціального профілю, центральне місце належить марковським.

Випадковий процес X(t) називають марковським, якщо за будь-якого можливого значення часу t = t₁ значення випадкової величини x(t₁) не залежить від того, яких значень ця величина набувала для t<t₁, тобто процес у момент часу t = t₁ не залежить від його поведінки в більш ранні моменти часу t < t₁.

Марковський процес X(t) називають однорідним, якщо закономірності його поведінки на будь-якому проміжку часу не залежать від розміщення цього інтервалу на часовій осі.

Нехай X(t) – однорідний марковський процес з обмеженим , або зліченим, числом можливих станів i =0,1,2,3,…,n,…

Якщо аргумент t набуває лише значення 0,1,2,3,…n, то в цьому разі матимемо послідовність переходів

Такий процес послідовностей переходів називають ланцюгом Маркова.

При розробленні теорії ланцюгів Маркова часто дотримуються іншої термінології, а саме: розглядається певна фізична система S, яка в кожний момент часу може перебувати в одному з несумісних станів А₁, А₂, А₃,…А_k,…і змінювати свій стан лише в моменти часу t₁, t₂, t₃,… t_k,…

Процес переходу системи S утворює ланцюг Маркова, якщо ймовірність перейти в стан А_j в момент часу залежить лише від того, в якому стані система перебувала в момент часу, і не залежить від стану системи у попередні моменти часу.

Імовірність переходу зі стану в станв момент часупозначають через

Повна ймовірна картина всіх можливих переходів систем із одного стану в інший за умови, що число всіх станів дорівнює , безпосередньо описується матрицею ймовірностей переходу

Якщо не залежить від часу, то ланцюг Маркова називають однорідним і тодіА тому для однорідних ланцюгів Маркова матриця ймовірностей переходу набуває такого вигляду

Для кожного рядка матриць виконується рівність

Матрицю називаютьn –кроковою матрицею переходу з одного стану в інший.