2. Марковські випадкові процеси з дискретними станами

Випадковий процес, що протікає в деякій системі S з можливими станами S₁, S₂, S₃, …, називається Марковським, або випадковим процесом без наслідку, якщо для будь-якого моменту часу t₀ імовірні характеристики процесу в майбутньому (при t>t₀) залежить тільки від його стану в цей момент t₀ і не залежать від того, коли і як система прийшла в цей стан; тобто не залежать від її поводження в минулому (при t<t₀).

Прикладом Марковського процесу: система S - лічильник у таксі. Стан системи в момент t характеризується числом кілометрів (десятих часток кілометрів), пройдених автомобілем до даного моменту. Нехай у момент t₀ лічильник показує S₀/ Імовірність того, що в момент t>t₀ лічильник покаже те або інше число кілометрів (точніше, що відповідає число рублів) S₁ залежить від S₀, але не залежить від того, у які моменти часу змінилися показання лічильника до моменту t₀.

Багато процесів можна приблизно вважати Марковськими. Наприклад, процес гри в шахи; система S - група шахових фігур. Стан системи характеризується числом фігур супротивника, що збереглися на дошці в момент t₀. Імовірність того, що в момент t>t₀ матеріальна перевага буде на боці одного із супротивників, залежить у першу чергу від того, у якому стані перебуває система в цей момент t_0, а не від того, коли й у якій послідовності зникли фігури з дошки до моменту t₀.

У ряді випадків передісторією розглянутих процесів можна просто зневажити й застосовувати для їхнього вивчення Марковські моделі.

Марковським випадковим процесом з дискретними станами й дискретним часом (або ланцюгом Маркова) називається Марковський процес, у якому його можливі стани S₁, S₂, S_3, … можна заздалегідь перелічити, а перехід зі стану в стан відбувається миттєво (стрибком), але тільки в певні моменти часу t_0, t_1, t_2, ..., називані кроками процесу.

Позначимо p_ij - імовірність переходу випадкового процесу (системи S) зі стану I у стан j. Якщо ці ймовірності не залежать від номера кроку процесу, то такий ланцюг Маркова називається однорідної.

Нехай число станів системи звичайно й дорівнює m. Тоді її можна характеризувати матрицею переходу P₁, що містить всі ймовірності переходу:

p₁₁ p₁₂ … p_1m

p₂₁ p₂₂ … p_2m

… … … …

P_m1 p_m2 … p_mm

Природно, по кожному рядку ? p_ij = 1, I = 1, 2, …, m...

Позначимо p_ij(n) - імовірністю того, що в результаті n кроків система перейде зі стану I у стан j. При цьому при I = 1 маємо ймовірності переходу, що утворять матрицю P₁, тобто p_ij(1) = p_ij

Необхідно, знаючи ймовірності переходу p_ij, знайти p_ij(n) - імовірності переходу системи зі стану I у стан j за n кроків. Із цією метою будемо розглядати проміжне (між I і j) стан r, тобто будемо вважати, що з первісного стану I за k кроків система перейде в проміжний стан r з імовірністю p_ir(k), після чого за що залишилися n-k кроків із проміжного стану r вона перейде в кінцевий стан j з імовірністю p_rj(n-k). Тоді по формулі повної ймовірності

P_ij(n) = ? p_ir (k) p_rj (n-k) - рівність Маркова.

Переконаємося в тім, що, знаючи всі ймовірності переходу p_ij = p_ij(1), тобто матрицю P₁ переходу зі стану в стан за один крок, можна знайти ймовірність p_ij(2), тобто матрицю P₂ переходи зі стану в стан за два кроки. А знаючи матрицю P₂, - знайти матрицю P₃ переходи зі стану в стан за три кроки, і т.д.

Дійсно, думаючи n = 2 у формулі P_ij(n) = ? p_ir (k) p_rj (n-k), тобто k=1 (проміжне між кроками стан), одержимо

P_ij(2) = ? p_ir(1)p_rj (2-1) = ? p_ir p_rj

Отримана рівність означає, що P₂ =P₁P₁ = P²₁

Думаючи n = 3, k = 2, аналогічно одержимо P₃ = P₁P₂ = P₁P₁² = P₁³, а в загальному випадку P_n = P₁ⁿ

Приклад

Сукупність родин деякого регіону можна розділити на три групи:

родини, що не мають автомобіля й не збираються його купувати;

родини, що не мають автомобіля, але які бажаютьйого придбати;

родини, що мають автомобіль.

Проведене статистичне обстеження показало, що матриця переходу за інтервал в один рік має вигляд:

0,8 0,1 0,1

0 0,7 0,3

0 0 1

(У матриці P₁ елемент р₃₁ = 1 означає ймовірність того, що родина, що має автомобіль, також буде його мати, а, наприклад, елемент р₂₃ = 0,3 - імовірність того, що родина, що не мала автомобіля, але намагаються його придбати, здійснить свій намір у наступному році, і т.д.)

Знайти ймовірність того, що:

родина, що не мала автомобіля й не хоче його придбати, буде перебувати в такій же ситуації через два роки;

родина, що не мала автомобіля, але які бажають його придбати, буде мати автомобіль через два роки.

Рішення: знайдемо матрицю переходу Р₂ через два роки:

0,8 0,1 0,1 0,8 0,1 0,1 0,64 0,15 0,21

0 0,7 0,3 0 0,7 0,3 0 0,49 0,51

0 0 1 0 0 1 0 0 1

Тобто шукані в прикладі 1) і 2) імовірності рівні відповідно

р₁₁ =0,64, р₂₃ =0,51

Далі розглянемо Марковський випадковий процес із дискретними станами й безперервним часом, у якому, на відміну від розглянутої вище ланцюга Маркова, моменти можливих переходів системи зі стану не фіксовані заздалегідь, а випадкові.

При аналізі випадкових процесів з дискретними станами зручно користуватися геометричною схемою - так званим графіком подій. Звичайно стану системи зображуються прямокутниками (кружками), а можливі переходи зі стану в стан - стрілками (орієнтованими дугами), що зєднують стану.

Приклад. Побудувати граф станів наступного випадкового процесу: пристрій S складається із двох вузлів, кожний з яких у випадковий момент часу може вийти з ладу, після чого миттєво починається ремонт вузла, що триває заздалегідь невідомий випадковий час.

Рішення. Можливі стани системи: S_{0 -} обидва вузли справні; S₁ - перший вузол ремонтується, другий справний; S₂ - другий вузол ремонтується, перший справний; S₃ - обидва вузли ремонтуються.

Стрілка, напрямку, наприклад, з S₀ в S₁, означає перехід системи в момент відмова першого вузла, з S₁ в S₀ - перехід у момент закінчення ремонту цього вузла. На графі відсутні стрілки з S₀ в S₃ і з S₁ в S₂. Це пояснюється тим, що виходи вузлів з ладу передбачається незалежними друг від друга й, наприклад, імовірностями одночасного виходу з ладу двох вузлів (перехід з S₀ в S₃) або одночасне закінчення ремонтів двох вузлів (перехід з S₃ в S₀) можна зневажити.