Вычисление предельных вероятностей эргодической цепи Маркова (на основе примера).
Эргодическое состояние
Эргодическая цепь Маркова, если все состояния цепи эргодичны.
Если:
(распределение как функция вероятностей) от n всегда сходится к некоторому предельному стационарному распределению , которое не зависит от начального распределения вероятностей.
Цепь Маркова конечна, если число состояний конечно неприводимая цепь Маркова типа 1 из теоремы 2 (возвратная нулевая или невозвратная) не может быть конечной.
Все состояния конечной апериодической неприводимой цепи Маркова эргодичны.
Предельные вероятности эргодической цепи Маркова часто называют вероятностями состояния равновесия, имея при этом в виду, что влияние начального распределения вероятностей полностью отсутствует.
Цепь Маркова называется эргодической (регулярной), если для любых двух состояний xk, xl справедливо равенство: -по мере увеличения числа шагов i влияние начального состояния xk уменьшается и при достаточно большом i становится ничтожно малым.
Условие эргодичности однородных цепей: если при некотором i>0 все элементы матрицы L(i) положительны, то существуют постоянные числа pl(l=1,2,…,n), что независимо от индекса k имеет место равенство, приведенное выше. N-число возможных состояний цепи Маркова.
Из определения матрицы L(i) следует:
Предел L(i), когда i→∞ - предельная матрица L. Ai –матрица перехода.
Возьмем вектор начальных вероятностей p0=[p1(0), p2(0), … , pn(0)] эргодической цепи Маркова и найдем предел к которому стремится вектор p(i) при i→∞:
Подставляя выражение для предельной матрицы L, запишем в развернутом виде:
После перемножения (строка на столбец) имеем:
Учитывая, что сумма компонентов вектора вероятности на любом шаге i всегда равна единице:
, так как цепь Маркова обязательно принимает одно из значений x1,…, xn.
Получаем: . При возрастании числа шагов i вектор вероятности принимает постоянное значение p, которое называется предельным. Предельный вектор не зависит от вектора начальных вероятностей p(0), а определяется предельной матрицей L. Каждая строка предельной матрицы – это предельный вектор p.
Пример:
Поместим нашего путешественника в фантастическую страну Гатафиа.
Диаграмма перехода из одного состояния в другое:
Стрелки – дозволенные направления на дорогах (передвижение); числа – вероятности того, что путешественник найдет попутную машину, идущую по этой дороге, при условии что он попытается выбраться из города в направлении, соответствующем исходящей стрелке.
Вероятность оставания в городе Саксимад до следующего дня равна ½.
Матрица вероятностей переходов :
Вектор вероятностей
;
;
Решив систему, имеем:
Вектор вероятностей в момент n:
;
Решение для не зависит от начального распределения вероятностей. С вероятностью 1 он начинает путь в момент 0 из города Абра: .
- Случайные процессы. Основные определения и понятия.
- Случайные процессы. Основные характеристики: плотность распределения, среднее значение, скорость изменения и автокорреляционная функция.
- Дискретные цепи Маркова. Однородные цепи Маркова. Определение.
- Классификация цепей Маркова. Основные определения и понятия, характеристики.
- Теорема о существовании предельных вероятностей для неприводимой и апериодической однородной цепи Маркова.
- Вычисление предельных вероятностей эргодической цепи Маркова (на основе примера).
- Цепи Маркова с непрерывным временем. Основные понятия.
- Уравнение Колмогорова (прямое). Следствия из уравнений Колмогорова.
- Уравнение Колмогорова (обратное). Следствия из уравнений Колмогорова.
- Процессы гибели и размножения (определение). Уравнение Колмогорова для процессов гибели и размножения.
- Процесс чистого размножения. Распределение Пуассона.
- Процесс Пуассона и его основные свойства.
- Процедуры просеивания пуассоновского потока: регулярная, случайная.
- Связь пуассоновского потока с экспоненциальным временем интервалов между соседними заявками.
- Системы массового обслуживания. Основные понятия.
- Элементы систем массового обслуживания. Классификация Кендала.
- Однолинейная смо с конечным накопителем (граф переходов, система уравнений). Стационарные вероятности состояний.
- Однолинейная смо с конечным накопителем. Вычисление среднего числа заявок в очереди.
- Однолинейная смо с конечным накопителем. Вычисление среднего числа заявок в системе.
- Однолинейная смо с конечным накопителем. Вычисление среднего времени ожидания обслуживания.
- Однолинейная смо с конечным накопителем. Вычисление среднего времени пребывания заявок в системе.
- Однолинейная смо с бесконечным накопителем. Вычисление основных характеристик системы.
- Многоканальная смо с пуассоновским потоком и экспоненциальным временем обслуживания. Граф переходов. Система уравнений.
- Многоканальная смо с пуассоновским потоком и экспоненциальным временем обслуживания. Среднее число заявок в очереди. Среднее время ожидания.
- Многоканальная смо с пуассоновским потоком и экспоненциальным временем обслуживания. Среднее число заявок в системе. Среднее время пребывания заявок в системе.
- Многоканальная замкнутая смо. Диаграмма интенсивностей переходов и уравнения для вероятностей состояний переходов. Основные характеристики системы для стационарного режима.
- 24. Метод этапов. Последовательное расположение этапов с экспоненциальным распределением каждой фазы обработки. Распределение Эрланга.
- Двухэтапный эрланговский обслуживающий прибор .
- 25. Распределение Эрланга с этапами обслуживания
- 26. Преобразование Лапласа для распределения Эрланга с r этапами обслуживания
- 27. Коэффициент вариации для последовательного представления этапов.
- 28. Коэффициент вариации для параллельной организации этапов.
- Последовательно-параллельные методы обобщения.