logo
Архив WinRAR_1 / shpory_gotovye_stepin_1

33. Марковская модель согласования решений.

При создании математических моделей согласования решений должны фигурировать следующие компоненты

- конечное множество решений (альтернатив) Ki , стратегий, гдеiϵS– номер состояния системы:

- матрици переходов П[s], соответствующие тому или иному принятию к- решению

- матрицы доходов (расходов) R[s], также отражающее эффективность данного решения

Формально, управляемой цепью Маркова (УЦМ) называется случайный процесс, обладающий марковским свойством и включающий в качестве элементов математической модели конструкцию (кортеж) < Ki, П[s],R[s]>. Решение, принимаемое в каждый конкретный момент (шаг процесса) назовем частным управлением.

Таким образом, процесс функционирования системы описы­ваемой УЦМ, выглядит следующим образом:

-если система находится в состоянии i ϵS и принимается решениеk ϵ Кi то она получает доход ri;

-состояние системы в последующий момент времени (шаг) определяется вероятностью Pij , то есть вероятность того, что сис­тема из состоянияI€S перейдет в состояниеj ϵ S, если выбрано решениеKi.

Очевидно, общий доход за n-шагов является случайной вели­чиной, зависящей от начального состояния системы и качества принимаемых в в течение хода процесса принятия решений, причем это качество оценивается величиной среднего суммарного дохода (при конечном времени) или среднего дохода за единицу времени (при бесконечном времени). В этих двух случаях для нахождения опти­мальных решений обычно сводится в первом случае к решению за­дач динамического стохастического программирования - рекуррент­ный алгоритм нахождения оптимального решения, а во втором к ре­шению задач линейного программирования - итерационный алго­ритм.