В.2. Принцип оптимальности и уравнения Беллмана

Принцип оптимальности: Каково бы ни было состояние системы в результате какого-либо числа шагов, на ближайшем шаге нужно выбирать управление так, чтобы оно в совокупности с оптимальным управлением на всех последующих шагах приводило к оптимальному выигрышу на всех оставшихся шагах, включая данный.

Беллманом были четко сформулированы и условия, при которых этот принцип верен. Основное требование – процесс управления должен быть без обратной связи, т.е. управление на данном шаге не должно оказывать влияния на предшествующие шаги.

Введем обозначения: - максимум целевой функции – показателя эффективности п-го шага при условии, что к началу последнего шага система S была в произвольном состоянии S_n-1, а на последнем шаге управление было оптимальным. называется условным максимумом целевой функции на n-ом шаге.

(3).

Решение X_n, при котором достигается , также зависит от S_n-1 и называется условным оптимальным управлением на шаге. Оно обозначается .

Обозначим – условный максимум целевой функции, полученный при оптимальном управлении на n – k +1 шагах, начиная с k – го шага до конца, при условии, что к началу k – го шага система находилась в состоянии S_k-1.

, . (4)

Управление Х_k на k–ом шаге, при котором достигается максимум (4), обозначается и называется условным оптимальным управлением на k – ом шаге (в правую часть выражения (4) следует вместо S_k-1 подставить выражение , найденное из уравнения состояния (1)).

Уравнения (3)-(4) называются уравнениями Беллмана.

Они позволяют найти предыдущее значение функции, зная последующие. Процесс решения уравнений называется условной оптимизацией.