Введем функцию

(3.116)

где минимизация производится при условиях

(3.117)

По определению имеем

(3.118)

то есть значения функции при заданы.

Принцип оптимальности утверждает, что оптимальное управление не зависит от предыстории процесса и вполне определяется состоянием в момент .

Построим уравнение, определяющее значения в предшествующие моменты времени, помня при этом, что оптимальное значение критерия (3.114) равно

(3.119)

Рассмотрим два момента времени и . Тогда, аналогично дискретному случаю повторим все выкладки и получим:

(3.120)

где обозначено

Для непрерывных систем также воспользуемся возможностью сначала провести выбор управления, начиная с момента и до конца, а после осуществить минимизацию по значениям управления в пределах отрезка .

Предполагая, что функции и непрерывны по всем своим аргументам, допустимые траектории непрерывны по , а допустимые управления кусочно-непрерывные по , причем отрезок не включает точек разрыва, можно записать

(3.121)

и

(3.122)

причем . Предположим, что функция дифференцируема и ее можно разложить в ряд Тейлора

(3.123)

Подставляя (3.121), (3.122), (3.123) в соотношение (3.120), получим

(3.124)

Переходя к пределу при в уравнении (3.124), получим уравнение Беллмана – Гамильтона – Якоби в виде:

(3.125)

которое определяет с учетом граничного условия (3.118) функцию .

Учет ограничений на состояние. Метод Гамильтона – Якоби – Беллмана излагается для оптимизационных задач, где отсутствуют ограничения на состояние процесса, а также краевые ограничения на правом конце при . Однако на практике часто встречаются краевые задачи, у которых заданы как начальные, так и конечные условия. Это так называемые «двухточечные» задачи, например, следующего вида

(3.126)

Для того чтобы воспользоваться методом Гамильтона – Якоби – Беллмана для решения задачи (3.126) необходимо ее преобразовать к задаче без ограничений на состояние. Для этого воспользуемся методом штрафных функций, тогда исходная задача примет вид:

(3.127)

где – некоторая заданная функция, называемая штрафной. Она обладает следующим свойством

и при этом достаточно велика.

Есть несколько видов задания штрафной функции, например, простейший штраф – это квадратичная функция вида

(3.128)

где – фиксированное число.

Примечание. В случае сравнительно простых задач управления или проектирования такой подход действительно является целесообразным. Но для сложных систем это не всегда приемлемо, так как оптимизация дает хорошее решение только по одному выбранному критерию и не всякая задача синтеза сложной системы может быть сведена к оптимизационной без потерь важных свойств и особенностей исходной задачи, таких как многокритериальность, многорежимность и т.д. В инженерных задачах часто возникает необходимость добиться удовлетворения требований к системе – нахождение одного или нескольких критериев в допустимой области их изменения, что приводит к постановке и решению основной задачи проектирования.