Нахождение экстремумов функции нескольких переменных

Задача нахождения максимума функции сводится к задаче нахождения минимума функции. Поэтому в дальнейшем мы будем искать только точки, в которых функция принимает наименьшие значения.

Сначала рассмотрим более простую задачу, а именно, нахождение безусловного минимума функции. Задача ставится так: дана функция ,, т.е., требуется найти точку локального минимума функции.

Точка локального минимума – это любая точка ,, такая, что для всех, близких к, выполнено неравенство.

Замечание. Используя только численные методы, невозможно установить, является ли точка локального минимума одновременно точкой глобального минимума, т.е. что неравенство выполняется длявсех . Эта задача может быть решена только с учетом особенностей поведения функции.

В связи со сделанным замечанием в дальнейшем будем говорить о нахождении минимума функции, подразумевая, что ищем локальный минимум. Эта задача сокращенно записывается так: .

Для решения задачи разработано очень много различных численных методов. Подавляющее большинство из них относится к методам спуска. Каждый метод спуска находит последовательность точек, которые сходятся к точке локального минимума. Для этой последовательности точек должно выполняться условие. То есть если представить график(для) как поверхность котловины, то с каждым шагом мы «спускаемся» все ниже и ниже.

Методы спуска различаются правилом выбора направления спуска и выбором шага в направлении спуска. Отличаются они также тем, какую информацию о функции они используют: только значения функции или же еще значения ее производных. В связи с этим скорость сходимости последовательности точекк точке минимума у разных методов может быть различной. Рассмотрим методы спуска, последовательно повышая порядок используемых производных.