Метод наискорейшего спуска

Этот метод требует вычисления частных производных первого порядка от исходной функции. Другое название метода – метод антиградиентного спуска.

Выбирается начальное приближение . В этой точке вычисляется вектор градиента функции

.

По смыслу градиента функция быстрее всего убывает в направлении, противоположном градиенту, т.е. в направлении вектора. Функцияограничивается на прямую,

проходящую через точку и параллельную градиенту

.

Находится точка минимума этой функции ,. Вычисляется новое приближение:,.

После этого процесс повторяется из точки . Получается новое приближениеи т.д.

Вычисления обычно останавливают, если или если.

Метод наискорейшего спуска сходится медленно в случае так называемых овражных функций. График такой функции двух переменных представлен на рис. 5. Линии уровня овражной функции изображены на рис. 6, более темным линиям соответствуют меньшие значения функции.

Следует заметить, что рис. 5, 6 лишь схематически соответствуют овражным функциям. На самом деле «края оврага» должны подниматься значительно круче, а овалы соответствующих замкнутых линий уровня должны сжаться практически в куски линий. На рисунках это выглядит мало понятно.