Метод градиентного спуска.

Рассмотрим определение градиента и антиградиента на примере функции трех переменных.

Вектор градиента дает представление о поведении функции в окрестностях точки . Направление вектора градиента есть направление наиболее быстрого возрастания функции в этой точке. Соответственно противоположное направление называют антиградиентом.

Модуль градиента определяет скорость возрастания и убывания функции в направлении градиента и антиградиента. Для всех остальных направлений скорость изменения функции в точке меньше модуля градиента.

Суть метода: двигаться к минимуму в направлении наиболее быстрого убывания функции, которая определяется антиградиентом.

Каким-либо образом выбираем начальную точку, в ней вычисляем градиент функции и делаем шаг в обратном антиградиентном направлении .Нашли точку , в которой значение функции меньше первоначального . Далее процесс повторяется. В данном случае приближение к наименьшему значению будет более быстрым , чем в методе покоординатного спуска.

В случае , если функция задана не аналитически , частные производные вычисляются приближенно с помощью известных конечно-разностных соотношений.

Приращение аргумента не должно быть слишком малым , значения функции должны быть вычислены с высокой степенью точности.

Пример: