3.8. Многомерная градиентная оптимизация

Величина шага в рекуррентном соотношении: для переменной i на j +1 итерации вычисляется с использованием градиента целевой функции R(x), т.е. . При этом шаг может определяться с использованием градиента в одной (текущей) или в двух (текущей и предыдущей) точках. На­правление градиента, как известно, показывает направления наискорейшего возрас­тания функции, а его модуль — скорость это­го возрастания. Поисковые методы оптимизации содержат субъ­ективно задаваемые па­раметры, которые су­щественно влияют на эффективность поиска, вследствие чего один и тот же метод может дать совершенно различные траектории поиска. Среди этих методов выделим метод сопряжённых градиентов и метод Ньютона.