Минимум функции многих переменных

2.1 Рельеф функции

Основные трудности многомерного случая удобно рассмотреть на примере функции двух переменных . Она описывает некоторую поверхность в трехмерном пространстве с координатами . Задача означает поиск низшей точки этой поверхности.

Изобразим рельеф этой поверхности линиями уровня. Проведем равноотстоящие плоскости и найдем линии их пересечения с поверхностью ; проекции этих линий на плоскость называют линиями уровня. Направление убывания функции будем указывать штрихами, рисуемыми около линий уровня. Полученная картина напоминает топографическое изображение рельефа горизонталями. По виду линий уровня условно выделим три типа рельефа: котловинный, овражный и неупорядоченный.

а) б)

в)

Рис. 2 г)

При котловинном рельефе линии уровня похожи на эллипсы (рис. 1, а). В малой окрестности невырожденного минимума рельеф функции котловинный. В самом деле, точка минимума гладкой функции определяется необходимыми условиями

, (11)

и разложение функции по формуле Тейлора вблизи минимума имеет вид

, (12)

причем квадратичная форма (12) - положительно определенная Квадратичная форма называется положительно определенной, если при любых (за исключением обращающихся одновременно в нуль) она положительна., иначе эта точка не была бы невырожденным минимумом. А линии уровня знакоопределенной квадратичной формы - это эллипсы.

Случай, когда все вторые производные равны в этой точке нулю и минимум определяется более высокими производными, по существу ничего нового не дает, и мы не будем его специально рассматривать (линии уровня вместо эллипсов будут похожими на них кривыми четвертого порядка).

Отметим, что условию (11) удовлетворяют также точки максимумов и седловые точки. Но в точках максимумов квадратичная форма (12) отрицательно определенная, а в седловинах она знакопеременна.

Вблизи минимума функция мало меняется при заметных изменениях переменных. Поэтому даже если мы не очень точно определим те значения переменных, которые должны минимизировать функцию, то само значение функции при этом обычно будет мало отличаться от минимального.

Рассмотрим овражный тип рельефа. Если линии уровня кусочно-гладкие, то выделим на каждой из них точку излома. Геометрическое место точек излома назовем истинным оврагом, если угол направлен в сторону возрастания функции, и гребнем - если в сторону убывания (рис. 2, б). Чаще линии уровня всюду гладкие, но на них имеются участки с большой кривизной; геометрические места точек с наибольшей кривизной назовем разрешимыми оврагами или гребнями (рис. 2, в). Например, рельеф функции

, (13)

изображенный на этом рисунке, имеет ярко выраженный извилистый разрешимый овраг, «дно» которого - синусоида, а низшая точка - начало координат.

В физических задачах овражный рельеф указывает на то, что вычислитель не учел какую-то закономерность, имеющую вид связи между переменными. Обнаружение и явный учет этой закономерности облегчает решение математической задачи. Так, если в примере (13) ввести новые переменные , то рельеф становится котловинным.

Неупорядоченный тип рельефа (рис. 2, г) характеризуется наличием многих максимумов, минимумов и седловин. Примером может служить функция

, (14)

рельеф которой изображен на этом рисунке; она имеет минимумы в точках с координатами и максимумы в точках, сдвинутых относительно минимумов на по каждой координате.

Все эффективные методы поиска минимума сводятся к построению траекторий, вдоль которых функция убывает; разные методы отличаются способами построения таких траекторий. Метод, приспособленный к одному типу рельефа, может оказаться плохим на рельефе другого типа.