1.2. Метод наименьших квадратов. Критерий метода наименьших квадратов

История метода наименьших квадратов (МНК) восходит к работам А. М. Ле- жандра и К. Гаусса. Первоначально этот метод использовался в астрономии для определения орбит небесных тел и лишь впоследствии нашел свое место в статистике и теории идентификации.

Для обработки результатов экспериментов, определения неизвестных величин и оценки точности результатов A. M. Лежандр (1752–1833) предложил принцип наименьших квадратов, заключающийся в том, чтобы обратить в минимум сумму квадратов погрешностей. Лежандр обращал внимание на то, что предлагаемый им принцип для оценки неизвестной величины произволен, и указывал, что из всех принципов, которые можно предложить для этой цели, не существует более простого. В своем труде «Новые методы для определения орбит комет» (1806) он писал: «Из всех принципов, которые здесь могут быть предложены, по моему мнению, наиболее общим, наиболее правильным и наиболее удобным в применении является тот, который обращает в минимум сумму квадратов остающихся ошибок. Этот принцип, устанавливая в ошибках род равновесия, удерживает наибольшие из них в должных границах»¹.

Исследования Лежандра продолжил К. Гаусс (1777–1855). В своем сочинении «Теория движения небесных тел по коническим сечениям вокруг Солнца», опубликованном в 1809 г., он принял за основу при обработке экспериментальных данных «...один простой и постоянно используемый принцип. Обычно принимают за аксиому гипотезу о том, что если некоторая величина определяется из многих непосредственных наблюдений, произведенных с одинаковой тщательностью в сходных условиях, то среднее арифметическое из наблюденных значений будет наиболее вероятным значением этой величины, если не с полной точностью, то, во всяком случае, с хорошим приближением...»¹.

Пользуясь этим утверждением, Гаусс показал, что плотность вероятности заданной совокупности измерений достигает максимального значения, если сумма квадратов отклонений результатов измерений от истинного значения достигает минимума.

Дальнейшее развитие метод наименьших квадратов получил в работах П. Л. Чебышёва (1821–1894), разработавшего теорию параболического интерполирования по методу наименьших квадратов с помощью ортогональных полиномов.

Метод наименьших квадратов позволяет найти решение переопределенной и несовместной системы уравнений и применяется при решении двойственных задач линейного программирования и теории антагонистических игр. Другие приложения этого метода связаны, например, с математическим решением технических проблем теории оптимального управления. В частности, на основе МНК Л. С. Понтрягиным (1908–1988) был открыт принцип максимума.

Наиболее активно метод наименьших квадратов используется в решении задач математической статистики и теории идентификации, в приложении к задачам которой мы и дадим его описание.

Рассмотрим задачу оценивания некоторой величины по результатам ее многократных измерений. Пусть величина X в процессе измерения принимает следующие значения: . Для простоты будем считать, что все измеренные значения равновероятны. Наилучшей оценкой величины X будет выборочное среднее:

Отклонением (невязкой) назовем разность между выборочным значением и выборочным средним: .

Для того чтобы охарактеризовать рассеяние наблюдаемых значений вокруг среднего значения, вводят характеристику, названную выборочной дисперсией:

Необходимо отметить следующее важное свойство дисперсии: .

Пусть существует некоторая величина , где . Покажем, что сумма квадратов отклонений выборочных значений от среднего будет всегда меньше, чем сумма квадратов отклонений выборочных значений от какой бы то ни было другой величины (в нашем случае ):

.

Таким образом, выборочное среднее наилучшим образом на основании имеющейся выборки приближает к истинному значению величины X. Критерием здесь служит средний квадрат отклонений выборочных значений от оценки величины X. Другими словами, среднее значение является решением следующей задачи оптимизации:

Приведенный критерий носит название критерия метода наименьших квадратов. В теории идентификации критерий МНК позволяет строить параметрические модели регрессионного типа.

Пусть задана функциональная зависимость с точностью до вектора параметров: , а также доступна выборка измерений , . Для оценивания параметров этой модели используем критерий МНК:

Наиболее просто задача минимизации критерия (1.15) решается в случае, когда модель имеет линейную структуру относительно входящих в нее параметров.