Метод наименьших квадратов

Через имеющееся "облако" точек всегда можно попытаться провести линию установленного вида, которая является наилучшей в определенном смысле среди всех линий данного вида, то есть "ближайшей" к точкам наблюдений по их совокупности. Для этого определим вначале понятие близости линии к некоторому множеству точек на плоскости. Меры такой близости могут быть различными. Однако любая разумная мера должна быть, очевидно, связана с расстоянием от точек наблюдения до рассматриваемой линии (задаваемой уравнением y=F(x)).

Предположим, что приближающая функция F(x) в точках х₁, x₂, ..., x_n имеет значения y₁, y₂, ..., y_n. Часто в качестве критерия близости используется минимум суммы квадратов разностей наблюдений зависимой переменной y_i и теоретических, рассчитанных по уравнению регрессии значений y_i. Здесь считается, что y_i и x_i - известные данные наблюдений, а F - уравнение линии регрессии с неизвестными параметрами (формулы для их вычисления будут приведены ниже). Метод оценивания параметров приближающей функции, минимизирующий сумму квадратов отклонений наблюдений зависимой переменной от значений искомой функции, называется методом наименьших квадратов (МНК) или Least Squares Method (LS).

Итак, задачу приближения функции f теперь можно сформулировать следующим образом: для функции f, заданной таблицей (1), найти функцию F определенного вида так, чтобы сумма квадратов была наименьшей.

Рассмотрим метод нахождения приближающей функции в общем виде на примере аппроксимирующей функции с тремя параметрами:

                                (3)

Пусть F(x_i, a, b, c) = y_i, i=1, 2, ..., n. Сумма квадратов разностей соответствующих значений f и F будет иметь вид:

                          (4)

Эта сумма является функцией Ф(а, b, c) трех переменных (параметров a, b и c). Задача сводится к отысканию ее минимума. Используем необходимое условие экстремума:

Получаем систему для определения неизвестных параметров a, b, c.

                         (5)

Решив эту систему трех уравнений с тремя неизвестными относительно параметров a, b, c, мы и получим конкретный вид искомой функции F(x, a, b, c). Как видно из рассмотренного примера, изменение количества параметров не приведет к искажению сущности самого подхода, а выразится лишь в изменении количества уравнений в системе (5).

Естественно ожидать, что значения найденной функции F(x, a, b, c) в точках х₁, x₂, ..., x_n, будут отличаться от табличных значений y₁, y₂, ..., y_n. Значения разностей y_i-F(x_i,a, b, c)=e _i (i=1, 2, ..., n) называются отклонениями измеренных значений y от вычисленных по формуле (3). Для найденной эмпирической формулы (2) в соответствии с исходной таблицей (1) можно, следовательно найти

сумму квадратов отклонений , которая в соответствии с методом наименьших квадратов для заданного вида приближающей функции (и найденных значений параметров) должна быть наименьшей. Из двух разных приближений одной и той же табличной функции, следуя методу наименьших квадратов, лучшим нужно считать то, для которого сумма (4) имеет наименьшее значение.

В экспериментальной практике в качестве приближающих функций в зависимости от характера точечного графика f часто используются приближающие функции с двумя параметрами:

Очевидно, что когда вид приближающей функции установлен, задача сводится только к отысканию значений параметров.