1.6 Метод наименьших квадратов

Пусть для исходных данных xi, fi, i=1,…,N (нумерацию лучше начинать с единицы), выбран вид эмпирической зависимости: y=?(a0,a1,…,am) с неизвестными коэффициентами a0,a1,…,am . Запишем сумму квадратов отклонений между вычисленными по эмпирической формуле и заданными опытными данными:

S(a0,a1,…,am)=(?(x1,a0,a1,…,am)-fi)2

Параметры a0,a1,…,am будем находить из условия минимума функции S(a0,a1,…,am). В этом состоит метод наименьших квадратов (МНК).

Известно, что в точке минимума все частные производные от S по  равны нулю:

Рассмотрим применение МНК для частного случая, широко используемого на практике. В качестве эмпирической функции рассмотрим полином

?(x)=a0+a1x+a2x2+…+amxm

Формула (1) для определения суммы квадратов отклонений примет вид:

S(a0,a1,…,am)=( a0+a1x+a2x2+…+amxm-fi)2 (2)

Вычислим производные

Приравнивая эти выражения к нулю и собирая коэффициенты при неизвестных a0,a1,…,am , получим следующую систему линейных уравнений

Данная система уравнений называется нормальной. Решая эту систему линейных уравнений, получаем коэффициенты .

В случае полинома первого порядка m=1, т.е. , система нормальных уравнений примет вид

При m=2 имеем:

Как правило, выбирают несколько эмпирических зависимостей. По МНК находят коэффициенты этих зависимостей и среди них находят наилучшую по минимальной сумме отклонений.