1.6. Линейная аппроксимация метода наименьших квадратов

Построим итерационную процедуру расчета параметра модели в соответствии с критерием наименьших квадратов. На каждой итерации используем линейную аппроксимацию выхода модели (рис. 1.7) по параметру

где – приращение параметра; l – номер итерации; , – значения параметра на соответствующих итерациях.

Рис. 1.7. Линейная аппроксимация модели

После подстановки линейной аппроксимации (1.43) в критерий МНК получаем относительно :

Перейдем к векторной форме МНК. Запишем уравнение для нахождения вектора приращений параметров. Полный дифференциал функции многих переменных выражается как

Оценка приращения функции выхода модели имеет вид

Сформируем вектор приращений параметров , матрицу частных производных по компонентам вектора параметров, а также вектор выходных значений модели, рассчитанные в выборочных точках:

,

,

.

Необходимое условие минимума приводит к системе линейных алгебраических уравнений:

решение которой записывается в виде

После этого находим параметры модели на -й итерации:

l = 0, 1, 2, … (1.49)

Положительный коэффициент γ^l > 0 выбирается по условию монотонной сходимости по функции качества. Примером выбора последовательности для  служит последовательность: 1, 1/2, 1/4, ... .

Для линейного МНК расчет на первом же шаге приводит к оптимальному вектору параметров. Поэтому итерационная процедура (1.49), как правило, применяется в случае построения регрессии, когда уравнение модели нелинейно относительно вектора коэффициентов.