1.3. Идентификация линейных по параметрам моделей с использованием метода наименьших квадратов

Рассмотрим задачу оценивания функциональной зависимости по выборке некоррелированных и равноточных измерений этих переменных , в случае, когда уравнение этой зависимости представляет собой функцию, линейную относительно параметров:

В матричной форме это уравнение имеет вид

где – вектор параметров модели; – вектор базисных функций.

Также введем следующие матрицы:

– матрицу, составленную из базисных функций, рассчитанных в выборочных значениях независимой переменной:

;

– вектор выборочных значений зависимой переменной:

.

Подставляя в уравнение (1.17) поочередно все элементы выборки, получим несовместную систему уравнений:

Выполним преобразование, умножив левую и правую части уравнения на :

В литературе это уравнение носит название нормального уравнения. Покажем, что это уравнение тождественно необходимому условию минимума критерия МНК: .

Пусть уравнение регрессии принимается в виде линейной функции первого порядка:

.

Оптимизация критерия МНК приводит к необходимости решения системы уравнений:

Эта система идентична уравнению (1.19) со следующими параметрами:

, , , .

Вектор параметров модели является решением нормального уравнения (1.19):

Для линейной модели с двумя параметрами получаем

.

Аналогично происходит вывод вектора α бóльших размерностей.