1.8. Метод инструментальных переменных

Докажем несмещенность МНК-оценки. Обозначим через вектор истинных коэффициентов линейного уравнения регрессии. Случайную помеху  считаем несмещенной и аддитивной. Вектор  полагаем некоррелированным с матрицей базисных функций :

Модели линейной регрессии могут быть получены различными способами из других типов моделей, например из линейных разностных уравнений:

Действительно, если сформировать векторы неизвестных параметров и базисных функций

, ,

то модель (1.60) можно представить в виде

что полностью соответствует уравнению линейной регрессии, записанному для измерения выхода с номером n. Очевидно, что поскольку в вектор  входят прошлые измерения выходов , то при составлении системы регрессионных уравнений вектор помехи в измерениях  окажется коррелирован с матрицей . Поэтому применение в данном случае обычного МНК не позволит получить несмещенные оценки.

Для того чтобы разрешить эту проблему и избежать корреляции между  и  в регрессионных моделях, применяют метод инструментальных (вспомогательных) переменных, сущность которого заключается в замене вектора  в формуле (1.61) на некоторый вектор инструментальных переменных вида

При этом инструментальные переменные  в векторе  выбирают из следующих соображений:

– во-первых, для несмещенности оценок они должны быть некоррелированы с , т. е.

– во-вторых, для того чтобы инструментальные переменные содержали достаточно информации о соответствующих элементах вектора , они должны быть максимально с ними коррелированны, т. е.

где S – некоторая невырожденная матрица.

На практике инструментальные переменные могут быть выбраны различными способами. Наиболее часто для этого используют дополнительную линейную динамическую систему, в которой эти переменные генерируются из входной последовательности, например, следующим образом:

Параметры дополнительной линейной системы (1.65) могут быть получены путем предварительного применения МНК к модели (1.61). При этом если входная последовательность генерируется в разомкнутой цепи, то она, очевидно, не будет зависеть от шума измерений и, следовательно, условие (1.63) будет выполняться. Несмотря на то, что параметры дополнительной линейной системы (1.65) в общем случае не совпадают с истинными параметрами модели (1.61), корреляция между инструментальными переменными и выходными переменными модели (1.61) очевидна, т. е. условие (1.64) также выполняется. Для систем с замкнутой обратной связью, где входная управляющая последовательность зависит от выхода, применяются более сложные схемы формирования инструментальных переменных.

Что касается самого алгоритма оценивания параметров линейной регрессии методом инструментальных переменных, то по своей структуре он полностью аналогичен алгоритму МНК с учетом замены вектора базисных функций на вектор инструментальных переменных (1.62). Возможно также применение рекуррентной формы алгоритма метода инструментальных переменных.