3.2 Метод найменших квадратів для лінійної моделі
Розглянемо найбільш важливий для практики окремий випадок МНК, коли модель є лінійною.
Для простоти опису перетворень пронормуємо змінні хij,уi. Наступним чином:
де
Тоді
Надалі будемо вважати, що розглянуті змінні пронормовані описаним образом, і верхні індекси опустимо. Для полегшення демонстрації основних ідей приймемо досить природні припущення.
1. Для розглянутих змінних існують наступні межі:
2. Кількість досвідів n таке, що можна користуватися асимптотичними результатами, отриманими при
3. Погрішності виміру задовольняють одному з наступних типів обмежень:
Тип 1. Абсолютні погрішності виміру обмежені згідно (4.1.3):
Тип 2. Відносні погрішності виміру обмежені:
Тип 3. Обмеження накладені на суму погрішностей:
Перейдемо до обчислення нотни оцінки МНК. Справедлива рівність:
Скористаємося наступною теоремою з теорії матриць.
Теорема. Якщо функція f(л) розкладається в степеневий ряд у колі збіжності |л - л0| < r, тобто
то це розкладання зберігає силу, якщо скалярний аргумент замінити будь-якою матрицею А, характеристичні числа якої лk, k = 1,…,n, лежать всередині кола збіжності.
Легко переконатися, що:
Це випливає з послідовності рівностей:
Застосуємо наведену вище теорему з теорії матриць, припускаючи
А = Д Z і приймаючи, що власні числа цієї матриці задовольняють нерівності |лk|<1. Тоді одержимо:
Підставивши останнє співвідношення на закінчення згаданої теореми, одержимо:
Для подальшого аналізу знадобиться допоміжне твердження. Виходячи із припущень 1-3, доведемо, що:
Доведення. Справедлива рівність
де - спроможні і незміщені оцінки дисперсій і коефіцієнтів коваріації, тобто
тоді
де
Інакше кажучи, кожен елемент матриці, позначеної як о(1/n), є нескінченно малою величиною порядку 1/n. Для розглянутого випадку cov(x) = E, тому
Припустимо, що n досить велике і можна вважати, що власні числа матриці о(1/n) менше одиниці по модулю, тоді
що і було потрібно довести.
Підставимо доведене асимптотичне співвідношення у формулу для приросту*,одержимо
Виразимо Д* відносно приросту ДХ, ДY до 2-гo порядку
Перейдемо від матричної до скалярної форми, опускаючи індекс (R):
Будемо шукати max(|Дk*|) по Дxij і Дyi (i=1,…, п;j=1,…, m). Для цього розглянемо всі три раніше введених типи обмежень на похибки виміру.
Тип 1 (абсолютні похибки виміру обмежені). Тоді:
Тип 2 (відносні похибки виміру обмежені). Аналогічно одержимо:
Тип З (обмеження накладені на суму похибок). Припустимо, що |Дk*| досягає максимального значення при таких значеннях погрішностей Дxij і Дyi,
які ми позначимо як:
тоді:
Через лінійність останнього вираження і виконання обмеження типу 3:
Для спрощення запису зробимо наступні заміни:
Тепер для досягнення поставленої мети можна сформулювати наступне завдання, що розділяється на m типових завдань оптимізації:
при обмеженнях
Перепишемо функції, що мінімізуємо, в наступному вигляді:
Очевидно, що fik > 0.
Легко бачити, що
Отже, необхідно вирішити nm завдань
при обмеженнях "типу рівності":
Сформульоване завдання пошуку екстремуму функції. Воно легко вирішується. Оскільки
то максимальне відхилення МНК - оцінки k-ого параметра дорівнює
- Вступ
- Розділ І. Лінійна багатовимірна регресія
- Розділ ІІ. Довірчі інтервали регресії. Похибка прогнозу
- Розділ ІІІ. Лінійний регресійний аналіз інтервальних даних
- 3.1 Метод найменших квадратів для інтервальних даних
- 3.2 Метод найменших квадратів для лінійної моделі
- 3.3 Парна регресія
- Розділ IV. Програмний продукт «Інтервальне значення параметрів»
- 4.1 Текст програми
- 4.2 Опис програми
- 4.3. Результати роботи програми
- Висновки