8.Метод найменших квадратів (мнк). Система нормальних рівнянь.

Для МНК шукаються такі числ. знач. параметрів р-ня, щоб сума квадратів залишків регресії була найменшою. Короткий запис Σei2=Σ(yi-b0-b1xi)2→min. На підставі теореми про необхідні умови існування екстремуму і після деяких перетворень отримуємо сист. лінійних алгебраїчних р-нь.

Σyi= b0n+ b1Σxi

Σxiyi=b0Σxi+ b1Σxi2

Система нормальних рівнянь для багатофакторних рівнянь має наступний вигляд: Найточніші значення коефіцієнтів емпіричної формули визначають методом найменших квадратів.

Нехай емпірична формула має вигляд

, (1)

де ,, …,─ невідомі коефіцієнти. Треба знайти такі значення коефіцієнтів, за яких крива (1) якомога ближче проходитиме до всіхточок,, …,, знайдених експериментально. За методом найменших квадратів найкращі значення коефіцієнтівті, для яких сума квадратів відхилень

(2)дослідних даних від обчислених за емпіричною формулою (1) найменша. Звідси випливає, що величина (2), яка є функцією від коефіцієнтів, повинна мати мінімум. Необхідна умов мінімуму функції багатьох змінних ─ її частинні похідні мають дорівнювати нулю, тобто

, , …,.

Диференцюючи вираз (2) по невідомих параметрах , матимемо відносно них систему рівнянь:

Система називається нормальною. Якщо вона має розв’язок, то він єдиний.

Будуючи емпіричні формули, припускатимемо, що 9.Оператор оцінювання МНК в матричному вигляді.

Нехай економетрична модель у матричній формі має вигляд

Тоді суму квадратів залиш­ків u можна записати так:

Продиференціюємо цю умову за А і прирівняємо похідні до нуля:

Або _(4.6 Тут — матриця, транспонована до матриці незалежних змінних X. Звідси(4.7)

Рівняння (4.6) дає матричну форму запису системи нормальних рівнянь, а формула (4.7) показує, що значення вектора А є розв’язком системи таких рівнянь.

Неважко показати, що оцінки В, обчислені за (4.7), мінімізують суму квадратів залишків u. При цьому значення вектору В є розв’язком так званої системи нормальних рівнянь .Якщо незалежні змінні в матриці X взяті як відхилення кожного значення від свого середнього, то матрицю називають матрицею моментів.

Числа, що розміщені на її головній діагоналі, характеризують величину дисперсій незалежних змінних, інші елементи відповідають взаємним коваріаціям.Отже, структура матриці моментів відбиває зв’язки між незалежними змінними..

10 Коефіцієнт множинної кореляції та детермінації та перевірка їх статистичної значущості.

Загальна множинна регресійна модель має слідуючий вигляд:

,       (1) де      y - залежна змінна x₁, x₂,…, x_p - фактори (незалежні змінні).

Коефіцієнт (індекс) множинної кореляції R використовується для оцінки тісноти спільного впливу факторів на залежну змінну:

Властивості коефіцієнта множинної кореляції R:

1. Коефіцієнт множинної кореляції приймає значення на відрізку , тобто . Чим ближче R до одиниці, тим тісніше зв’язок між залежною y та факторами x1, x2,…, xp. 2. При R=1 кореляційний зв’язок є лінійною функціональною залежністю. 3. При R=0 лінійний кореляційний зв’язок відсутній.

 Значущість рівня ЛМР у цілому оцінюється за допомогою F-критерія Фішера

(8) із зрівнянням його з табличним значенням .       (9)

Оцінка значущості коефіцієнтів рівняння ЛМР здійснюються за допомогою t-критерію Ст’юдента:

(10) із зрівнянням його з табличним значенням,       (11)

Якщо , то коефіцієнт  признається статистично значущим; 

Для оцінки адекватності регресії моделі, мірою якості рівняння регресії використовують коефіцієнт детермінації, який визначається, як  і раніше, за формулою:

.       (12)

Нагадаємо, що R² характеризує частку варіації залежної змінної, що обумовлена варіаціями факторів.

 Коефіцієнт множинної детермінації приймає Чим ближче R² до одиниці, тим краще регресія апроксимує емпіричні дані.

2. Якщо R²=1, між змінними y та x₁, x₂,…, x_p існує лінійна функціональна залежність.

3. Якщо R²=0, то варіація залежної змінної повністю обумовлена виливом випадкових та неврахованих факторів.

11Довірчі інтервали для оцінок параметрів.

Довірчий інтервал — інтервал, у межах якого з заданою довірчою імовірністю можна чекати значення оцінюваної (шуканої) випадкової величини. Застосовується для більш повної оцінки точності в порівнянні з точковою оцінкою.

Інтервальна оцінка (довірчий інтервал) для параметра q набирає вигляду Параметр q - не випадкова величина, надійність g можна розглядати як імовірність того, що випадковий інтервал покриває дійсне значення параметра. Величини тісно зв’язані з обсягом вибірки Якщо задати дві з цих величин, то можна знайти третю. Для цього потрібно знати закон розподілу для

Для побудови довірчого інтервалу (чи границі) необхідно знати закон розподілу статистики z=z(x1,…,xn), по якій оцінюється невідомий параметр (такою статистикою може бути оцінка z = â(x1,…,xn) ). Один зі способів побудови полягає в наступному.

Виберемо діапазон для інтервалу так, щоб влучення в нього було практично вірогідно: P{ f1 £ j(z, a) £ f2 } ³ PД , (3.1) Перейдемо в (3.1) до іншого запису випадкової події. Розв’язуючи нерівності щодо параметра a, одержимо: P{ g(z, f1) £ a £ g(z, f2) } ³ PД .

Це співвідношення вірне при будь-якім значенні параметра a (оскільки це так для (1)), і тому, відповідно до визначення, випадковий інтервал ( g(z, f1), g(z, f2)) є довірчим для a з рівнем довіри РД . Якщо спадає по , інтервалом є ( g(z, f2), g(z, f1) ).

Для побудови однобічної границі для a виберемо значення і так, щоб P{ j(z, a) ³ f1 } ³ PД , f1=Q(1 – PД ) чи P{ j(z, a) £ f2 } ³ PД , f2 = Q( PД ), де - квантиль рівня . Після розв’язання нерівності під знаком одержимо однобічні довірчі границі для a.