2. Означення метода найменших квадратів

Якщо всі вимірювання значень функції виконані з однаковою точністю, то оцінки параметрів визначаються із умови, щоб сума квадратів відхилень виміряних значень від розрахункових , тобто є величина:

(2)

Сума квадратів відхилень фактичних (дослідних) даних приймала найменше значення від вирівняних.

Якщо вимірювання виконані з різними дисперсіями ( не рівно точні), але відомі відношення дисперсій різних вимірювань, тоді сума замінюється сумою:

(3)

де множники називається вагою вимірювання, обернено пропорційні дисперсіям: .

Якщо всі вимірювання значень функції проводяться з однаковою точністю, але при кожному значенні аргумента вимірювань серія вимірювань, а в якості береться середнє арифметичне результатів вимірювань в серії, то вагою вимірювання можуть бути кількість вимірювань в серіях .

Сформульована вище умова зберігається і для визначення оцінок параметрів функції декількох змінних. Наприклад, для функції від двох змінних оцінки параметрів визначається з умови перетворення в мінімум суми

(4).

Відшукування тих значень параметрів , які дають найменше значення функції полягає у розвязку системи рівнянь

(5).

Нехай в процесі певного дослідження ми отримали такі дані:

Таблиця 1

Виходячи із змісту розглядуваних явищ, припускаємо, що між цими величинами існує певна функціональна залежність . Метод найменших квадратів (метод Гауса) полягає в тому, що треба знайти такі параметри функціональної залежності , щоб сума квадратів відхилень фактичних даних від вирівняних була найменшою (рис. 1).

Рис. 1

(6)

де - фактичні (дослідні) значення;

- вирівняні значення.

Застосуємо цей метод для визначення параметрів функціональних залежностей.

а) Нехай між даними прямопропорційна залежність, тобто теоретична крива, за допомогою якої будемо вирівнювати емпіричну залежність між цими величинами має такий вигляд:

(7)

Тоді (6) запишеться у вигляді:

.

Як видно, ця сума залежить від . Вона буде мінімальна тоді, коли похідна по змінній дорівнює нулю, тобто:

Скоротимо це рівняння на -2:

;

,

звідки

.

Підставимо значення в рівняння (7), дістанемо:

. (8)

б) Нехай функціональна залежність має такий вигляд: . Підставивши в рівняння (6) замість відповідно , дістанемо: . У цій формулі невідомі коефіцієнти і . Знайдемо значення і , при яких функція матиме мінімальне значення. Щоб знайти ці значення, візьмемо частинні похідні по і та приведемо їх до нуля. Розвязок здобутої системи рівнянь дає ті значення, при яких дана сума мінімальна.

Скоротимо обидва рівняння на -2 і зробимо такі перетворення:

Враховуючи, що , дістанемо:

(9)

Опустивши індекси перепишемо систему (9.9) так:

(10)

Одержана система рівнянь називається нормальною системою Гауса. Розвязавши її знайдемо значення і .

; (11)

; (12)

в) Нехай функціональна залежність має такий вигляд: . Формула (9.6) в цьому випадку запишеться так:

.

Щоб знайти значення коефіцієнтів , і , при яких функція мінімальна, знаходимо часткові похідні по , і від і прирівнюємо їх до нуля. Розвязання одержаної системи трьох рівнянь і дають нам значення , і , при яких буде мінімальним:

Прирівнявши ці похідні до нуля і зробивши відповідні перетворення, будемо мати:

 (13)

Систему (9.13) запишемо без індексів:

(14)

Розвязок цієї системи , і - це ті значення коефіцієнтів рівняння звязку другого степеня , при яких сума квадратів відхилень фактичних даних від вирівняних буде мінімальною.

, (15).

де

, (16)

, (17)

.

г) Аналогічно складається система нормальних рівнянь тоді коли звязок між ознаками близький до оберненого і досить добре виражається залежністю . Система нормальних рівнянь для цього випадку буде такою:

 (18)

Вирівнювання за показниковою (експонентною) функцією проводиться тоді коли ознаки з більш-менш сталим відносним приростом. Вирівнювання проводиться за формулою . В цьому випадку параметри і визначаються за методом найменших квадратів відхилень логарифмів розвязуванням системи нормальних рівнянь:

(19)

Приклад

На основі вихідних даних, взятих із таблиці, згідно зі своїм варіантом, побудувати математичну модель, використовуючи метод найменших квадратів.

Знаходимо впіввідношення

; ; ; ;

Середнє арифметичне усіх чисел становить

;

За формулою знаходимо:

Отже, залежність між y та x описується рівнянням:

y = 2,58x ;