1.3 Метод максимальної правдоподібності

Нехай - вибірка із розподілом , що залежить від параметра Параметр невідомий і його необхідно оцінити за вибіркою .

Означення. Функцією максимальної правдоподібності вибірки будемо називати функцію параметра , що визначається рівністю , , якщо вибірковий вектор абсолютно неперервний зі щільністю і рівністю , , якщо вибірковий вектор дискретний з розподілом .

Метод максимальної правдоподібності побудови оцінок полягає в тому, що за оцінку параметра вибирається точка , в якій функція максимальної правдоподібності досягає найбільшого значення.

Означення. Оцінкою максимальної правдоподібності будемо називати точку , в якій функція максимальної правдоподібності досягає найбільшого значення.

Іншими словами, оцінкою максимальної правдоподібності параметра будемо називати відмінні від константи розвязки рівняння

,

якщо такі розвязки існують. Корені, які не залежать від вибірки , тобто мають вигляд , де - константа, слід відкинути (оцінка - це функція вибірки).

Логарифм від функції максимальної правдоподібності називають логарифмічною функцією максимальної правдоподібності.

Зазначимо, що функції та досягають найбільшого значення в одній і тій самій точці. А відшукати точку, в якій функція досягає найбільшого значення, часто зручніше.

Якщо функція диференційована по , то для того щоб розвязати рівняння

(1.3.1)

достатньо знайти стаціонарні точки функції

,

розвязуючи рівняння

і, порівнюючи значення функції у стаціонарних точках і на межі множини , вибрати точку , в якій функція , досягає найбільшого значення. Ця точка і буде розвязком рівняння (1.3.1).

Рівняння

називають рівняннями максимальної правдоподібності.

Метод найменших квадратів.

Нехай - незалежні нормально розподілені випадкові величини з однаковою дисперсією

та середніми лінійними по параметру :

де - відомі, не випадкові величини, а - невідомі параметри, які слід оцінити. Кожну випадкову величину можна представити:

де - похибки спостережень та вони всі різні. Відносно припускається:

1) - незалежні випадкові величини, ;

2) ;

3) , , - не корельовані (це означає, що та не повязані між собою лінійною залежністю).

;

4) ~.

МНК - оцінкою параметрів називають точку , в якій функція

досягає мінімального значення.

Диференціюємо цю функцію за параметрами :

,

.

Прирівнюємо похідні нулеві:

Розглянемо систему рівнянь:

Виразимо з цієї системи параметри :

,

,

,

,

.

Отже МНК - оцінками параметрів є

,

.