3.1 Точечна оцінка параметрів розподілу

Є два підходи до оцінювання невідомих параметрів розподілів по спостереженнях: точечний і інтервальний. Точечний вказує лише точку, біля якої знаходиться оцінюваний параметр; при інтервальному знаходять інтервал, що з деякою великою ймовірністю, що задається дослідником, накриває невідоме числове значення параметра. У главі розглядаються методи точечного оцінювання параметрів; будуються інтервальні оцінки параметрів нормального розподілу, обговорюється загальний підхід до інтервального оцінювання параметрів розподілу, відмінних від нормального.

3.1.1 Метод моментів

Метод моментів є одним із методів точечного оцінювання параметрів розподілу.

Нехай закон розподілу випадкової величини X відомий із точністю до числових значень його параметрів ₁,_2,…,k. Це означає, що відомий вид функції щільності f_x(х, ), де = (₁,_2,…,k), якщо X безперервна (відомий вид функції ймовірності Р (X= х,), якщо X дискретна), але числові значення k параметрів не відомі. Знайдемо оцінку = (₁,_2,…,k) параметра 0, розташовуючи вибіркою: х₁, х₂..., х_п.

Допустимо, що існує k початкових моментів, кожний із який можна висловити через (без обмеження спільності можна розглядати тільки початкові моменти, тому що центральні моменти є функціями початкових). Нехай такими моментами будуть перший, другий,..., k-й: v₁,v_2,…,v_k (що зовсім не обовязково). Висловимо кожний із них через :

 (3.1)

Помітимо, що в системі

(3.2)

число рівнянь повинно бути рівним числу k оцінюваних параметрів. Знайдемо рішення системи (3.2). Висловивши кожний параметр через v₁,v_2,…,v_k, одержимо:

(3.3)

Властивість змістовності вибіркових початкових моментів є підставою для заміни в рівняннях (3.3) теоретичних моментів v₁,v_2,…,v_k на обчислені при великому п вибіркові моменти v₁,v_2,…,v_k.

Оцінками методу моментів параметрів ₁,_2,…,k називаються оцінки

(3.4)

Питання про те, які початкові моменти включати в систему (3.2), варто вирішувати, керуючись конкретними цілями дослідження і порівняльної простоти форм залежностей моментів від параметрів. У статистичній практиці справа рідко доходить навіть до четвертих моментів.

Приклад 3.1.1 Випадковий розмір Х~ N (а, у), при цьому числові значення параметрів а і у² не відомі. Знайдемо оцінки методу моментів для цих параметрів.

Використовуючи формулу (3.1), висловимо моменти v₁ і v₂ через а й у²:

(v₁=a)?(v₂=а² + у²)- такий вид системи (3.2) у даному прикладі. Вирішивши її щодо а й у ², одержимо: а = v₁ у² = v₂ - v₁². Звідси оцінки методу моментів:

це оцінка математичного чекання а;

це оцінка дисперсії у².

Відзначена раніше деяка невизначеність вибору початкових моментів може привести до одержання різних оцінок того самого параметра.

Приклад 3.1.2 Випадковий розмір X має розподіл Пуассона:

Знайдемо оцінку параметра X для двох

варіантів:

а) у якості початкового моменту візьмемо v1, одержимо:

б) у якості початкового моменту візьмемо v2; одержимо:

Оцінки - різні. Звичайно, краще перша: А, = х як більш проста і відповідному змісту параметра пуассонівського розподілу:

= MX, тому за А, природно прийняти х - гарну точечну оцінку математичного чекання.

Однак не всі одержувані методом моментів оцінки мають властивості «гарної оцінки». Так, отримана в прикладі 3.1.1 оцінка

дисперсії у² не має властивість незміщеності а є асимптотично незміщеною оцінкою: lim м= limn-1/n*=, тобто при великих п можна вважати, що не зміщена щодо .

Приведемо без доказу теорему про функції від моментів, із якої випливають визначені властивості оцінок методу моментів.

Припустимо, що є функцією двох вибіркових моментів vk і vm: =h(v,vm), що не містить явно п. Позначимо =h(v,vm), де vk =Mvk, a vm = M/vm (останні дві рівності вірні в силу властивості незміщенності вибіркових початкових моментів),

Теорема стверджує: якщо в деякій околиці точки (v,vm), функція h безперервна зі своїми першими і другими похідними, то при великих п розподіл випадкового розміру =h(v,vm) близько до нормального (n має асимптотично нормальний розподіл) із математичним чеканням, рівним В, і дисперсією, рівної

(3.5)

де С²() -- деяка постійна, що залежить від . (Теорему можна поширити на будь-яку кількість моментів -- аргументів функції h)

З теореми випливає, що при виконанні досить загальних умов оцінка методу моментів ), при великих п задовольняє наступним співвідношенням:

(3.6)

тобто оцінка методу моментів є асимптотично незміщенною,

(3.7)

Переконаємося в тому, що має властивість забезпеченості. Дійсно, нерівність Чебішева для розміру при великих п, прийме вид:

звідси одержимо, що при п - P(/-/<)1.

Уведемо поняття ефективності й асимптотичної ефективності незміщеної оцінки скалярного параметра .

Ефективністю е() незміщеної оцінки параметра називають відношення min DQn(є s) -- мінімально можливого значення дисперсії оцінки в класі S всіх незміщених оцінок параметра до дисперсії Dn розглянутої оцінки. При виконанні функцією щільності f_х(х, 0) [функцією імовірності Р(Х =х, )] досить загальних умов регулярності: дифференційованих по , незалежності області визначення від і т. д. -- має місце нерівність Рао--Крамера--Фреше:

(3.8)

де i() -- кількість інформації про параметр , що міститься в одиничному спостереженні, визначається співвідношенням

(3.9)

(i() -- деяка постійна, що залежить від ). Тому

(3.10)

якщо е() = 1, то -- ефективна оцінка параметра у класі S усіх

його незміщенних оцінок.

Асимптотичної ефективністю оцінки називають розмір

(3.11)

якщо () = 1 то -- асимптотична ефективна оцінка (очевидно, що ефективна оцінка буде й асимптотично ефективною). Знайдемо вираження для асимптотичної ефективності оцінки

. Тому що при великих п оцінку можна вважати незміщеною, то з урахуванням формул (3.11,3.10,3.7) одержимо

Приклад 3.1.3 Переконаємося в тому, що знайдена методом моментів по випадковій вибірці з генеральної сукупності X ~ N (а, а) оцінка X параметра а є ефективної в класі не зміщених оцінок, а оцінка ² параметра ² є, після виключення зміщення, асимптотично ефективною.

Оцінка X - незміщена, і DX = ²/п. Припустивши, що ² відома, і використовуючи формулу (3.10), у якій, з обліком нормальності розподілу,

1(а) = М(dln f(x,a)/da) = 1/ ² одержимо, що е() = 1. Звідси X - ефективна оцінка.

Оцінка - зміщена; виключивши зміщення, одержимо оцінку

дисперсія котрої Ds =2/n-1.

Припустивши, що а відомо, і використовуючи вираження (3.10), у котрому, с обліком нормальності розподілу,

одержимо, що ефективність е(s2) =(n - 1/n)<1, а асимптотична эффективність e0(s2) = lim e(s2) = 1. Отже, s2 - асимптотична эффективна оцінка.

Зауваження.

Незміщеною і ефективною оцінкою дисперсії є використовувана при відомому значенні параметра а оцінка s = (Xі -a) / п, тому що Мs = ², Ds = 2/n и е(s) = 1.

При виконанні досить загальних умов усі три оцінки: ²,s² і s забеспечені.

У приведеному прикладі оцінки методу моментів X і ² є відповідно ефективної й асимптотично ефективної. Однак подібні приклади швидке виключення: набагато частіше оцінки методу моментів із погляду ефективності не є найкращими з можливих навіть при великих п. Р. Фишер показав, що асимптотична ефективність цих оцінок часто значно менше одиниці. Асимптотично ефективні оцінки можуть бути отримані методом максимальної правдоподібності.

3.1.2 Метод максимальної правдоподібності

В основі методу максимальної правдоподібності лежить поняття функції правдоподібності. Нехай Х= (Х, Х₂,..., Х_п) -- випадкова, а х = (х,х,..., х_п) -- конкретна вибірки з генеральної сукупності X. Нагадаємо, випадкової називають вибірку, що задовольняє наступним умовам:

випадкові розміри Х, Х₂,,.., Х_п незалежні, тобто

(3.12)

(3.13)

розподіл кожною з розмірів Х збігається з розподілом розміру X, тобто при і= 1, 2,..., n.

(3.14)

Функція правдоподібності -- це функція L (х, ), значення якої в точці х визначається співвідношенням:

З визначення випливає: чим ймовірніше при фіксованому набір х, тим більше значення функції правдоподібності L (x, ), звідси і її назва.

Отже,

(3.15)

Відповідно до методу максимальної правдоподібності оцінка максимальної правдоподібності ^(п) = (^п), ,..., ) параметра = (, ,..., ), при заданому наборі х визначається з умови:

(3.16)

де {} - область припустимих значень для .

Природність такого підходу до визначення оцінки випливає зі змісту функції L: при фіксованому функція L (х, 0) -- міра правдоподібності набору х; тому, змінюючи , можна простежити, при яких його значеннях набір є більш правдоподібним, а при яких - менше, і вибрати таке значення , при якому наявний набір х буде найбільш правдоподібним.

У ряді випадків зручніше визначати з умови:

In ?(х, ) = In L(x, ) (3.17)

ідентичного умові (3.16): якщо замість функції L узяти In L, крапка максимуму не зміниться. Функцію In L (х, 0) називають логарифмічною функцією правдоподібності.

Відповідно до формули (3.17), для знаходження ^(П) випливає: знайти вирішення системи рівнянь максимальної правдоподібності

(3.18)

при цьому вирішенням вважається лише такий набір * = (*,*,..., *), що задовольняє (3.18), у якому кожне * дійсно залежить від х;

серед вирішень, що лежать усередині області {}, виділити крапки максимуму;

якщо система (3.18) не визначена, не розвязна або якщо серед її вирішень немає крапки максимуму усередині {}, то крапку максимуму варто шукати на границі області {}.

Приклад 3.2.1 Знайдемо методом максимальної правдоподібності оцінки параметрів а і b = у² нормального розподілу.

Відповідно до формули (3.15), функція правдоподібності

логарифмічна функція правдоподібності

Приватні похідні:

Перевіримо достатні умови максимуму функції In L у точці (а*, b*).

Знайдемо:

тому що ? >0, А<0, то крапка (а* = ,b*= ] є крапкою максимуму функції In L. Тому оцінки максимальної правдоподібності =х, =. Оцінки збіглися з оцінками методу моментів.

Приклад 3.2.2 Знайдемо методом максимальної правдоподібності оцінки параметрів а і b рівномірного на відрізку [а,b] розподіли. Відповідно до формули (3.15), функція правдоподібності

При першій умові система (3.18) не розвязна, при другому - не визначена. Оцінки і варто шукати на границі області припустимих значень для а і b:

де а . Тоді умова (3.16) прийме вид:

Тому що функція L(a,b) =1/(b - а)" убуває при зростанні b и убуванні а, то її максимум на області {} досягається в точці .

Приклад 3.2.4 Випадковий розмір Х- число успіхів в одиничному випробуванні: Р(Х = х) = р^х(1 - р) ^1-х, х = 0,1; р - імовірність успіху в одиничному випробуванні. Знайдемо оцінку максимальної правдоподібності розташовуючи вибіркою х₁, х₂..., х_п, де х_і - число успіхів у і-м випробуванні.

де т - число успіхів у л випробуваннях Бернуллі (таку ж оцінку можна одержати і методом моментів). Ця оцінка заможна, незміщена і, у чому неважко переконатися, ефективна.

Відзначена вище природність визначення оцінок максимальної правдоподібності з умови (3.16) підкріплюється їхніми гарними властивостями. Якщо функція щільності fx (х, 9) (функція імовірності Р(Х = х, 9), якщо-дискретна) задовольняє досить загальним умовам регулярності, оцінка максимальної правдоподібності має при великих я розподіл, близький до нормального з математичним чеканням, рівним , і дисперсією, рівної 1/[пІ()], де І() визначається співвідношенням (3.9), є заможної, асимптично несумісної і асимптично ефективної; більш того, якщо існує ефективна оцінка параметра, вона буде єдиним вирішенням рівняння максимальної правдоподібності.

Крім описаних методів оцінювання параметрів існує ряд інших, наприклад метод найменших квадратів, відповідно до котрого

оцінка параметра знаходиться з умови:

(3.19)

Звернемо увагу на те, що математичного чекання нормального розподілу з відомим значенням дисперсії умова (3.19) ідентично умові методу максимальної правдоподібності (3.16).

В останні роки розвиваються так називані робастні, або стійкі, методи оцінювання, що дозволяють знаходити оцінки, хоча і є не найкращими в рамках передбачуваного закону розподілу, але має досить стійкі властивості при відхиленні реального закону від передбачуваного.