Парадокси в математичній статистиці

дипломная работа

2.1.3 Пояснення парадоксу

Нехай - вибірка з нормального розподілу з параметрами . Порахуємо математичне сподівання оцінки :

тому - незміщена оцінка для параметра .

Зясуємо, чи є спроможною оцінкою параметра , тобто чи збігається за ймовірністю до . Для досить малих маємо:

в силу закону великих чисел. Останнє означає, що є спроможною оцінкою параметра .

Покажемо, що незміщена оцінка з найменшою дисперсією:

.

Умова обертання нерівності Крамера - Рао (дивитися підрозділ 1.2) в рівність говорить, що якщо статистика , така, що

де - щільність розподілу вибірки , то - незміщена й ефективна оцінка параметра .

Обчислимо :

== ==

== ==

=== =

= = ,

тому - ефективна оцінка для параметра .

Розглянемо сімю розподілів на , які залежать від параметра і задаються щільністю , .

Кількість інформації за Фішером визначимо

. (2.1.3.1)

За умов, що ми вважаємо, що підінтегральний вираз дорівнює нулеві. Отже,

Теорема 2.1.3.1 (Каган, Лінник, Рао) [1] У класі щільностей , зі скінченою дисперсією , що задовольняють умови

1. - неперервно-диференційована функція. (2.1.3.2)

2. при (2.1.3.3)

нерівність Крамера-Рао обертається на рівність на гауссівському розподілі.

Доведення. Будемо вважати, що

Позначимо множину точок , для яких через .

Оскільки неперервна, то - відкрита множина, і отже, можна подати як обєднання відкритих інтервалів, що не перетинаються:

.

Інтегрування за частинами дає

,

.

Звідси . (2.1.3.4)

Скористаємось нерівністю Коші - Буняковського для інтегралів

.

Позначимо

, .

Тоді з (2.1.3.4) маємо

.

Отже,

,

.

При цьому знак рівності досягається тоді й тільки тоді, коли при деякій постійній

.

Знайдемо щільність з рівності:

. (2.1.3.5)

Розвязуючи диференціальне рівняння маємо:

.

Для знаходження сталих скористаємося тим, що (інтеграл від щільності дорівнює 1), (математичне сподівання дорівнює 0), (дисперсія скінчена і дорівнює ).

Розвязуючи рівняння:

Знаходимо

Отже, маємо щільність нормального розподілу з параметрами :

.

Теорема доведена.

Зауваження 1. Нерівність Крамера - Рао (1.2.1) в теоремі набуває вигляду .

Дійсно, згідно з наслідком 3 з теореми (нерівність Крамера - Рао)

Порахуємо :

Підставляємо в нерівність:

або,

,

або,

Зауваження 2. З одного боку

З іншого боку

.

Знак рівності в нерівності Крамера - Рао досягається тоді й тільки тоді, коли

,

або,

або,

В частинному випадку для щільності , розподілу маємо

2.2 Парадокс Байєса

2.2.1 Історія парадоксу

Томас Байєс, учень де Муавра, є одним з видатних засновників математичної статистики. Його теорема, доведена близько 1750 р. і опублікована лише після його смерті, стала джерелом деяких суперечок в статистиці. Вони не припинилися й досі. Більш того, теоретична прірва між послідовниками байєсівського й антибайєсівського підходів продовжує збільшуватися. Сформулюємо теорему Байєса.

Нехай та - довільні події, які мають імовірності та відповідно. Позначимо через ймовірність перетину подій та , - умовна імовірність події , якщо відомо, що подія відбулася. Якщо події - утворюють повну групу подій, тобто

1) - попарно неперетинні ( ),

2) ,

То

, ,

Остання формула називається формулою Байєса. Вона показує, як за апріорними ймовірностями подій (імовірностями подій відомими до того, як подія відбулася) знайти апостеріорні ймовірності подій (ймовірності подій після того, як подія відбулася).

Сама теорема безперечна, але в більшості її застосувань апріорні імовірності невідомі. В цьому випадку, як правило, вважають, що, оскільки відсутня попередня інформація про події , то усі ймовірності рівні, але такий підхід, взагалі кажучи, неприйнятний.

Байєс використовував свою теорему у випадках, коли апріорні імовірності були випадковими величинами, зокрема, рівномірно розподіленими на інтервалі .

Нехай - випадкова величина зі щільністю

.

Позначимо через - подію, яка полягає у тому, що у випробовуваннях Бернуллі подія відбулась разів, при цьому ймовірність події дорівнює .

Умовна щільність випадкової величини дорівнює

(2.2.1 1)

Де - це умовна ймовірність події за умов, що набуло значення дорівнює

. Тоді

(2.2.1 2)

І ймовірність того, що дорівнює

. (2.2.1 3)

Байєс висунув ідею про те, що якщо ми не маємо ніякої попередньої інформації про , апріорна щільність випадкової величини рівномірна на усьому інтервалі . Наприклад, якщо , , , , то за наведеною вище формулою (2.2.1 3), імовірність того, що більше , дорівнює . Дійсно,

Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.

Незнання апріорного розподілу виявилось настільки руйнівним для обґрунтування статистичних виводів з теореми Байєса, що ця теорема була майже виключена зі статистичних досліджень. Але в другій третині ХХ століття байєсівський підхід знову здобув розвитку, завдяки важливій ролі, яку він відіграє при пошуку допустимих та мінімаксних оцінок. Все більш розповсюджувалась точка зору про те, що послідовне застосування формули Байєса (коли після кожного експерименту апостеріорні ймовірності переоцінюють і на наступному кроці вони використовуються як апріорні імовірності) знижує роль вихідного апріорного розподілу, оскільки після багаторазового переоцінювання вихідний апріорний розподіл не впливає на заключний апостеріорний розподіл.

(Очевидно, що деякі випадки не розглядаються, наприклад, коли значення дорівнює , а апріорний розподіл рівномірний на відрізку , що не містить точку ).

2.2.2 Парадокс

Нехай можливими значеннями випадкової величини є цілі числа. Припустимо, що ймовірнісний розподіл залежить від параметру , який належить відрізку . Якщо вибірка здобута з невідомого розподілу (розподілу з невідомим параметром ), то послідовність апостеріорних розподілів (які обчислені за вихідним апріорним розподілом)

.

концентрується навколо істинного значення невідомого параметра .

Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра може дорівнювати , а послідовність апостеріорних розподілів (при збільшенні числа спостережень ) все більше зосереджується, наприклад, біля .

Делись добром ;)