2.2.1 Історія парадоксу

Томас Байєс, учень де Муавра, є одним з видатних засновників математичної статистики. Його теорема, доведена близько 1750 р. і опублікована лише після його смерті, стала джерелом деяких суперечок в статистиці. Вони не припинилися й досі. Більш того, теоретична прірва між послідовниками байєсівського й антибайєсівського підходів продовжує збільшуватися. Сформулюємо теорему Байєса.

Нехай та - довільні події, які мають імовірності та відповідно. Позначимо через ймовірність перетину подій та , - умовна імовірність події , якщо відомо, що подія відбулася. Якщо події - утворюють повну групу подій, тобто

1) - попарно неперетинні ( ),

2) ,

То

, ,

Остання формула називається формулою Байєса. Вона показує, як за апріорними ймовірностями подій (імовірностями подій відомими до того, як подія відбулася) знайти апостеріорні ймовірності подій (ймовірності подій після того, як подія відбулася).

Сама теорема безперечна, але в більшості її застосувань апріорні імовірності невідомі. В цьому випадку, як правило, вважають, що, оскільки відсутня попередня інформація про події , то усі ймовірності рівні, але такий підхід, взагалі кажучи, неприйнятний.

Байєс використовував свою теорему у випадках, коли апріорні імовірності були випадковими величинами, зокрема, рівномірно розподіленими на інтервалі .

Нехай - випадкова величина зі щільністю

.

Позначимо через - подію, яка полягає у тому, що у випробовуваннях Бернуллі подія відбулась разів, при цьому ймовірність події дорівнює .

Умовна щільність випадкової величини дорівнює

(2.2.1 1)

Де - це умовна ймовірність події за умов, що набуло значення дорівнює

. Тоді

(2.2.1 2)

І ймовірність того, що дорівнює

. (2.2.1 3)

Байєс висунув ідею про те, що якщо ми не маємо ніякої попередньої інформації про , апріорна щільність випадкової величини рівномірна на усьому інтервалі . Наприклад, якщо , , , , то за наведеною вище формулою (2.2.1 3), імовірність того, що більше , дорівнює . Дійсно,

Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.

Незнання апріорного розподілу виявилось настільки руйнівним для обґрунтування статистичних виводів з теореми Байєса, що ця теорема була майже виключена зі статистичних досліджень. Але в другій третині ХХ століття байєсівський підхід знову здобув розвитку, завдяки важливій ролі, яку він відіграє при пошуку допустимих та мінімаксних оцінок. Все більш розповсюджувалась точка зору про те, що послідовне застосування формули Байєса (коли після кожного експерименту апостеріорні ймовірності переоцінюють і на наступному кроці вони використовуються як апріорні імовірності) знижує роль вихідного апріорного розподілу, оскільки після багаторазового переоцінювання вихідний апріорний розподіл не впливає на заключний апостеріорний розподіл.

(Очевидно, що деякі випадки не розглядаються, наприклад, коли значення дорівнює , а апріорний розподіл рівномірний на відрізку , що не містить точку ).

2.2.2 Парадокс

Нехай можливими значеннями випадкової величини є цілі числа. Припустимо, що ймовірнісний розподіл залежить від параметру , який належить відрізку . Якщо вибірка здобута з невідомого розподілу (розподілу з невідомим параметром ), то послідовність апостеріорних розподілів (які обчислені за вихідним апріорним розподілом)

.

концентрується навколо істинного значення невідомого параметра .

Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра може дорівнювати , а послідовність апостеріорних розподілів (при збільшенні числа спостережень ) все більше зосереджується, наприклад, біля .

2.2.3 Пояснення парадоксу

Парадоксальність ситуації полягає в тому, що очікується, що функція апостеріорної щільності буде набувати найбільше значення в околі істинного значення , тобто поблизу . Однак це міркування не суперечить тому, що функції апостеріорної щільності можуть усе більш зосереджуватись поблизу . Якщо число можливих значень величини скінченне, то такий випадок неможливий, але коли значеннями можуть бути будь-які цілі числа, парадоксальна ситуація може відбутися.

Нехай апріорний розподіл параметра рівномірний на відрізку . Визначимо функцію на цьому відрізку таким чином, що значеннями завжди є натуральні числа, за виключенням точок та , де . Нехай розподіл випадкової величини (який залежить від ) має вигляд

,

де є константою, для якої

.

При відповідному виборі вказана вище парадоксальна ситуація здійснена. [5]

Найбільшого розповсюдження набули три точкові оцінки параметра .

1. Мода. Оцінка параметра обирається виходячи з максимуму апостеріорної щільності, тобто

(2.2.3.1)

2. Медіана. Оцінка параметра обирається виходячи з рівності

,

або

3. Середнє. Оцінка параметра обирається як математичне сподівання

2.3 Парадокс методу найменших квадратів