Парадокси в математичній статистиці
2.2.3 Пояснення парадоксу
Парадоксальність ситуації полягає в тому, що очікується, що функція апостеріорної щільності буде набувати найбільше значення в околі істинного значення , тобто поблизу . Однак це міркування не суперечить тому, що функції апостеріорної щільності можуть усе більш зосереджуватись поблизу . Якщо число можливих значень величини скінченне, то такий випадок неможливий, але коли значеннями можуть бути будь-які цілі числа, парадоксальна ситуація може відбутися.
Нехай апріорний розподіл параметра рівномірний на відрізку . Визначимо функцію на цьому відрізку таким чином, що значеннями завжди є натуральні числа, за виключенням точок та , де . Нехай розподіл випадкової величини (який залежить від ) має вигляд
,
де є константою, для якої
.
При відповідному виборі вказана вище парадоксальна ситуація здійснена. [5]
Найбільшого розповсюдження набули три точкові оцінки параметра .
1. Мода. Оцінка параметра обирається виходячи з максимуму апостеріорної щільності, тобто
(2.2.3.1)
2. Медіана. Оцінка параметра обирається виходячи з рівності
,
або
3. Середнє. Оцінка параметра обирається як математичне сподівання
2.3 Парадокс методу найменших квадратів
2.3.1 Історія парадоксу
Через помилки вимірювань часто здається, що теоретичні формули й емпіричні дані суперечать одне одному. На початку минулого століття Лежандр, Гаус і Лаплас запропонували ефективний метод, що дозволяє зменшити вплив помилок вимірювань. Лежандр розробив і застосував цей метод у 1805 р. для знаходження орбіт комет. Початківцями цієї теорії були Галілей (1632), Ламберт (1760), Ейлер (1778) та інші. Новий метод, названий методом найменших квадратів, детально досліджував Гаус в своїй роботі “Теорія руху небесних тіл" (1809). Саме Гаус вказав на ймовірнісний характер цього методу. Хоча Лежандр і звинувачував Гауса в плагіаті, але він не міг предявити для цього достатні підстави. Гаус претендував на пріоритет лише у використанні методу, а не в його публікації. Лаплас опублікував свою основну роботу з теорії ймовірностей в 1812 р., присвятивши його “великому Наполеону”. Протягом всієї четвертої глави його роботи йде викладення числення похибок. З того часу метод найменших квадратів розвинувся в новий розділ математики.
Можливості методу часом переоцінюють і часто використовують тоді, коли інші методи підходили б більше. На цю проблему звертав увагу ще Коші (1853) під час “дебатів” з Бўєнеме.
2.3.2 Парадокс
Нехай - вибірка, утворена незалежними випадковими величинами зі щільністю
,
Ми маємо можливість спостерігати . За результатами спостережень необхідно оцінити невідомий параметр (параметри a, b вважаємо відомими). Оцінка параметра за методом найменших квадратів дорівнює
. (2.3.2.1)
Оцінка параметра за методом максимальної правдоподібності дорівнює
(2.3.2.2)
Оцінка параметра за МНК - методом не збігається з оцінкою, здобутою за методом максимальної правдоподібності.
Яка з них краще?