Парадокси в математичній статистиці

дипломная работа

Розділ І. Основні поняття математичної статистики

Точкові оцінки.

Означення. Випадковий вектор зі значеннями в просторі називатимемо вибіркою (вибірковим вектором).

Вибірку утворену послідовністю незалежних однаково розподілених випадкових величин , кожна з яких має розподіл , називають вибіркою з розподілу (закону) обсягом .

Множину усіх можливих значень вибірки (вибіркового вектора) будемо називати вибірковим простором (далі вибірковий простір - це або його підмножина).

Ми розглядатимемо вибірки, розподіли (функції розподілу) яких залежать від параметра . Множина можливих значень параметра є підмножиною скінчено-вимірного простору .

Постановка задачі оцінювання параметрів розподілів. Нехай - реалізація вибірки з розподілом . Розподіл залежить від параметра , який набуває значень із множини . Значення параметра невідоме і його необхідно оцінити (визначити) за реалізацією вибірки . У цьому і полягає задача оцінювання параметрів розподілів.

Єдине, що нам відомо для оцінювання невідомого параметра - це реалізація вибірки . Крім реалізації вибірки ми не маємо нічого, що несло б інформацію про значення параметра . Тому "оцінити (визначити) за реалізацією (точно чи хоча б наближено)" означає поставити у відповідність реалізації вибірки значення параметра . Формально це означає, що для оцінювання на вибірковому просторі - множині реалізації вибірок - необхідно визначити (побудувати, задати) функцію зі значеннями в - множині можливих значень параметра - таку, що дорівнює або хоча б наближено дорівнює . Значення ми й будемо використовувати як . Зазначимо, що для кожної реалізації значення , яке використовується як , буде своє; тому як функція є випадковою величиною.

Означення. Борелеву функцію , задану на вибірковому просторі , зі значеннями в - множині можливих значень параметра - будемо називати статистикою, а - борелеву функцію від вибірки - оцінкою.

Будувати статистики , такі щоб тобто статистики, з допомогою яких за можна було б точно визначити , явно не вдасться вже хоча б тому, що є константою, а оцінка як функція вибірки (випадкової величини) є випадковою величиною. Тож подобається нам чи ні, для визначення ми будемо змушені вдовольнятися оцінками , як наближеними значеннями .

Зазначимо, що для одного й того самого параметра можна запропонувати багато оцінок.

Похибки оцінювання параметрів. У звязку з постановкою задачі оцінювання параметрів розподілів як задачі знаходження наближених значень параметра треба вміти відповідати на запитання: наскільки великою є похибка при заміні на , інакше кажучи, як далеко можуть відхилятися значення оцінки , обчисленої за вибіркою , відповідної величини ?

Від оцінки , яка пропонується для оцінювання того чи іншого параметра, природно вимагати малого розсіювання її значень, іншими словами концентрації їх у вузькому колі. Як кількісну міру розсіювання значень випадкової величини розглядатимемо (для наочності - одновимірний параметр).

Кількісно міру похибки при заміні на (міру розсіювання відносно ) будемо описувати величиною

Серед усіх оцінок з однією і тією самою дисперсією (мірою розсіювання) мінімальну міру розсіювання відносно мають оцінки, для яких . Останнє випливає з рівностей

Означення. Оцінку будемо називати незміщеною оцінкою параметра , якщо , або, що те саме,

Наочно незміщеність оцінки параметра можна трактувати так: за багаторазового використання оцінки як значення , тобто за багаторазової заміни на , середнє значення похибки дорівнює нулеві.

Часто розглядають не одну оцінку , побудовану за вибіркою , а послідовність оцінок У цій ситуації природно говорити про асимптотичну поведінку послідовності оцінок.

Означення. Послідовність оцінок будемо називати спроможною послідовністю оцінок параметра , якщо для кожного

при , або, що те саме, збігається за ймовірністю до , при .

Означення. Послідовність оцінок називатимемо асимптотично незміщеною послідовністю оцінок параметра , якщо при , або, що те саме, при .

Оцінки мінімальної дисперсії.

Основне питання задачі оцінювання параметрів розподілів - наскільки великою є похибка при заміні параметра оцінкою .

Оцінки , що пропонуються для оцінювання параметра , повинні бути незміщеними, тобто .

Такі оцінки мають меншу міру розсіювання відносно порівняно з оцінками, для яких .

Для оцінювання параметра можна запропонувати багато незміщених оцінок. Із сукупності таких оцінок природно вибрати ті, що мають мінімально можливу міру розсіювання (дисперсію).

Означення. Незміщену оцінку параметра будемо називати його найкращою оцінкою, оцінкою мінімальної дисперсії або ефективною оцінкою, якщо .

У звязку з цим означенням природно виникає питання: наскільки малою може бути мінімально можлива дисперсія оцінки (наскільки малими можуть бути відхилення від )? Виявляється, що коли сукупність розподілів , вибірки досить регулярно залежить від оцінюваного параметра , то можна вказати нижню межу дисперсії всіх незміщених оцінок параметра (нерівність Крамера - Рао). У деяких випадках існують оцінки параметра, на яких нижня межа досягається. Ці оцінки є ефективними. Порівнюючи дисперсію даної оцінки з нижньою межею дисперсій незміщених оцінок, можна зясувати, наскільки оцінка близька до найкращої можливої. Докладніше.

Нехай вибірка фіксованого обсягу має щільність розподілу .

Параметр будемо вважати одновимірним, а щодо множини його можливих значень припустимо, що вона є скінченим інтервалом числової прямої.

Лема 1.2.1 Якщо майже для всіх існують похідні

і , ,

мажорові інтегрованими функціями:

і виконуються умови

; , ,

то для всіх

Означення. Функцію

(коли вона визначена) називають інформацією за Фішером.

У лемі 1.2.1 наведено достатні умови, за яких інформація існує. Зазначимо, що

Теорема 1.2.1 (нерівність Крамера - Рао). Нехай задовольняються умови леми 1.2.1 і

незміщена оцінка параметра така, що функція

мажоровна інтегрованою функцією:

Тоді (1.2.1)

причому рівність в (1.2.1) досягається тоді і тільки тоді, коли можна подати у вигляді

Наслідок 1. Якщо оцінка задовольняє умови теореми і для неї нерівність Крамера - Рао перетворюється на рівність, то є ефективною оцінкою параметра .

Наслідок 2. Якщо оцінка задовольняє умови теореми, а статистика - умову

де - щільність розподілу вибірки , то - незміщена й ефективна оцінка параметра .

Наслідок 3. Нехай вибірка з розподілу з щільністю , причому для сумісної щільності

випадкові величини виконані умови теореми. Тоді нерівність Крамера - Рао можна переписати у вигляді

.

Делись добром ;)