1.1.1 Точечная оценка параметров распределения

Сущность задачи точечного оценивания параметров

Точечная оценка предполагает нахождение единственной числовой величины, которая и принимается за значение параметра. Такую оценку целесообразно определять в тех случаях, когда объем экспериментальных данных достаточно велик. Причем не существует единого понятия о достаточном объеме экспериментальных данных, его значение зависит от вида оцениваемого параметра. При его малом объеме точечные оценки могут значительно отличаться от истинных значений параметров, что делает их непригодными для использования.

Точечные оценки могут быть состоятельными, несмещенными и эффективными.

Состоятельной называется оценка, которая при увеличении объема выборки стремится по вероятности к истинному значению числовой характеристики.

Несмещенной называется оценка, математическое ожидание которой равно оцениваемой числовой характеристике. Наиболее эффективной считают ту из нескольких возможных несмещенных оценок, которая имеет наименьшую дисперсию. Требование несмещенности на практике не всегда целесообразно, так как оценка с небольшим смещением и малой дисперсией может оказаться предпочтительнее несмещенной оценки с большой дисперсией. На практике не всегда удается удовлетворить одновременно все три этих требования, однако выбору оценки должен предшествовать ее критический анализ со всех перечисленных точек зрения.

Задача точечной оценки параметров в типовом варианте постановки состоит в следующем:

Имеется: выборка наблюдений (x₁, x₂, …, x_n) за случайной величиной Х. Объем выборки n фиксирован.

Известен вид закона распределения величины Х, например, в форме плотности распределения f(и, x), где и - неизвестный (в общем случае векторный) параметр распределения. Параметр является неслучайной величиной.

Требуется найти оценкупараметра и закона распределения.

Существует несколько методов решения задачи точечной оценки параметров, наиболее употребительными из них являются методы максимального (наибольшего) правдоподобия, моментов и наименьших квадратов.

а) Метод максимального правдоподобия

Метод предложен Р. Фишером в 1912 г. Метод основан на исследовании вероятности получения выборки наблюдений (x₁, x₂, …, x_n). Эта вероятность равна

f(х₁, и) f (х₂, и ) … f (х_n, и ) dx₁ dx₂ … dx_n.

Совместная плотность вероятности

L(x₁, x₂, …, x_n; и) = f(х₁, и) f (х₂, и ) … f (х_n, и),

рассматриваемая как функция параметра и, называется функцией правдоподобия.

В качестве оценки параметра и следует взять то значение, которое обращает функцию правдоподобия в максимум. Для нахождения оценки необходимо заменить в функции правдоподобия и на f(х1,и) f (х2, и) … f(хn, и) и решить уравнение:

¶L/¶q = 0

Для упрощения вычислений переходят от функции правдоподобия к ее логарифму lnL. Такое преобразование допустимо, так как функция правдоподобия - положительная функция, и она достигает максимума в той же точке, что и ее логарифм. Если параметр распределения векторная величина, q=(q₁,--q₂, . . . ,,--q_n), то оценки максимального правдоподобия находят из системы уравнений

¶ ln L (q₁, q₂ , …, q_n) / ¶ q₁ = 0;

¶ ln L (q₁, q₂, …, q_n) / ¶ q₂ = 0;

. . . . . . . . .

¶ ln L (q₁, q₂, …, q_n) / ¶ q_n= 0

Для проверки того, что точка оптимума соответствует максимуму функции правдоподобия, необходимо найти вторую производную от этой функции. И если вторая производная в точке оптимума отрицательна, то найденные значения параметров максимизируют функцию.

Итак, нахождение оценок максимального правдоподобия включает следующие этапы: построение функции правдоподобия (ее натурального логарифма); дифференцирование функции по искомым параметрам и составление системы уравнений; решение системы уравнений для нахождения оценок; определение второй производной функции, проверку ее знака в точке оптимума первой производной и формирование выводов.

Метод максимального правдоподобия позволяет получить состоятельные, эффективные, достаточные, асимптотически нормально распределенные оценки. Этот метод может давать как смещенные, так и несмещенные оценки. Смещение удается устранить введением поправок. Метод особенно полезен при малых выборках. Оценка инвариантна относительно преобразования параметра, т.е. оценка некоторой функции j(и) от параметра и является эта же функция от оценки j(). Если функция максимального правдоподобия имеет несколько максимумов, то из них выбирают глобальный.

б) Метод моментов

Метод предложен К. Пирсоном в 1894 г. Сущность метода: выбирается столько эмпирических моментов, сколько требуется оценить неизвестных параметров распределения. Желательно применять моменты младших порядков, так как погрешности вычисления оценок резко возрастают с увеличением порядка момента; вычисленные по экспериментальным данным оценки моментов приравниваются к теоретическим моментам; параметры распределения определяются через моменты, и составляются уравнения, выражающие зависимость параметров от моментов, в результате получается система уравнений. Решение этой системы дает оценки параметров распределения генеральной совокупности.

Метод моментов позволяет получить состоятельные, достаточные оценки, они при довольно общих условиях распределены асимптотически нормально. Смещение удается устранить введением поправок. Эффективность оценок невысокая, т.е. даже при больших объемах выборок дисперсия оценок относительно велика (за исключением нормального распределения, для которого метод моментов дает эффективные оценки). В реализации метод моментов проще метода максимального правдоподобия. Напомним, что метод целесообразно применять для оценки не более чем четырех параметров, так как точность выборочных моментов резко падает с увеличением их порядка.

в) Метод наименьших квадратов

Допустим, нам известен вид функциональной зависимости физической величины u от другой физической величины z, но не известны параметры этой зависимости a, b, c,... . В результате проведенных измерений получена таблица значений u_i при некоторых значениях . Требуется найти такие значения параметров a, b, c,... при которых функция наилучшим образом описывает экспериментальные данные.

Метод наименьших квадратов утверждает, что «наилучшей» кривой будет такая, для которой сумма квадратов отклонений экспериментальных значений u_i от значений функции минимальна. Таким образом, для определения параметров a, b, c,... необходимо найти минимум функции:

Отметим, что Ц рассматривается здесь как функция параметров a, b, c,..., так как величины u_i, z_i известны из экспериментальных данных.

В общем случае нахождение минимума функции удается сделать далеко не всегда. Поэтому для практической реализации МНК часто применяют следующий искусственный прием: находят некоторое функциональное преобразование , которое приводит исследуемую зависимость

к линейному виду: для которого реализация МНК наиболее проста.

В этом вся суть метода наименьших квадратов.

Оценки, вычисленные на основе различных методов, различаются. Универсального ответа на вопрос, какой из рассмотренных методов лучше или следует ли положиться на данный метод при решении любой задачи, нет. Значение оценки в каждом конкретном случае (для разных выборок) отличается от истинного значения параметра на неизвестную величину, иначе говоря, существует некоторая доля неопределенности в знании действительного значения параметра. Но в нашей курсовой работе мы применим метод моментов.