1.7. Методы максимального правдоподобия и максимума апостериорной вероятности

Метод максимального правдоподобия первоначально был предложен в 1912 г. Р. Фишером (1890–1962) для оценки неизвестных параметров распределения при заданном виде распределения. Этот метод широко используется и для построения моделей.

Предположим, что имеется возможность вычислить совместную плотность распределения вероятностей измерений при условии некоторых фиксированных значений параметров  линейной модели. Тогда в качестве оценки по методу максимального правдоподобия (ММП) для вектора параметров выбирается такое значение, которое максимизировало бы следующую условную плотность распределения вероятностей, называемую функцией правдоподобия:

Примем схему «вход-выход» модели с аддитивной помехой (рис. 1.8).

Рис. 1.8. Модель с аддитивной помехой

Предположим также, что помеха некоррелирована, а вектор случайных помех  в уравнении линейной регрессии распределен по нормальному закону с нулевым математическим ожиданием:

где – евклидова норма.

Функцию правдоподобия запишем следующим образом:

Отметим, что когда плотность распределения помехи в измерениях не зависит от оценки параметров регрессии , максимум функции правдоподобия (1.52) будет совпадать с максимумом плотности вероятности помехи:

Выразим помеху из уравнения линейной регрессии через оценки неизвестных параметров : . Тогда плотность распределения помехи с учетом формулы (1.51) можно определить следующим образом:

Удобно максимизировать функцию правдоподобия вида (1.43), предварительно взяв от нее натуральный логарифм, так как вследствие монотонности логарифма максимумы L и ln L достигаются при одном и том же значении . В результате имеем:

Максимум ln L доставляет выражение, которое называется уравнением правдоподобия:

Решив это уравнение относительно , получим алгоритм оценивания параметров линейной регрессии по методу максимального правдоподобия:

Этот результат полностью совпадает с полученной ранее МНК-оценкой параметров линейной регрессии. Следовательно, в случае нормального распределения помех измерений метод максимального правдоподобия позволяет получить оценки с минимальной дисперсией. Отметим, что при рассмотрении МНК-оценок никаких предположений о виде распределения помех измерений не делалось.

Что касается наиболее вероятных оценок по критерию метода максимума апостериорной вероятности (МАВ), то они связаны с ММП-оценками через формулу Байеса:

Из формулы (1.58) следует, что максимальное значение  по  будет соответствовать максимальному значению  только в том случае, когда  не будет вносить в максимизацию никакого вклада. Подобный эффект может иметь место в том случае, если  является плотностью равномерного распределения в соответствующем диапазоне допустимых параметров. Тогда оценки по критериям МАВ и ММП будут совпадать. Если же распределение ошибок измерений при этом будет гауссовским (нормальным), то тогда оценки параметров линейной регрессии по всем трем критериям: МНК, ММП и МАВ – совпадут и будут вычисляться по формуле (1.57).

Отметим также, что выражение (1.57) может быть представлено в рекуррентной форме путем добавления еще одного измерения к уже имеющимся n, подобно тому, как уже делалось выше для обычного МНК (см. п. 1.5).