2.1. Непараметрическая оценка плотности распределения вероятностей Розенблатта–Парзена

Функцией распределения вещественной случайной величины T называется вероятность того, что эта величина принимает меньшее значение, чем аргумент функции:

Функция распределения возрастает на всей области определения и принимает значения от 0 до 1 (рис. 2.1).

Рис. 2.1. Функция распределения вероятности

Плотностью распределения случайной величины называется первая производная от функции распределения (рис. 2.2):

Плотность распределения удовлетворяет следующему свойству:

Пусть задана выборка случайной величины T: . Если использовать эту выборку, то можно получить следующий вариант оценки функции распределения:

Рис. 2.2. Плотность распределения вероятности

Предположим, что выборочные данные будут равновероятными. Тогда оценка функции распределения может быть представлена как оценка функции распределения дискретной случайной величины (рис. 2.3):

Рис. 2.3. Оценка функции распределения

дискретной случайной величины (S = 4)

Единичной ступенчатой функцией Хевисайда (рис. 2.4) назовем функцию

Дельта-функцией Дирака (см. рис. 2.4) называется первая производная от функции Хевисайда:

Дельта-функция удовлетворяет следующим свойствам:

где ; – произвольная функция, принимающая конечные значения.

Применяя операцию дифференцирования к дискретной функции распределения, получим следующую оценку плотности распределения (рис. 2.5):

Приведенная выше оценка плотности распределения является несмещенной, но в то же время несостоятельной (см. приложение). Для того чтобы сгенерировать состоятельную оценку и обеспечить ее практическую применимость, необходима ее модификация. Модификация заключается в размытии входящих в оценку дельта-функций (рис. 2.6). В результате модификации получаем ядерную, или колоколообразную функцию :

где – параметр, определяющий степень размытости ядерной функции, т. е. гладкость оценки. Параметр удовлетворяет следующим условиям:

О

Рис. 2.6. Трансформация ядерной функ- ции в зависимости от параметра

,

.

В качестве ядерных могут быть использованы следующие функции:

– экспоненциальная функция (функция Гаусса):

;

– параболическая функция:

– прямоугольная функция:

Окончательно получим непараметрическую оценку плотности распределения:

Первым подобную оценку ввел М. Розенблатт в 1957 г., а Е. Парзен в 1962 г. ее уточнил. Эта оценка положила начало непараметрической теории, которая применяется для решения задач, связанных с обработкой статистических данных, идентификации, управления и распознавания образов. Оценка плотности – асимптотически несмещенная и сходится в среднеквадратическом (см. приложение).

Пусть дана многомерная случайная величина T, т. е. задан вектор размерности k: , тогда оценкой плотности будет следующая статистика:

Параметры могут быть различными для разных компонентов многомерной случайной величины. Пусть – вектор размерности k:

.

Тогда оценка плотности примет вид

Оценка плотности вероятности входит в выражения для вычисления всевозможных характеристик случайных величин. Рассмотрим ее применение в задачах регрессионного анализа.