2.2. Непараметрическая оценка регрессии Надарая–Ватсона

В качестве примера возьмем статический объект с одним входным и одним выходным параметрами. Математическое описание статической модели «вход-выход» такого объекта представляет собой условное математическое ожидание, или функцию регрессии:

Предположим, что нам известна случайная выборка измерений входной и выходной величин объекта: . Заменяя плотности вероятностей их непараметрическими оценками

получаем оценку регрессии:

Выражение в квадратных скобках представляет собой выборочную величину в силу свойств колоколообразных функций. Окончательно модель объекта, т. е. оценка регрессии, имеет вид

Эта оценка была выведена E. Надарая и Дж. Ватсоном в 1964 г. Нетрудно доказать, что полученная оценка является несмещенной и сходится в среднеквадратическом. Эта оценка нашла применение в областях, где элементы выборки расположены достаточно густо. Параметр выбирается оптимальным в соответствии с критерием, минимизирующим средний квадрат ошибки с применением так называемого скользящего экзамена. Идея скользящего экзамена заключается в последовательном исключении из рассмотрения элементов выборки при вычислении критериальной функции:

где .

Непараметрическая модель статического объекта с векторным входом имеет вид

Пусть объект описывается уравнением , . Для случайных выборок измерений объемом и построим непараметрическую модель, приняв параметр размытости (рис. 2.7, 2.8).

Рис. 2.7. Кривая непараметрической оценки регрессии с параметрами

S = 201, С_s = 2,2 и среднеквадратической ошибкой 0,25862

Рис. 2.8. Кривая непараметрической оценки регрессии с параметрами

S = 51, С_s = 2,2 и среднеквадратической ошибкой 0,23784

Рис. 2.9. Кривая непараметрической оценки регрессии с параметрами

S = 51, С_s = 10,2 и среднеквадратической ошибкой 1,4543

На рис. 2.7 и 2.8 крестиками отмечены выборочные значения, а сплошной линией – непараметрические оценки регрессии. Для расчетов были приняты выборки, различные по величине при одинаковых значениях параметра размытости. Нетрудно увидеть изменение качества оценивания с изменением объема выборки, а также поведение оценки в областях с различной густотой выборочных значений.

Для больших фактор сглаживания приводит к деформации модели, особенно в областях, где плотность выборки невысока (рис. 2.9).

Непараметрические оценки регрессионного типа не требуют знания структуры уравнения и опираются лишь на выборочные значения входной и выходной величин объекта. Однако для качественного оценивания зависимостей с их помощью нужен большой объем выборки, особенно в случае построения моделей объектов с векторным входным воздействием. При использовании этих оценок также необходимо соблюдение требования однородности распределения выборочных значений по всей области оценивания.