1.4. Линейный метод наименьших квадратов с использованием ортогональных полиномов

Теория ортогональных полиномов – одна из ветвей математического анализа. Ее первые результаты были получены в конце XVIII – начале XIX в., но интенсивно эта теория начала развиваться с середины XIX в. Огромный вклад в становление и развитие этой теории внесли и российские математики.

Непрерывные функции и ортогональны с весом на интервале , если справедливо равенство

Введем понятие ортогональности для вектора базисных функций в дискретном случае. Пусть вектор базисных функций  таков, что входящие в него функции попарно ортогональны для заданной выборки, т. е. для любой пары , выполняется условие

В этом случае матрица превращается в диагональную, а значит, система уравнений (1.19) распадается на m независимых уравнений:

Независимость этих уравнений приводит к тому, что оценки коэффициентов при базисных функциях не зависят от значений других базисных функций. Кроме того, если часть использующихся базисных функций отбросить, то оценки коэффициентов при оставшихся функциях не изменятся.

Приведем примеры ортогональных полиномов.

Полиномы Чебышёва. П. Л. Чебышёв (1821–1894) – знаменитый русский математик, создатель Санкт-Петербургской математической школы. В статистике его имя известно главным образом по так называемому неравенству Чебышёва, которое он предложил для распределения вероятностей и которое имеет силу для любого статистического распределения. Однако в последнее время в статистике все большее значение приобретают ортогональные полиномы Чебышёва, предложенные им в 1855 г. Эти полиномы используются при определении множественной и криволинейной регрессии и при вычислении коэффициентов обобщенной функции нормального распределения вероятностей.

Полиномы Чебышёва первого рода T_n(x) (рис. 1.2) и второго рода U_n(x) ортогональны на интервале с весовыми функциями и соответственно и определяются как

Рис. 1.2. Полиномы Чебышёва первого рода

Они также могут быть получены при помощи рекуррентного отношения:

Полиномы Эрмита. Полиномы Эрмита H_n(x) (рис. 1.3) ортогональны на интервале (–; ) с весовой функцией Они определяются по выражению

или могут быть получены при помощи рекуррентной формулы:

Рис. 1.3. Полиномы Эрмита

Полиномы Лагерра. Полиномы Лагерра L_n(x) (рис. 1.4) ортогональны на интервале [0; ) с весовой функцией и определяются как решения дифференциального уравнения Лагерра:

L_i(x)

Рис. 1.4. Полиномы Лагерра

Решения, соответствующие целым неотрицательным значениям n, могут быть получены при помощи формулы Родрига (Родригеса):

или рекуррентной формулы

Полиномы Лежандра. Полиномы Лежандра P_n(x) (рис. 1.5), иногда называемые функциями Лежандра первого рода, ортогональны на интервале с весовой функцией и определяются как решения дифференциального уравнения Лежандра:

Решения, соответствующие целым неотрицательным значениям n, могут быть получены при помощи формулы Родрига (Родригеса):

или при помощи рекуррентной формулы:

Р_i(x)

Рис. 1.5. Полиномы Лежандра

Другие разновидности ортогональных полиномов можно найти в специальной и справочной литературе¹.