45. Выбор формы зависимости между переменными. Метод наименьших квадратов

Одна из наиболее общих задач статистики состоит в определении формы и оценивании связи между переменными Х и Y (если такая связь существует). Если имеется n пар наблюдений над такими переменными, то наблюдения можно представить точками на плоскости, получая так называемую диаграмму (или поле) рассеяния. Затем можно постараться подобрать некоторую гладкую кривую таким образом, чтобы она располагалась как можно «ближе» к этим точкам. Особенность задачи состоит в том, чтобы наличие случайных возмущений делает бесполезным подбор такой функции, которая точно описывала бы опытные значения, т.е. график искомой функции не должен обязательно проходить через все точки диаграммы рассеяния. Другими словами, требуется как можно точнее отразить общую тенденцию зависимости Y от Х, сглаживая при этом случайные возмущения.

Для решения поставленной задачи часто применяется метод наименьших квадратов. Этот метод дает возможность при заданном виде зависимости переменных выбрать ее параметры (коэффициенты) так, чтобы получаемая кривая в некотором смысле наилучшим образом отображала экспериментальные данные.

Весьма часто вопрос о типе зависимости между переменными Х и Y решается по внешнему виду поля рассеяния. Например, экспериментальные точки, изображенные на первом из двух представленных ниже рисунков, явно наводит на мысль о линейной зависимости вида , где и b – некоторые постоянные величины, – случайная переменная, характеризующая отклонение от теоретической кривой. Квадратичная зависимость, изображенная на втором рисунке, хорошо может быть представлена многочленом второй степени .

Предположим, что исходя из некоторых соображений, выбран вид зависимости , где – неизвестные параметры, – случайная переменная, характеризующая отклонение от теоретической кривой. Требуется так выбрать параметры , чтобы кривая «наилучшим» образом отображала зависимость, полученную в опыте.

Метод наименьших квадратов выбора сглаживающей кривой состоит в том, чтобы сумма квадратов отклонений экспериментальных точек от сглаживающей кривой обращалась в минимум. Другими словами, требуется выбрать параметры так, чтобы функция

достигала минимума.

Если функция имеет частные производные по всем параметрам , то необходимое условие минимума функции представляет собой систему уравнений с m неизвестными: