Метод наименьших квадратов

Первая задача регрессионного и корреляционного анализа решается с помощью метода наименьших квадратов. Рассмотрим его суть на примере линейной зависимости, представленной на рис.1.4.

Рис.1.4. Зависимость объема продаж товара от расходов на рекламу

Применение метода наименьших квадратов в этом случае позволяет из бесконечного множества прямых линий, существующих на плоскости, найти уравнение прямой , которая ближе всего расположена к точкам, построенным по исходным данным . Критерием того, насколько близко исходные точки лежат к линии является сумма квадратов ошибок (отклонений) значений

,

где  – значения, предсказанные искомой теоретической функцией ;  – исходные значения y; n - количество пар исходных данных. Для поиска параметров и , в которых функция принимает минимальное значение ее частные производные приравниваются к нулю.

Таким образом, сумма квадратов отклонений S для прямой , найденной методом наименьших квадратов, является минимальной по сравнению во всеми остальными возможными линейными функциями.

На практике часто встречаются случаи криволинейных связей между параметрами. Для многих из них, в частности для параболы , гиперболы , экспоненты , также применим метод наименьших квадратов.