Метод наименьших квадратов
Первая задача регрессионного и корреляционного анализа решается с помощью метода наименьших квадратов. Рассмотрим его суть на примере линейной зависимости, представленной на рис.1.4.
Рис.1.4. Зависимость объема продаж товара от расходов на рекламу
Применение метода наименьших квадратов в этом случае позволяет из бесконечного множества прямых линий, существующих на плоскости, найти уравнение прямой , которая ближе всего расположена к точкам, построенным по исходным данным . Критерием того, насколько близко исходные точки лежат к линии является сумма квадратов ошибок (отклонений) значений
,
где – значения, предсказанные искомой теоретической функцией ; – исходные значения y; n - количество пар исходных данных. Для поиска параметров и , в которых функция принимает минимальное значение ее частные производные приравниваются к нулю.
Таким образом, сумма квадратов отклонений S для прямой , найденной методом наименьших квадратов, является минимальной по сравнению во всеми остальными возможными линейными функциями.
На практике часто встречаются случаи криволинейных связей между параметрами. Для многих из них, в частности для параболы , гиперболы , экспоненты , также применим метод наименьших квадратов.