Парная регрессия и метод наименьших квадратов

Будем предполагать в рамках модели (2.2) линейную зависимость между двумя переменными Y и X. Т.е. имеем модель парной регрессии в виде:

Y_i =a+bX_i+u_i, i=1,…,n.

а. Eu_i=0, i=1,…,n.

б.

в. X₁, …, X_n – неслучайные величины.

Предположим, что имеется выборка значений Y и X.

Обозначим арифметические средние (выборочные математические ожидания) для переменных X и Y:

.

Запишем уравнение оцениваемой линии в виде:

,                                           (2.6)

где и  - оценки неизвестных параметров a и b, а  - ордината этой линии.

Пусть (X_i, Y_i) одна из пар наблюдений. Тогда отклонение этой точки (см. рис. 2.1) от оцениваемой линии будет равно e_i=Y_i - .

Принцип метода наименьших квадратов (МНК) заключается в выборе таких оценок и , для которых сумма квадратов отклонений для всех точек становится минимальной.

Y