Оценка параметров линейной модели множественной регрессии методом наименьших квадратов

    Оценка параметров модели множественной регрессии по статистическим данным производится методом наименьших квадратов, в результате чего формируется уравнение регрессии. Например, уравнение линейной модели (3.2) имеет вид:

,

(3.11)

где  — предсказываемое уравнением регрессии значение результата Y; b₀, b₁, b₂, …, b_p — коэффициенты уравнения регрессии, являющиеся оценками истинных параметров модели.

    Для построения корректной модели число наблюдений n должно в несколько раз превышать число факторов p. Статистические данные для регрессионного анализа обычно представляются в табличной форме (табл. 3.1).

    Линейная модель множественной регрессии (3.2) может быть представлена и в матричной форме:

,

(3.12)

где Y — вектор значений результата Y размера n; X — матрица значений факторов размера ; b — вектор параметров модели размера ; e — вектор возмущений размера n.

    Схожим образом в матричной форме представляется и уравнение регрессии:

,

(3.13)

где  — вектор предсказываемых уравнением регрессии значений результата Y размера n;b — вектор оценок параметров модели по статистическим данным размера .

    Указанные матрицы имеют вид:

; ; ; ; ; .

    Все элементы первого столбца матрицы X равны 1, так как условно полагается, что в модели (3.2) параметр b₀ умножается на фиктивную переменную x_i0, принимающую значение 1 для всех i=1, 2, …, n.

    Разность матриц Y и  является вектором-столбцом остатков размера n:

.

(3.14)

    Условие метода наименьших квадратов в матричной форме записывается как

,

(3.15)

откуда вектор оценок b параметров модели (3.13) определяется по формуле

.

(3.16)

    Индекс «^T» обозначает операцию транспонирования матриц, а индекс «–1» — операцию обращения матриц.

    Стандартная ошибка линейной множественной регрессии определяется по формуле

,

(3.17)

где p — число факторов в модели.