Метод наименьших квадратов и его предпосылки

Рассмотрим уравнение линейной множественной регрессии. Уравнение генеральной совокупности или модель регрессии запишем в виде

             , (t = ),                (3.1)

где  – значения зависимой переменной с номером t;

    – значения независимых переменных с номером t;

    – параметры уравнения регрессии;  – константа или свободный член уравнения регрессии;  – коэффициенты уравнения регрессии;

        – значения случайного члена уравнения регрессии.

Предполагается, что ε_t независимы и нормально распределены с нулевым математическим ожиданием и постоянной дисперсией , т.е. N(0, ).

Термины «зависимая» и «независимые» для переменных не совсем удачны и означают лишь, что в этом случае значения зависимой переменной оцениваются на основе известных значений независимых переменных.

Приведём предпосылки спецификации классической регрессионной модели:

 эндогенная, зависимая переменная объясняется m экзогенными, независимыми переменными;

в общем случае уравнение регрессии включает константу;

объём выборки n должен быть значительно больше числа объясняющих переменных m (считается, что каждый регрессор должен быть обеспечен не менее 6 – 7 наблюдениями);

разность n-m-1 называется числом степеней свободы модели; чем она больше, тем надёжнее результаты оценивания;

параметры уравнения регрессии  должны быть постоянными для всей выборки; это положение зачастую определяет выборку.

Кроме предпосылок спецификации модели необходимо выполнение ещё и предпосылок метода наименьших квадратов (МНК). Как известно, оценки параметров модели линейной регрессии обычно рассчитываются на основе МНК. Доказано, что эти оценки будут «хорошими», т.е. несмещёнными, эффективными и состоятельными, если будут выполняться следующие предпосылки относительно поведения остаточного члена :

математическое ожидание  равно нулю для всех t, т.е. M( ) = 0; t;

дисперсия  постоянна, т.е. D( ) = 0 t, в этом случае говорят, что в остатках наблюдается гомоскедастичность; в противном случае – гетероскедастичность;

случайные отклонения  и независимы друг от друга  для t s, , в этом случае говорят, что в остатках отсутствует автокорреляция;

регрессоры и остатки должны быть независимыми.

Кроме основных предпосылок, рассматриваются ещё две дополнительные – отсутствие между регрессорами сильной линейной зависимости (совершенной мультиколлинеарности) и что N(0, ). Последняя предпосылка не влияет на качество оценок и необходима для проверки статистических гипотез и построения интервальных оценок.

Одна из задач эконометрики – тестирование выполнимости предпосылок и выработка методов оценивания при их нарушениях.

Оцененное уравнение регрессии будем записывать так:

          , (t = ).                        (3.2)

Здесь  – оценки параметров уравнения регрессии, а  – выборочная реализация случайного процесса .

Представим оцененное уравнение регрессии в матричной форме. Введём следующие обозначения:

Y = , X = , B = , e = .

 Тогда уравнение регрессии (3.2) в матричной форме примет вид

                                           Y = XB + e.                                          (3.3)

МНК-оценки параметров уравнения (3.1), рассчитываются из соотношения

                                      B = .                                    (3.4)                 

Кроме того, известно, что несмещённая оценка дисперсии случайного члена  равна

= = = ,  

где  – оцененные по уравнению (3.2) значения зависимой переменной.