Определение параметров функциональной зависимости методом наименьших квадратов

При совместном исследовании двух случайных величин по имеющейся выборке (х₁, у₂), (х₂, у₂),…,(x_k, y_k) возникает задача определения зависимости между ними. Если вид функции y = f (x, a, b,...) задан, то требуется найти значения коэффициентов a, b,..., при которых y_i наименее отличаются от f (x_i). В методе наименьших квадратов коэффициенты должны быть такими, что  принимает минимальное значение.

а) Линейная зависимость y = ax + b. Если , то из условия  получаем:

                      (7)

б) Квадратичная зависимость y = (ax + b)². Отсюда  и система для определения a, b может быть получена по аналогии с предыдущим случаем с помощью замены y_i на :

                  (8)

в) Показательная зависимость Логарифмируя, получаем: lny=ax + b, и система уравнений для a, b имеет вид:

    (9)

г) Зависимость вида  Тогда y² = ax + b, и условия для а и b можно задать так:

          (10)

д) Логарифмическая зависимость y = ln(ax + b), то есть e^y = ax + b, и

                    (11)

Пример 5. Найти параметры зависимости между х и у для выборки (Таблица 4):

Таблица 4

для случаев:   1) линейной зависимости y = ax + b;

2) квадратичной зависимости y = (ax + b)²;

3) показательной зависимости y = e^{ax + b}.

Определить, какая из функций является лучшим приближением зависимости между х и у.

Решение.

По виду выборки достаточно очевидно, что связь между х и у скорее всего не является линейной – у растет не пропорционально х. Проверим это предположение, найдя коэффициенты а и b для каждой из функций. Для этого вычислим предварительно = 3,1; = 40,0;

 Теперь можно решать линейные системы для а и b:

1)  то есть линейная зависимость имеет вид: у = 27,34х – 44,74.

2)   квадратичная функция:

у = (2,29х – 1,68)².

3)  показательная функция:

у = е^{0,94х + 0,04}.

Вычислим значения (Таблица 5)

:

Таблица 5

yi	2,5	4,7	18,3	29,8	74,2	110,4
(yi)лин	-6,46	1,74	26,34	40,0	78,29	100,13	379,93
(yi)кв	2,33	4,9	18,27	29,37	74,4	109,35	1,397
(yi)показ	3,85	5,09	11,67	18,8	69,5	146,66	1503,81

Итак, наилучшим приближением является квадратичная функция.

ЭЛЕМЕНТЫ ТЕОРИИ КОРРЕЛЯЦИИ

Линейная корреляция

Если для выборки двумерной случайной величины (X, Y): {(x_i, y_i),

i = 1, 2,..., n} вычислены выборочные средние  и  и выборочные средние квадратические отклонения σ_х и σ_у, то по этим данным можно вычислить выборочный коэффициент корреляции

.                                    (11)

Напомним, что коэффициент корреляции – безразмерная величина, которая служит для оценки степени линейной зависимости между Х и Y: эта связь тем сильнее, чем ближе |r| к единице.

Линейные уравнения, описывающие связь между Х и Y, называются выборочным уравнением прямой линии регрессии Y на Х:

                                          (12)

и выборочным уравнением прямой линии регрессии Х на Y :

.                                 (13)

Пример 11. Для выборки двумерной случайной величины (Таблица 6)

Таблица 6

вычислить выборочные средние, выборочные средние квадратические отклонения, выборочный коэффициент корреляции и составить выборочное уравнение прямой линии регрессии Y на Х.

Решение.

 Для определения выборочного коэффициента корреляции вычислим предварительно  Тогда

 Выборочное уравнение прямой линии регрессии Y на Х имеет вид:  или

Ранговая корреляция

Рассмотрим выборку объема п, элементы которой обладают двумя качественными признаками: А и В (качественный признак невозможно измерить точно, но можно расположить объекты в порядке убывания или возрастания качества).

Расположим элементы выборки в порядке ухудшения качества по признаку А. При этом зададим каждому объекту ранг х_i, равный его порядковому номеру в последовательности объектов: x_i = i. Затем расположим элементы выборки в порядке убывания качества по признаку В и присвоим каждому второй ранг: y_i, где номер i – это номер объекта в первой последовательности рангов. Таким образом, получены две последовательности рангов:

A: x₁, x₂, ..., x_n

B: y₁, y₂, ..., y_n.

Для исследования наличия связи между качественными признаками А и В можно использовать коэффициенты ранговой корреляции Спирмена и Кендалла.

Коэффициент ранговой корреляции Спирмена вычисляется по формуле:

                                  (14)

где d_i = x_i – y_i, n – объем выборки.

Для вычисления коэффициента ранговой корреляции Кендалла найдем величины R₁, R₂, ..., R_n, где R_i – количество чисел, больших y_i, стоящих справа от y_i в последовательности рангов по признаку В. Тогда выборочный коэффициент ранговой корреляции Кендалла

                                 (15)

где R = R₁ + R₂ + ... + R_n.

Заметим, что оба коэффициента ранговой корреляции не превосходят по модулю единицы. При этом, чем ближе значение  или  к 1, тем теснее возможная связь между признаками А и В.

Пример 12. Десять школьников сдавали выпускной экзамен ЕГЭ по математике и вступительный экзамен по системе централизованного тестирования. Результаты обоих экзаменов оценивались по 100-балльной шкале и оказались следующими (1-я строка – оценки ЕГЭ, вторая – централизованного тестирования):

87 82 80 79 63 55 40 34 33 29

57 92 80 69 71 43 49 51 20 19

Найти выборочные коэффициенты корреляции Спирмена и Кендалла.

Решение.

Составим последовательности рангов по убыванию баллов на каждом экзамене:

x_i       1  2  3  4  5  6  7  8  9  10

 y_i 5  1  2  4  3  8  7  6  9  10.

Вычислим d_i: d₁ = 1 – 5 = -4; d₂ = 2 – 1 = 1; d₃ = 3 – 2 = 1; d₄ = 4 – 4 = 0;

d₅ = 5 – 3 = 2; d₆ = 6 – 8 = -2; d₇ = 7 – 7 = 0; d₈ = 8 – 6 = 2; d₉ = d₁₀ = 0.

Найдем  Тогда выборочный коэффициент ранговой корреляции Спирмена

Приступим к вычислению коэффициента корреляции Кендалла. Определим, сколько рангов, больших данного, располагается справа от каждого y_i:

R₁ = 5; R₂ = 8; R₃ = 7; R₄ = 5; R₅ = 5; R₆ = 2; R₇ = 2; R₈ = 2; R₉ = 1; R₁₀ = 0;

R = 5 + 8 + 7 + 5 + 5 + 2 + 2 + 2 + 1 = 37;

Заметим, что величины выборочных коэффициентов корреляции позволяют предполагать существование связи между результатами экзаменов. Для проверки этого предположения следует проверить гипотезу о значимости соответствующего выборочного коэффициента ранговой корреляции.