Критическая статистика для теста отношения правдоподобия Prob (LR statistic).

Если Prob (LR statistics) мала и меньше уровня значимости α, модель является значимой.

3) Критерий правдоподобия – отрицательное удвоенное значение логарифма этой функции, или удво­енное логарифмическое правдоподобие (–2 Log-likelihood). Удвоенное логарифмическое правдоподобие показывает, насколько хорошо модель соответствует исходным данным. Снижение его величины означает улучшение качества модели.

4) Тест Хосмера-Лемешоу       Для проведения критрия следует в окне результатов оценивания выбрать View→ Goodness-of-fit Test (Hosmer–Lemeshow).

Рисунок 33 Результаты теста Хосмера-Лемешоу

Тест (рисунок 33) определяет степень соответствия между оцененными вероятностями выживания, спрогнозированными моделью, и реальными вероятностями выжить. Тем самым калибровочный тест модели позволяет установить, насколько хорошо построенная модель согласуется с исходными данными и может быть измерена с помощью критерия согласия модели.

Критерий согласия Хосмера–Лемешоу, исследует расстояние между наблюдаемыми и ожидаемыми распределениями частот «живых» и «умерших» пациентов. Если уровень значимости является большим, то модель хорошо откалибрована и достаточно точно описывает реальные данные. Значение статистики Хосмера–Лемешоу не должно быть меньше уровня значимости 0,05. Оптимальными считаются значения не меньше 0,5–0,6.

Оценку построенной модели можно также провести на основании графика исходных данных, смоделированных данных и остатков модели. Для этого следует выбрать в результатах View→ Actual, Fitted, Residual → Graph.

Рисунок 34. Фактические, расчетные значения и остатки модели.

На графике рисунка 34 видно, что фактические и расчетные значения плохо соответствуют друг другу, а остатки достаточно велики. То есть можно сделать вывод о плохих прогнозных качествах построенной модели.

Интерпретация результатов моделирования

Интерпретация результатов моделирования проводится в MS Excel на основе маржинальных эффектов:

1. Для всех наблюдений рассчитывается значение u на основании построенной модели (т.е. в расчет включаются только те переменные, которые вошли в модель).

2. Значение u в качестве аргумента подставляется в значение частной производной по каждому фактору (также для всех наблюдений).

3. Маржинальный эффект каждой переменной рассчитывается как среднее значение по всем наблюдениям.

Маржинальные эффекты умножаются на 100% и интерпретируются как предсказательный эффект влияния независимого фактора на вероятность положительной альтернативы.

 ROC-анализ

1. По результатам ROC-анализа выбрать оптимальный порог разделения на подгруппы по признаку. Для определения оптимального порога необходимо задать критерий его определения, т.к. в разных задачах существует своя оптимальная стратегия. Критериями выбора порога отсечения могут выступать: максимум чувствительности и специфичности (Se+Sp), баланс между чувствительностью и специфичностью (|Se-Sp|) и другие подходы.

2. Построить ROC-кривую:

По оси Y – откладываются значения показателя Se

По оси Х – откладываются значения (100-Sp)

Рисунок1 ROC - кривая

3. Приближенно рассчитать показатель AUC (площадь под кривой) и коэффициент Джинни.

4. Сделать выводы.

Занятие 1. Оценка чувствительности и специфичности регрессионных моделей анализа выживаемости.Осваивается умение рассчитывать показатели специфичности и чувствительности модели бинарного выбора, и делать выводы о пригодности модели для широкой эксплуатации.

Теоретические сведения:

Ошибки возможны I и II рода (таблица 2):

- Ошибка I рода имеет место тогда, когда отвергается правильная гипотеза Н₀;

- Ошибка II рода – принимается неправильная гипотеза Н₀.

Таблица 2

Ошибки I и II рода

Для понимания сути ошибок I и II рода необходимо рассмотреть четырехпольную таблицу сопряженности (таблица 3), которая строится на основе результатов классификации моделью и фактической (объективной) принадлежностью примеров к классам.

Таблица 3

Таблица сопряженности

- TP (True Positives) – верно классифицированные положительные примеры (так называемые истинно положительные случаи);

- TN (True Negatives) – верно классифицированные отрицательные примеры (истинно отрицательные случаи);

- FN (False Negatives) – положительные примеры, классифицированные как отрицательные (ошибка I рода). Это так называемый "ложный пропуск" – когда интересующее нас событие ошибочно не обнаруживается (ложно отрицательные примеры);

- FP (False Positives) – отрицательные примеры, классифицированные как положительные (ошибка II рода); Это ложное обнаружение, т.к. при отсутствии события ошибочно выносится решение о его присутствии (ложно положительные случаи).

Что является положительным событием, а что – отрицательным, зависит от конкретной задачи.

При анализе чаще оперируют не абсолютными показателями, а относительными – долями (rates), выраженными в процентах:

- Доля истинно положительных примеров (True Positives Rate):

- Доля ложно положительных примеров (False Positives Rate):

Введем еще два определения: чувствительность и специфичность модели. Ими определяется объективная ценность любого бинарного классификатора.

Чувствительность (Sensitivity) – это и есть доля истинно положительных случаев:

Специфичность (Specificity) – доля истинно отрицательных случаев, которые были правильно идентифицированы моделью:

Модель с высокой чувствительностью часто дает истинный результат при наличии положительного исхода (обнаруживает положительные примеры). Наоборот, модель с высокой специфичностью чаще дает истинный результат при наличии отрицательного исхода (обнаруживает отрицательные примеры).

Для решения задания на практической работе, то есть для определения верно/не верно классифицированных примеров TP++, FP+-, FN-+, TN- - на каждом пороге отсечения (данном в таблице) можно вызвать в окне результатов следующую команду:View→ Prediction-Expectation Evaluation. Появится диалоговое окно (рисунок 79)

Рисунок 79: Задание параметров для расчета кривых отсечения.

Задать необходимый порог отсечения и из полученной таблицы выбрать необходимые показатели.

Рисунок 80: Задание параметров для расчета кривых отсечения.

Далее, заполнив таблицу, по формулам рассчитать значения показателя чувствительности и специфичности.

Занятие 2. Проведение ROC-анализа для моделей с дискретной зависимой переменной. Построение кривых отсечения.Осваивается умение проводить ROC-анализ, стоить кривые отсечения и рассчитывать показатели AUC и коэффициент Джини, делать выводы на основе проведенного анализа.

ROC-кривая получается следующим образом:

- Для каждого значения порога отсечения, которое меняется от 0 до 1 с шагом dx (например, 0.01) рассчитываются значения чувствительности Se и специфичности Sp. В качестве альтернативы порогом может являться каждое последующее значение примера в выборке.

- Строится график зависимости: по оси Y откладывается чувствительность Se, по оси X – 100%–Sp (сто процентов минус специфичность), или, что то же самое, FPR – доля ложно положительных случаев.

В результате вырисовывается некоторая кривая, график часто дополняют прямой y=x.

Визуальное сравнение кривых ROC не всегда позволяет выявить наиболее эффективную модель. Своеобразным методом сравнения ROC-кривых является оценка площади под кривыми. Теоретически она изменяется от 0 до 1, но, поскольку модель всегда характеризуются кривой, расположенной выше положительной диагонали, то обычно говорят об изменениях от 0,5 ("бесполезный" классификатор) до 1 ("идеальная" модель). Эта оценка может быть получена непосредственно вычислением площади под многогранником, ограниченным справа и снизу осями координат и слева вверху – экспериментально полученными точками. Численный показатель площади под кривой называется AUC (Area Under Curve):

С большими допущениями можно считать, что чем больше показатель AUC, тем лучшей прогностической силой обладает модель. Однако следует знать, что:

- показатель AUC предназначен скорее для сравнительного анализа нескольких моделей;

- AUC не содержит никакой информации о чувствительности и специфичности модели.

В литературе иногда приводится следующая экспертная шкала для значений AUC, по которой можно судить о качестве модели (таблица 4):

Таблица4

Экспертная шкала AUC

Коэффициент Джини — статистический показатель степени расслоения общества данной страны или региона по отношению к какому-либо изучаемому признаку.

Коэффициент Джини изменяется от 0 до 1. Чем больше его значение отклоняется от нуля и приближается к единице, тем в большей степени доходы сконцентрированы в руках отдельных групп населения.

Показатель оценки коэффициент Джини иногда используется как показатель оценки, альтернативный AUC; эти две меры тесно связаны. Коэффициент Джини вычисляется как площадь между кривой ROC и диагональю. Коэффициент Джини всегда находится между 0 и 1, и чем он больше, тем лучше классификатор. При маловероятном условии, что кривая ROC находится ниже диагонали, коэффициент Джини будет отрицательным.