УСТОЙЧИВЫЕ МЕТОДЫ ОЦЕНИВАНИЯ

СОДЕРЖАНИЕ

1. Грубые ошибки…………………………………………………………………………………………

2. Устойчивые методы оценки основные понятия……………………………………………..……....

3. Методы выявления грубых ошибок………………………………………………………………..…

4. Методы исчисления устойчивых статистических оценок: Пуанкаре, Винзора, Хубера…………

Рекомендуемая литература……………………………………………………………………………….

Приложения…………………………………………………………………………….………………...

ГРУБЫЕ ОШИБКИ

В процессе обработки экономической информации, как правило, считают, что экономические показатели подчиняются нормальному распределению. Однако практика обработки такой информации показывает, что экономические показатели не так часто подчиняются теоретическому нормальному распределению. Наблюдаются односторонние и двухсторонние отклонения. Статистическая информация представляет собой смесь нескольких законов распределения с разными дисперсиями. Иногда из-за малого объема выборки не представляется возможным достаточно точно определить вид закона, засоряющего распределения. При применении метода наименьших квадратов небольшое число грубых ошибок может заметно исказить значения характеристик распределения.

При решении задач статистического анализа и, в частности, при вычислении оценок параметров распределений проблема наличия в выборке аномальных измерений имеет чрезвычайно важное зна­чение. Присутствие единственного аномаль­ного наблюдения может приводить к оценкам, которые совер­шен­но не согласуются с выборочными данными.

Посмотрим на примере что же такое грубые ошибки. В таблице 1 приведены данные о выручке магазина за 10 дней. 

Таблица 1- Пример грубых ошибок.

Как видим значения 16596 и 43894 резко выделяются из общей совокупности. Определением проблемы, являются эти значения ошибками или это реальные значения, занимается такой раздел статистики как - робастные исследования.

Итак, что же такое грубая ошибка? Это резко выделяющиеся наблюдения; данные, которые резко засоряют общую статистическую совокупность.

Методы робастного оценивания – те методы, которые позволяют получать достаточно надежные оценки статистической совокупности с учетом неясности закона ее распределения и наличия существенных отклонений в значениях данных.

В борьбе с грубыми погрешностями измерений, если они не были обнаружены в процессе измерений, используют два подхода:

· исключение резко выделяющихся аномальных измерений из даль­ней­шей обработки;

· использование робастных методов обработки.

Исключение резко выделяющихся аномальных явлений имеет широкое применение, но этот способ не может полностью удовлетворить аналитика. Причина этого в том, что из общей совокупности можно удалить очень много значений, а следовательно полученный результат не будет соответствовать действительности. Эта проблема ощутима и при небольших объемах совокупности.

Основы робастных методов оценки были разработаны академиками А.Н. Колмогоровым, Н.В. Смирновым и Б.С. Ястремским. Дальнейшее развитие робастные методы получили в работах американских и швейцарских математиков.

Грубые ошибки, в основном, появляются при сборе информации, при ее передаче либо при нестрогих первичных экономических расчетах. Поэтому при проведении многомерного анализа очень важное значение имеют методы устойчивого оценивания.

В настоящее время в науке используется несколько методов оценивания и обработки экономической информации.

УСТОЙЧИВЫЕ МЕТОДЫ ОЦЕНИВАНИЯ

Методы оценивания, чувствительные к «грубым ошибкам», называются неустойчивыми.

Методы оценивания, учитывающие наличие «грубых ошибок» и позволяющие при этом достаточно точно определять оценки параметров, называются робастными или устойчивыми. Таковыми являются методы Хубера, Винзора, Пуанкаре и ряд других методов.

Пусть совокупность вместе с «обычными» значениями элементов содержит «грубые ошибки». При этом основная масса элементов является реализацией случайной величины, закон распределения которой известен с точностью до некоторого параметра. Вероятность появления этих элементов в совокупности равна

1-ε, где ε — вероятность появления другой случайной величины — η, определяющей грубые ошибки. Однако это условие является условным.

Например, известно, что средняя арифметическая оценка является несмещённой, состоятельной и эффективной оценкой математического ожидания, однако её эффективность падает с увеличением числа наблюдений, значительно удалённых от среднего значения.

Лаплас и Гаусс выявили преимущества и недостатки средней абсолютной ошибки  

,

а также средней квадратической ошибки

,

где ;

 - i-е значение случайной величины;

 - среднее значение случайной величины.

При наличии серии наблюдений

,

средняя абсолютная и средняя квадратическая ошибки определяют разные характеристики распределения ошибок. Отношение их предельных значений для нормального распределения ошибок:

.

Еще в начале XIX века Ф. Бессаль отметил, что в большинстве случаев реальные распределения имеют «утяжелённые хвосты» (наблюдения, значительно удалённые от среднего значения), по сравнению с табличным нормальным распределением. В ХХ в. утяжеление хвоста реальных распределений отмечено во многих наборах статистической информации. Д. Тьюки предложил свою модель для оценки характеристик распределения с утяжеленными относительно нормальной совокупности хвостами. В ней предусматривается наличие нормальной совокупности с математическим ожиданием μ, дисперсией , которая засоряется другой нормальной совокупностью с этим же математическим ожиданием и с дисперсией .

Распределение Тьюки имеет вид:

,

где

.

Часто для сравнения средней абсолютной ошибки со средней квадратической ошибкой используется асимптотическая характеристика

,

где e(ε) – относительная асимптотическая эффективность  по отношению к .

Если засорения нет, то для определения  требуется на 12% меньше наблюдений, чем для определения . Однако уже при малом засорении преимущество быстро падает. Наоборот, с ростом засорения относительная эффективность  быстро растёт. При засорении, равном 0,18%, e(0,18)=1.

Итак, легко убедиться в том, что процедуры, предусмотренные теорией нормальных ошибок, не устойчивы к «грубым» ошибкам. Более устойчивыми оказываются процедуры, связанные с определением средней абсолютной ошибки . Известен целый ряд методов исключения резко выделяющихся наблюдений.

Наиболее доступным и распространенным является анализ измерений с точки зрения экономической сущности полученных наблюдений. Для выявления резко выделяющихся наблюдений имеется ряд критериев, которые являются несмещенными, инвариантными по отношению к преобразованиям совокупности и требуют добавления константы или умножения каждого члена совокупности на положительное число.