Уровни статистической значимости

Любой вывод с некоторой вероятностью может оказаться ошибочным, и обычно вероятность ошибки тем меньше, чем больше выборка. Однако обычно используемые выборки невелики, и в этих случаях вероятность ошибки может быть значительной.

Статистическая значимость в теории проверки гипотез

· вероятность того, что найденные различия основанные не на случайности.

· ассоциирована с р-значением – вероятностным значением: вероятностью того, что исход (результат) мог бы иметь место случайно. При условии, что р-значение равно или ниже заданного критического уровня значимости, указывает, что случайность, вероятно, не является объяснением разности. 

В статистике величину называют статисти́чески зна́чимой, если мала вероятность её случайного возникновения или еще более крайних величин ( под крайностью понимается степень отклонения тестовой статистики от нуль-гипотезы). Разница называется «статистически значимой», если появление имеющихся данных (или еще более крайних данных) было бы маловероятно, если предположить, что эта разница отсутствует.

Примечание. Достоверное событие - событие вероятность возникновения которого равна 100%. В связи с этим статистическая достоверность - этот термин в корне не правильный. Статистический - это значит доказанный на основании какого либо статистического метода или вероятностного распределения и означает отсутствие или наличие элемента случайности в исследуемом процессе, элементе или их взаимосвязи. Достоверность не может быть статистической. Достоверность - это достоверность. Современное статистическое оценивание - это англо-саксонское изобретение, и в нём рассчитывается statistical significance. Это - не "достоверность", это - статистическая значимость;

Критический уровень статистической значимости(level of statistical significance)

Всякое статистическое решение, принимаемое на основе ограниченного ряда наблюдений, неизбежно сопровождается вероятностью ошибочного заключения. 

• Понятие критического уровня статистической значимости

o Заданное значение верхнего предела вероятности ошибки первого рода (ГОСТ).

o Пороговая (критическая, максимально допускаемая) вероятность ошибки, заключающейся в отклонении нулевой гипотезы, когда она верна. Другими словами, это допустимая (с точки зрения исследователя) вероятность совершения статистической ошибки первого рода – ошибки того, что различия сочтены существенными, а они на самом деле случайны.

• Обозначение – альфа, α.

• Уровень значимости тесно связан с доверительной вероятность: α (уровень значимости) = 1 – Р(доверительная вероятность). Р колеблется в пределах от 0 до 1 или в процентах от 0% до 100%.Например,Р=0,95 или 95% при уровне значимости 0,05: α = 1 – 0,95 = 0,05.

• Уровень значимости применяется совместно с p-значением. Если p-значение меньше критического уровня значимости, то нулевая гипотеза отвергается. Чем меньше p-значение, тем более весомой является тестовая статистика, и тем больше оснований отклонять нулевую гипотезу.

• Большой уровень значимости дает большую уверенность в том, что альтернативная гипотеза важна. Но при этом возрастает риск не отвергнуть ложную нулевую гипотезу (ошибка второго рода). При увеличении уровня значимости(например, с 0,01 до 0,05) вероятность ошибки второго рода уменьшается. Для установленного уровня значимостивероятность ошибки второго рода уменьшается с ростом объема выборки.  Таким образом, выбор уровня значимости требует компромисса между вероятностями ошибок первого и второго рода.

Принятие в практике уровни статистической значимости

Значение α устанавливается исходя из «научных конвенций» - соглашений, принятых в научном сообществе на основе практического опыта в различных областях исследования. Уровень статистической значимости выбирается заранее, перед проведением исследования.

• Альфа = 0,05

o низший уровень статистической значимости, рекомендован для небольших выборок.

o допускается не более чем 5%-ая вероятность ошибки первого рода (вероятность случайного возникновения обнаруженного различия) при проверке статистической гипотезы – 5 шансов из 100. p-уровень < 0,05 или р ≤ 0,05. В данном случае можно записать: P>0,95.

o Если данный уровень значимости не достигается (вероятность ошибки выше 5%) - разница может быть случайной и поэтому нельзя отклонить нулевую Н_о на взятом уровне альфа. Не отвергая нулевую гипотезу, можно заявить, что результаты не значимы на 5% уровне. Данное заключение не означает, что нулевая гипотеза истинна, просто недостаточно аргументов (возможно, маленький объем выборки), чтобы ее отвергнуть.

• Альфа = 0,01 (p<0,01 или р ≤ 0,01). Допускается 1% уровень вероятности совершения ошибки. В данном случае можно написать: P (вероятность) >0,99.

• Альфа = 0,001 (p<0,001 или р ≤ 0,001).Допускается 0,1% уровень вероятности совершения ошибки.

Трём уровням значимости альфа отвечают (при нормальности распределения использованного критерия) нормированные отклонения (t):при а=0,05 нормированное отклонение равно 1,96 и соответственно порог доверительной вероятности Р = 0,95 (95%). Вероятности Р=0,99 (99%) – уровень значимость 0,01 (1%). В научных публикациях при оценке достоверности результата может указываться или уровень вероятности, или уровень значимости.

Каждому уровню значимости (уровню вероятности) соответствует определённый критический уровень статистического критерия.

Достигнутый уровень статистической значимости (р-уровень)

• Достигнутый p-уровень значимости (p-value) - рассчитанная в ходе статистического теста вероятность ошибочного отклонения нулевой гипотезы (отклонения истинной нулевой гипотезы). Значение р — это вероятность получения вычисленного значения критерия или его еще большего значения, если нулевая гипотеза верна. Иными словами, p - это вероятность отвергнуть нулевую гипотезу при условии, что она верна (вероятность справедливости нулевой гипотезы).

• Если p < α, нулевая гипотеза отклоняется и различия считаются статистически значимыми. Чем меньше значение р, тем сильнее аргументы против нулевой гипотезы и более значима тестовая статистика. Таким образом, р-уровень находится в убывающей зависимости от надёжности результата.

• Определение результата только как значимого на определенном уровне граничного значения (например 0, 05) может ввести в заблуждение. Например, если р = 0,04, то нулевую гипотезу отвергаем, но если р = 0,06, то ее не отвергли бы. Действительно ли они различны? Рекомендуется всегда указывать точное значение р, получаемое путем компьютерного анализа.

Необходимо подчеркнуть, что р - величина, получаемая в результате эксперимента, альфа - теоретическая граница, используемая для оценки р.