Разработка методов обработки результатов

При подготовке экспертизы разрабатывается метод оценки по каждому из вопросов анкеты, а также метод выставления совокупной оценки.

Методы обработки результатов экспертного оценивания, как правило, основываются на методах статистического оценивания. При подготовке экспертизы заранее выбирается один из известных методов или придумывается свой. Для примера к числу таких методов могут быть отнесены: вычисление среднего значение оценок, вычисление медианы, вычисление максимума и другие в зависимости от особенностей рассматриваемой проблемы. Кроме этого, необходимо оценить погрешность оценки, представляющую собой средний квадрат отклонения оценок экспертов.

Для построения совокупной оценки результатов анкетирования могут использоваться методы выбора компромисса, использовавшиеся для решения многокритериальных задач (см. п. 2.6). Так, например, при задании определенных весовых коэффициентов каждого измеряемого параметра можно воспользоваться методом скаляризации векторного критерия. Если в результате оценивания решалась задача ранжирования, то для построения совокупной оценки можно использовать метод последовательной уступки. Наконец, в зависимости вида от разрешаемой проблемы, возможно сочетание различных методов выбора компромисса.

Качество работы экспертов можно оценить по так называемому коэффициенту конкордации, учитывающему разброс погрешностей оценок каждого эксперта по отношению к средней оценке всей группы. Подобный метод позволяет не принимать во внимание склонность экспертов к выставке либо более жестких, либо более мягких оценок по сравнению с группой, и в то же время выявить эксперта, чьи оценки в одних случаях занижены, а в других завышены.

Количество экспертов, непосредственно включаемых в состав экспертной группы, влияет на качество проведения экспертизы. Разными авторами предлагаются разные методы определения их числа в зависимости от величины ожидаемой ошибки. Так, например, в [13] предложена следующая эмпирическая формула:

где  ‑ верхнее значение относительной ошибки оценивания ( ). Оговаривается, что должна наблюдаться стабилизация средней оценки, о чем свидетельствует тот факт, что включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более, чем на .