Содержание практической работы. Порядок обработки экспертного опроса.

Этапы выполнения практической работы.

1. Формирование факторов, целей, решений, параметров и т.п., характеризующих рассматриваемую проблему.

2. Проведение экспертного опроса.

3. Составление таблицы опроса.

4. Составление матрицы опроса.

5. Построение гистограммы и полигона распределения сумм рангов.

6. Расчет коэффициентов конкордации, ранговой корреляции и определение их значимости.

7. Определение весомости факторов.

8. Формулирование выводов по работе и принятие решения.

В основе опроса лежит анкета, с помощью которой осуществляется сбор необходимой информации. В анкете излагается цель и процедура опроса.

Анкеты имеют обычно форму таблиц. Анкета для опроса экспертов должна удовлетворять следующим требованиям:

· простота текста и однозначность его понимания всеми экспертами;

· краткость изложения;

· однотипность и построение по одному плану.

    Достоверность группового экспертного оценивания зависит от числа экспертов и качества экспертов.

    Качество экспертов определяется следующими характеристиками экспертов: креативность, компетентность, конформизм, самокритичность и др.

    Число экспертов зависит от требуемой точности, но в группе должно быть не менее 12 человек.

    Заполнение экспертами анкеты служат материалом для определения обобщенного мнения и степени согласованности мнений экспертов по решаемой проблеме.

Обработка результатов проводится в следующем порядке:

1. Составляется таблица 2 результатов опроса. Строки таблицы соответствуют оцениваемым объектам (факторы, события, цели и т.д.), а столбцы соответствуют экспертам.

                                         Результаты опроса                                             Таблица 2.

    Анализируя числа, стоящие в таблице мы видим, что эксперт поставил одинаковые числа некоторым факторам, т.е. эксперту не удается разделить влияние некоторых факторов, например, у эксперта 1 – такими факторами являются (Х₃ и Х₆) и (Х₁ и Х₅);    у эксперта 2 такими факторами являются (Х_1, Х₂ Х₅). Этим факторам эксперты присвоили одинаковые числа.

2. На основании данных опроса таблицы 2 составляется матрица рангов таблица 3.

                                            Матрица опроса                     Таблица 3.

эксперты факторы	Э1	Э2	Э3	Э4	Э5	m  n ∑   ∑ Xij j=1 i=1
Х1	4.5	3	5	2.5	2	17
Х2	1	3	1.5	1	3	9.5
Х3	2.5	5.5	1.5	2.5	1	13
Х4	6	1	3.5	4.5	5	20
Х5	4.5	3	3.5	4.5	4	19.5
Х6	2.5	5.5	6	6	6	26
	21	21	21	21	21	105

В Таблице 3 X_ij – ранг j-го фактора у i-го эксперта, m- число экспертов, n- число факторов.

      Необходимо учитывать, что если эксперту не удается различить по силе влияния нескольких факторов, то он приписывает им одно и то же число. В этом случае вводятся так называемые «связанные ранги».

Например, двум факторам Х₁ и Х₅ первый эксперт присвоил одинаковые места

(числа) 3. Их ранговый номер в матрице рангов будет равен (4+5):2=4,5.

Или, второй эксперт присвоил одинаковые числа трем факторам 1,2,5. Их ранговый номер будет равен (2+3+4):3=3. Возможно наличие дробных рангов.

     После заполнения матрицы опроса проверяется правильность ее заполнения. Сумма рангов у каждого эксперта должна быть равна                   

Таблица 3 представляет собой нормальную ранжировку. Сумма рангов по столбцам должна быть равна сумме рангов по строкам.   

3. Определим основную ранжировку факторов, присвоив фактору с минимальной суммой рангов первое место. Этот фактор считается самым важным (Х₂=9,5), а фактору, оказывающему самое слабое влияние – наибольшую сумму рангов. (в нашем примере Х₆=26).

4.  На основании полученных сумм рангов по строкам строят гистограмму и полигон распределения степени влияния отобранных факторов на изучаемый показатель. По оси ординат откладывают суммы рангов по каждому фактору, а по оси абсцисс – номера факторов. Рис.1.

Рисунок 1.

                26

сумма    20               

факторов 19,5

                17

             13 

         9,5                

                  5

                                x6 x4 x5  x1  x3  x2 Группа факторов

Рис. 1. Гистограмма распределения факторов по степени их влияния.

На основании гистограммы можно разбить факторы на группы по степени их влияния. Особое значение это имеет, когда число факторов значительно. Сопоставление прямой, соединяющей начало и конец ранжировки, с гистограммой, показывает, насколько далека полученная ранжировка от ранжировки, соответствующей полной согласованности мнений экспертов (полигон распределения.)

Возможны три случая ранжировки:

1. Убывание почти экспоненциальное.

2. Убывание почти линейное.

3. Убывание подчиняется параболическому закону.

Все это имеет смысл, если средняя степень согласованности мнений экспертов является не случайной.

5. Определяют степень согласованности мнений экспертов об относительной важность совокупности всех факторов с помощью коэффициента конкордации – W,        предложенный M. Кендаллом.

Если в матрице рангов отсутствуют связанные ранги, то коэффициент конкордации вычисляется по формуле:

Если в матрице рангов имеются связанные ранги, то коэффициент конкордации вычисляется по формуле:

Коэффициент определяют путем вычисления следующих показателей:

а) среднюю арифметическую Ṝ сумм рангов, полученных всеми факторами:

      
= =17,5

б) сумму квадратов отклонений средней величины ранга от суммы рангов, полученной по каждому фактору всеми экспертами.

S=(17-17,5)²+(9-17,5)²+(13-17,5)²+(20-17,5)²+(19,5-17,5)²+(26-17,5)²=175,25

       в) - показатель связанных рангов по каждому эксперту. Если связанные ранги отсутствуют, то . Если имеются связанные ранги, то:

                 , где

 - показатель связанных рангов по каждому эксперту.

 t – число одинаково связанных рангов у эксперта.

     В нашем примере:

T₁=(2³-2)+(2³-2)=12

T₂=(2³-2)+(3³-3)=30                    ∑ =66

T₃=(2³-2)+(2³-2)=12

T₄=(2³-2)+(2³-2)=12

  Рассчитаем коэффициент конкордации для связанных рангов:

= = 0,42

    Коэффициент W может принять значение в пределах от 0 до 1.

Изменение W от 0 до 1 соответствует увеличению степени согласованности мнений экспертов. Если значение W невелико, это значит, что слаба согласованность мнений экспертов. Причины могут быть разные. Чтобы повысить значение W в некоторых случаях рекомендуется поступить следующим образом. Один эксперт исключается из совокупности и рассчитывается коэффициент конкордации W₁ для оставшихся экспертов. Если W₁ в этом случае оказался больше, чем W для полной совокупности, то данный эксперт исключается из совокупности. Если же W₁ оказался меньше, чем W, то данный эксперт остается в совокупности. Такие расчеты проводятся последовательно для каждого эксперта.

    В результате степень согласованности мнений экспертов , оставшихся в совокупности, повышается.

6. Коэффициент конкордации случайная величина. Необходимо проверить значимость коэффициента W. Для оценки уровня значимости W используют критерии Пирсона  - X², который подчиняется X² распределению с числом степеней свободы n-1.

    Методика определения уровня значимости по критерию X² состоит в следующем:

а) определяется расчетная величина Х² по формуле при отсутствии связанных рангов, т.е. T_i=0.

При наличии связанных рангов формула приобретает вид:

В нашем примере:

б) вычисляется число степеней свободы:

в) по таблицы «Значение X²» для данного числа степеней свободы находится ближайшее по определенному по формуле табличное значение и определяется уровень значимости.

    В нашем случае X²_расч. = 10,6. Число степеней свободны равно 5. При уровне значимости d=0,10 X²_табл. =9,236. Т.к. X²_расч.> X²_табл., то нулевая гипотеза о случайном совпадении мнений экспертов следует считать отвергнутой. Следовательно, с вероятностью 0,9 можно утверждать, что согласованность во мнении экспертов является не случайной.

    Значимость коэффициента конкордации можно также оценить по F критерию (Фишера).

    При этом число степеней свободы соответственно равно

7. Степень согласованности мнений каждого эксперта с общим мнением (парное сравнение) или мнением любого эксперта с мнением другого эксперта можно определить через парный ранговый коэффициент Спирмена.

    Если в ранжировках имеются связанные ранги, то коэффициент Спирмена вычисляется по следующей формуле:

  где, P – оценка коэффициента ранговой корреляции Спирмена, вычисляемая по формуле         

где, - величина рангов, j – ого фактора, присвоенных первым и вторым экспертом (парное сравнение).

Величины Т₁ и T₂ равны:

где, t₁ и t₂ - количество различных связанных рангов у первого и второго эксперта.

    В качестве примера рассмотрим согласованность мнений между третьим и четвертым экспертами.

    Результаты их ранжировок представлены в таблице 4.

Таблица 4.

эксперты факторы	Х1	Х2	Х3	Х4	Х5	Х6
Э3	5	1,5	1,5	3,5	5,5	6
Э4	2,5	1	2,5	4,5	4,5	6
	3	0,5	-1	-1	-1	0
	9	0,25	1	1	1	0

    Требуется определить, как совпадает мнение двух экспертов между собой по решаемой проблеме. В нашем примере имеются эквивалентные факторы и для их ранжировки использованы связанные ранги. Поэтому для вычисления коэффициента ранговой корреляции Спирмена необходимо воспользоваться формулой для связанных рангов. Вначале вычислить коэффициент P ,без учета T₁ и Т_2.

Вычислим величины T₁ и Т₂ по формуле:

Так как у четвертого эксперта одинаково связанные ранги также встречаются два раза (2,5;2,5) и (4,5;4,5) то Т₂ будет также равно 0,06.

Оценка коэффициента ранговой корреляции будет равна:

Из результатов ранга следует, что степень согласованности двух экспертов достаточно высокая.

Коэффициент ранговой коррекции может принимать значение - ≤Р≤+1.

Значение Р=-1 показывает, что мнение одного эксперта противоположно мнению другого.

Для определения значимости коэффициента Спирмена можно использовать критерий Стьюдента, поскольку величина

приближенно распределена по закону Стьюдента с n-2 степенями свободы.

8. Установление степени влияния каждого фактора (весомость). Весомость определяется путем вычисления обратной величины удельного веса суммы рангов по каждому фактору к общей их сумме по всем факторам. Сумма этих соотношений составляет 100%, а каждое конкретное соотношение характеризует долю влияния соответствующего фактора. Весомость можно рассчитать и через средний ранг.

    В нашем примере :

Таблица 5.

9. Согласованность мнений экспертов об относительной важности каждого фактора определяется с помощью коэффициента вариации V, путем исчисления дисперсии D_j рангов и среднеквадратического отклонения рангов по каждому фактору.

Таблица 6.

    Согласованность мнений экспертов об относительной важности может быть признана только для трех факторов Х₁,Х₅,Х_6. Лишь в этих случаях коэффициент вариации менее 33%.

    Чем меньше коэффициент вариации V, тем выше степень согласованности мнений экспертов об относительной важности фактора.

    Причины низкой согласованности мнений экспертов могут быть субъективными и объективными. Для повышения степени согласованности мнений экспертов по факторам требуется дополнительный анализ.