Задачи, решаемые при проведении экспертизы

При всем многообразии возможных предметов экспертизы и форм проведения, результатом работы экспертов является либо генерация новых альтернатив, либо решение задачи оценивания.

Генерация новых альтернатив может произойти, например, как в виде предложения одного из экспертов или в результате «мозгового штурма». Очевидно, что новая альтернатива должна удовлетворять ограничениям и способствовать разрешению проблемы. Если это так, то может потребоваться новая экспертиза с учетом вновь появившихся вариантов.

В большинстве случаев результатом работы экспертной группы может быть решение задачи оценивания в одном из трех возможных вариантов: измерение, ранжирование и классификация.

Под измерением понимается операция, посредством которой определяется отношение одной (измеряемой) величины к другой однородной величине, принимаемой за единицу. Число, выражающее такое отношение, называется численным значением измеряемой величины. На практике это может быть некая физическая единица или бальная оценка. В процессе проведения экспертизы экспертам может быть предложено дать собственную оценку измеряемой величины в некотором диапазоне значений и с некоторым шагом дискретизации. Примером такой оценки может быть оценка при защите выпускной работы.

Слово ранжирование происходит от немецкого слова rangicrung и французского ranger ‑ ставить в ряд и имеет два значения: расстановка солдат в шеренге по росту и размещение в определённом порядке, по степени важности, значительности. Результатом работы экспертов при решении задачи ранжирования может быть распределение альтернатив или их составляющих по степени важности. Ранжирование может быть строгим и мягким. В последнем случае третье место, например, могут занять два или три участника.

Классификация (от лат. classis - разряд, класс и facio - делаю, раскладываю), система соподчинённых понятий (классов объектов) какой-либо области знания или деятельности человека, часто представляемая в виде различных по форме схем (таблиц) и используемая как средство для установления связей между этими понятиями или классами объектов. Решение задачи классификации – это разнесение объектов по классам на основе сравнения рассматриваемых объектов с заданными образцами, эталонными представителями классов. Эксперт в процессе работы рассматривает предложенные ему объекты и соотносит их представленной ему системой классов. Возможен вариант, когда конкретный эксперт предложит дополнить систему классов, однако в этом случае остальным экспертам придется выполнять работу по классификации заново.

Разработка анкеты

Форма проведения экспертизы может быть самой разной, но обычно в ее основе лежит анкетирование экспертов. На подготовительном этапе разработчиком экспертизы должны быть предложены варианты разрешения проблемы (альтернативы). На их основе разрабатывается анкета для эксперта. Анкета представляет собой набор вопросов, на которые эксперт должен дать ответ. При разработке вопросов анкеты следует иметь в виду, что эксперт может решить задачу оценивания, а также может предложить дополнительные альтернативы.

Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Система вопросов в анкете должна отвечать следующим требованиям [13]:

1. вопросы должны быть сформулированы в общепринятых терминах;

2. формулировка вопроса должна исключать всякую смысловую неопределенность;

3. обеспечивать достижение цели экспертизы;

4. соответствовать проблеме;

5. обеспечивать единое и однозначное толкование результатов анкетирования;

6. обеспечивать использование конкретного способа верификации[2] результатов экспертизы.

Задавая вопросы в отношении задачи оценивания, разработчик экспертизы должен четко понимать, к какому виду задачи относится конкретный вопрос: измерение, ранжирование или классификация. Как следствие, при решении задачи измерения должна быть предложена единица измерения и определена шкала. При постановке вопроса в отношении задачи ранжирования должны быть объявлены его правила (строгое – мягкое), а также определена номенклатура объектов. Наконец постановка вопроса, предусматривающего решение задачи классификации, должна быть задана иерархия классов и классификационные признаки.

Анкета может содержать вопросы, позволяющие добавлять альтернативы и классификационные группы. В этом случае ответ на вопрос не может быть формализован и предусматривает описание вносимого предложения. Необходимо осознавать, что наличие подобных вопросов может повлечь за собой повторение процедуры экспертного оценивания.