Основы оценки сложных систем

8.1. Понятие оценки и оценивания. Разработка и эксплуатация реальных сложных систем (информационных, телекоммуникационных, энергетических, транспортных и др.) сопряжены с выявлением проблем, решить которые можно лишь на основе комплексной оценки самых разных по природе факторов, связей, внешних условий и т.д. В СА существует раздел «теория эффективности», связанный с определением качества систем и процессов, их реализующих.

Теория эффективности – это научное направление, предметом изучения которого являются вопросы количественной оценки качества характеристик и эффективности функционирования сложных систем. Оценка сложных систем при этом может проводиться для разных целей:

- для оптимизации – выбора наилучшего алгоритма из нескольких, реализующих один и тот же закон функционирования системы;

- для идентификации – определения системы, качество которой в наибольшей степени соответствует реальному объекту в заданных условиях;

- для принятия решений по управлению системой.

Общим в подобных задачах является подход, основанный на том, что понятия «оценка» и «оценивание» рассматриваются раздельно и под оценкой понимается результат, полученный в ходе оценивания. Считается, что термину «оценка» соответствует понятие «истинность», а термину «оценивание» – «правильность». Это означает, что истинная оценка может быть получена только при правильном процессе оценивания.

Выделяют четыре этапа оценивания сложных систем.

Этап 1. Определение цели оценивания. В СА выделяют два типа целей: качественной называют цель, достижение которой выражается в номинальной шкале или в шкале порядка. Количественной является цель, достижение которой выражается вколичественных шкалах. Определение цели при этом должно осуществляться относительно системы, в которой рассматриваемая система является элементом (подсистемой).

Этап 2. Измерение свойств систем, признанных существенными для целей оценивания. Для этого выбираются соответствующие шкалы измерений свойств, и каждому исследуемому свойству присваиваются значения на этих шкалах.

Этап 3. Обоснование предпочтений критериев качества и критериев эффективности функционирования систем на основе измеренных на выбранных шкалах свойств.

Этап 4. Собственно оценивание. Все исследуемые системы, рассматриваемые как альтернативы, сравниваются по сформулированным критериям и в зависимости от целей оценивания ранжируются, выбираются, оптимизируются и т.д.

8.6. Понятие шкалы.В основе оценки лежит процесс сопоставления значений качественных или количественных характеристик исследуемой системы значениям соответствующих шкал. Все возможные шкалы принадлежат к одному из нескольких типов, определяемых перечнем допустимых операций на этих шкалах.

Теория измерений оперирует понятием «эмпирическая система с отношениями» Е, которая включает в себя множество измеряемых объектов А и набор интересующих исследователя отношений между этими объектами R: в данных обозначениях E = {A, R}, где, например, А есть множество физических тел, а набор R – отношения между ними по весу, твердости, размерам и т.п. Для записи результатов наблюдений используется «символьная система с отношениями» N, состоящая из множества символов М – например, множества всех действительных чисел, и конечного набора отношений Р на этих символах, то есть N = {M, P}. Отношения Р выбираются так, чтобы ими было удобно отображать наблюдаемые эмпирические отношения R. Если тело t тяжелее тела q и имеет место отношение R(t > q), то цифровая запись веса тел t = 5 и q = 3 позволяет наглядно увидеть это эмпирическое событие в записи P(5 > 3). Договоренность использовать именно такое отображение системы E на систему N означает выбор некоторого определенного правила отображения g. Тройка элементов < E, N, g > называется «шкалой». Фактически g является гомоморфным отображением E на N (гомоморфизм – это соответствие (отношение) между объектами двух множеств, при котором одно множество есть «модель» другого).

Рис. 8.1. Иерархическая структура основных шкал

Классификация наиболее распространенных видов шкал представлена на рис. 8.1 в виде иерархической структуры, отражающей их основные свойства. В теории измерений различают слабые (качественные) шкалы и сильные (количественные) шкалы. Стрелки на рис. 8.1 указывают включение совокупностей допустимых преобразований более «сильных» в менее «сильные» типы шкал – при этом шкала тем «сильнее», чем меньше свободы в выборе g. Шкалы могут быть изоморфными (равносильными друг другу): например, шкала интервалов и степенная шкала; логарифмическая шкала, шкала разностей и шкала отношений.

8.7. Шкала номинального типа– это самая слабая, качественная шкала (шкала наименований, классификационная шкала), по которой объектам x_i или их неразличимым группам дается некоторый признак. Основным свойством разных номинальных шкал является сохранение неизменными отношений равенства между элементами эмпирической системы в эквивалентных шкалах. Номинальный тип шкал соответствует простейшему виду измерений, при котором шкальные значения используются лишь как имена объектов, поэтому шкалы номинального типа часто называют также шкалами наименований.

Рис. 8.2. Измерение объектов в номинальной шкале

Данная шкала фиксирует только два отношения: «равно» и «не равно», и допускает любые преобразования, при которых в протоколе одинаковые объекты поименованы одинаковыми символами (числами, буквами, словами), а разные объекты имеют разные имена. Примерами измерений в номинальном типе шкал могут служить номера автомашин, телефонов, коды городов, лиц, объектов и т.п. Номинальная шкала используется для описания принадлежности объектов к определенным классам, когда всем объектам одного и того же класса присваивается одно и тоже число, объектам разных классов – разные числа (номера). Единственная цель таких измерений – это выявить различие между объектами разных классов.

Рис. 8.2 иллюстрирует измерение в номинальной шкале объектов, представляющих три множества элементов: А, В, С. Здесь эмпирическую систему представляют четыре элемента: а А, b В, {с, d} С, принадлежащих соответствующим множествам. Знаковая система представлена цифровой шкалой наименований, включающей элементы 1; 2 ... п и сохраняющей отношение равенства. Гомоморфное отображение g ставит в соответствие каждому элементу из эмпирической системы определенный элемент знаковой системы.

Номинальные шкалы имеют две особенности:

- элементам с и d может быть поставлено в соответствие одно и тоже значение шкалы измерения (см. рис. 8.2) – это означает, что при измерении данные элементы не различаются между собой;

- при измерении в шкале наименований символы 1; 2 ... п, используемые в качестве шкальных значений, являются не числами, а цифрами, служащими лишь для обозначения и различия объектов. Так, цифра 2 не является в два раза или на единицу больше цифры 1 в отличие от чисел 2 и 1.

Всякая обработка результатов измерения в номинальной шкале должна учитывать данные особенности. В противном случае могут быть сделаны ошибочные выводы по оценке систем, не соответствующие действительности.

8.8. Шкалы порядка.Шкала называется порядковой (ранговой), если ее множество G состоит из всех монотонно возрастающих допустимых преобразований шкальных значений. Примером шкалы порядка может служить шкала твердости t минералов, предложенная в 1811 г. Ф. Моосом (Германия) и до сих пор распространенная в геологии. Записи «1; 2; 3» и «5,3; 12,5; 109,2» содержат одинаковую информацию о том, что первое тело самое твердое, второе менее твердое, а третье – самое мягкое. Информации о том, во сколько раз один минерал тверже другого или на сколько единиц он тверже, здесь нет. Другими примерами шкал порядка могут служить шкалы силы ветра, силы землетрясения, сортности товаров в торговле, социологические шкалы и т.п.

Разновидностью шкалы порядка является шкала рангов, где используются натуральные числа, идущие подряд от 1 по возрастанию. Если среди m измеряемых объектов одинаковых нет, то ранговое место каждого объекта в протоколе будет указано одним из целых чисел от 1 до m. При одинаковом значении измеряемого свойства у k объектов, занимающих порядковые места с t-го по (t+k)-ое, их ранги будут обозначены одинаковым числом, равным их «среднему» рангу x, где , .

К типу шкал порядка относится и широко распространенная шкала баллов, где используются целые числа в ограниченном диапазоне их значений: от 1 до 5 в системе образования, от 0 до 6 или до 10 в спорте и т.д. В любом из этих случаев протокол содержит информацию только о трех эмпирических отношениях: « < », « > » и « = ». Здесь также нет информации о том, во сколько раз или на сколько единиц один объект предпочтительнее другого. Измерение в шкале порядка может применяться в следующих ситуациях:

- необходимо упорядочить объекты во времени или пространстве, когда представляет интерес не сравнение объектов по степени выраженности какого-либо их качества, а лишь взаимное пространственное или временное расположение данных объектов;

- нужно упорядочить объекты в соответствии с каким-либо их качеством, но при этом не требуется производить его точное измерение;

- какое-либо качество в принципе измеримо, но в настоящий момент не может быть измерено по причинам практического или теоретического характера.

8.9. Шкала интервалов– это порядковая шкала с постоянным отношением величин интервалов, измеряемых в разных шкалах. Основным свойством таких шкал является сохранение неизменным отношения интервалов в эквивалентных шкалах: , откуда и происходит название данного типа шкал. Шкала при этом может иметь произвольные точки отсчета и масштаб (см. рис. 8.3).

Рис. 8.3. К измерению объектов в двух шкалах интервалов

Примерами шкал интервалов могут служить шкалы температур. Переход от шкалы Цельсия к шкале Фаренгейта, например, задается линейным преобразованием шкальных значений: . Другой пример измерения в интервальной шкале по признаку «дата совершения события» демонстрируют григорианский и мусульманский календари.

 В общем случае, при переходе к эквивалентным шкалам с помощью линейного преобразования Y = a X + b, в шкалах интервалов происходит изменение как начала отсчета (параметр b), так и масштаба измерений (параметр а). Шкалы интервалов, аналогично номинальной и порядковой, сохраняют различие и упорядочение измеряемых объектов, дополнительно они сохраняют еще и отношение расстояний между парами объектов в любой эквивалентной шкале. Типичная ошибкапри использовании шкал интервалов состоит в следующем: свойства, измеряемые в шкале интервалов, нельзя принимать в качестве показателей для других свойств, монотонно связанных с ними. Для измерения связанных свойств исходные шкалы интервалов становятся шкалами порядка – игнорирование данного факта приводит к неверным результатам.

8.10. Шкалой отношений(подобия) называется шкала с постоянством отношения величин, измеряемых в разных шкалах. Между протоколами, фиксирующими один и тот же эмпирический факт на разных языках, при этом типе шкал должно выполняться соотношение Y = a X , где а – любое положительное число при b = 0. Например, один и тот же эмпирический смысл имеют протоколы «16 кг», «16000 г», «0,016 т» и т.д., поскольку здесь от любой записи можно перейти к другой, подобрав соответствующий множитель a. Данный тип шкалы удобен для измерения весов, длин и т.д.

Если неизвестно, в каких единицах записан вес тел в разных протоколах, можно полагаться только на отношение весов разных тел: например, тело с весом 10 ед. в два раза тяжелее тела с весом 5 ед. вне зависимости от того, что было взято за единицу – тонна или грамм (инвариантность отношений отражена и в названии шкалы данного типа). Таким образом, шкалы отношений отражают отношения свойств объектов: во сколько раз свойство одного объекта превосходит то же свойство другого объекта. Если же в протоколе указана единица веса, протокол будет отражать свойства тел в абсолютной шкале.

Шкалы отношений (см. рис. 8.3) образуют подмножество шкал интервалов, соответствующее значению параметра b = 0. Такая фиксация означает задание нулевой точки начала отсчета для всех шкал отношений. Переход от одной шкалы отношений к другой, эквивалентной ей шкале, осуществляется с помощью преобразований подобия (растяжения), то есть путем изменения масштаба измерений. Шкалы отношений являются частным случаем шкал интервалов, и, с учетом выбора нулевой точки отсчета, сохраняют не только отношения свойств объектов, но и отношения расстояний между парами объектов.

8.11. Шкала разностейиспользуется для измерения свойств объектов при необходимости выражения, насколько единиц один объект превосходит другой по одному или нескольким признакам Шкала разностей является частным случаем шкалы интервалов при выборе единицы масштаба а = 1, когда при переходе от одной числовой системы к другой меняется лишь начало отсчета b, так что разности численных оценок свойств объектов остаются неизменными. Действительно, если х₁ и х₂ – оценки объектов a₁ и а₂ в одной шкале, а  и  в другой шкале, то .

Примерами измерений в шкалах разностей могут служить измерения прироста продукции предприятий (в абсолютных единицах) в текущем году по сравнению с прошлым; увеличение численности персонала учреждений; количество приобретенной техники за год и т.д. Другим примером измерения в шкале разностей является летоисчисление (в годах), поскольку переход от одного летоисчисления к другому осуществляется изменением начала отсчета. Шкалы разностей, как и шкалы интервалов, сохраняют отношения интервалов между оценками пар объектов, но, в отличие от шкалы отношений, не сохраняют отношения оценок свойств объектов. Точка отсчета b в шкалах разностей может быть произвольной.

8.12. Абсолютная шкала– это шкала с абсолютным нулем и абсолютной единицей, для которой существует только одно отображение эмпирических объектов в числовую систему. Отсюда и название шкалы, так как для нее единственность измерения понимается в буквальном (абсолютном) смысле.

Допустимое преобразование для шкал данного типа представляет собой тождество: если на одном языке в протоколе записано Y, а на другом языке X, то между этими записями должно выполняться соотношение Y = X. Данный тип шкалы удобен для записи числа (количества) элементов в конечном множестве, характеризующем рассматриваемую систему. Пересчитав число элементов в системе, можно записать в протоколе «16», а можно «ХVI», поскольку достаточно знать, что «16» и «ХVI» означают одно и то же число и между записями существует тождественное отношение: 16 = ХVI.

Абсолютные шкалы применяются для измерения дискретных и непрерывных характеристик объектов, предметов, событий, решений и т.п. В качестве шкальных значений при измерении числа объектов используются натуральные числа, когда объекты представлены целыми единицами, и действительные числа, если (кроме целых единиц) присутствуют также части объектов. При этом термин «число» грамотно относить к дискретным (число минут, граммов, литров и т.д.), а термин «количество» – к непрерывным (количество времени, веса, воды и т.п.) характеристикам объекта. Абсолютные шкалы являются частным случаем ранее рассмотренных типов шкал, поэтому они сохраняют все соотношения между оценками измеряемых свойств объектов: различие, порядок, отношение интервалов, отношение и разность значений и т.д. На рис. 8.1 показаны также промежуточные типы шкал: степенная шкала, для которой ; а > 0, b > 0, , , и ее разновидность – логарифмическая шкала ; b > 0, .

8.13. Обработка результатов, полученных в разных шкалах. При исследовании сложных систем использование разных шкал может быть оправдано тем, что необходимо отделять существенно несравнимые альтернативы от несравнимых альтернатив, допускающих косвенную сравнительную оценку разных систем.

Особенностью измерения и оценивания качества сложных систем является то,что для одной и той же системы, по разным частным показателям качества ее работы, могут применяться любые из типов шкал: от самых слабых до самых сильных. При этом для получения надежного значения нужного показателя может проводиться несколько измерений и обобщенный показатель системы будет представлять собой усредненную (осредненную) величину для ряда однородных частных показателей.

При измерении и оценке физических величин трудностей обычно не возникает, так как все они измеряются в абсолютной шкале. Более сложной является оценка при использовании качественных шкал. Однако, по мере доопределения и уточнения отдельных показателей в процессе СА, может появиться возможность перейти от измерений и оценки в слабых качественных шкалах к оценке в сильных количественных шкалах.

При работе с величинами, измеренными в разных шкалах, необходимо соблюдать правила и перечень допустимых операций осреднения результатов измерений, полученные в теории шкалирования, которые не всегда очевидны, но могут привести к очевидным грубым просчетам и промахам при оценке систем.