Экспертные оценки в управлении
Размещено на /
ТЕМА
ЭКСПЕРТНЫЕ ОЦЕНКИ В УПРАВЛЕНИИ
Понятие об экспертизах
Многие проблемы различных сфер человеческой деятельности не поддаются формализации путем прямого использования определенных количественных соотношений. Тем не менее, часто проблемы такого типа чрезвычайно важны и от их решения зависит выбор стратегии развития политических, экономических, социальных, военных и других систем различного иерархического уровня.
Как уже отмечалось, принципиально ЛПР может получить необходимую для принятия решения информацию, воспользовавшись всего тремя источниками:
личными знаниями, опытом и интуицией;
чужим опытом, анализируя эмпирические данные;
советами специалистов – экспертов.
Однако при решении действительно сложных, комплексных проблем, особенно в условиях неопределенности и неполноты информации, часто единственным способом определиться в сложной ситуации оказывается способ анализа, базирующийся на экспертном оценивании.
Идея экспертного оценивания состоит в том, что для получения необходимой новой информации из имеющейся исходной привлекаются компетентные в данной области люди – эксперты, которые проводят интуитивно-логический анализ какого-либо вопроса с целью вынесения по нему суждения. Суждения экспертов определенным образом обрабатываются с использованием специальных математических процедур. В результате получают так называемые экспертные оценки.
По-существу, все многообразие решаемых экспертами задач сводится к двум: построению (синтезу) каких-то неизвестных в настоящее время объектов и к оцениванию характеристик (анализу) представленных им объектов.
Построение объектов предполагает формулировку целей, условий и способов проведения операции, формирование модели цели операции, определение характеристик для описания свойств объектов и их взаимосвязей и т.п. При оценивании характеристик элементов эксперты проводят измерение важности целей, приоритетов, предпочтений, возможностей наступления тех или иных событий и т.п.
Важно иметь в виду, что экспертная оценка не является решением. Это лишь информация, необходимая или помогающая ЛПР выработать обоснованное решение.
В общем случае предпочтения ЛПР могут не совпадать с предпочтениями экспертов. Однако суждения экспертов, их советы помогают ЛПР критически осмыслить различные точки зрения, уточнить или изменить свою систему предпочтений и тем самым уменьшить вероятность принятия решений, неадекватных ситуации.
Обращение к экспертам можно рассматривать как проведение своеобразного эксперимента, позволяющего учитывать и использовать при выборе решения коллективный опыт и знания экспертов. Неформальные процедуры выбора решения, базирующиеся на привлечении экспертов, называют экспертизами.
Экспертизы классифицируются на простые и сложные. Рассмотрим вначале понятие простой экспертизы.
Для простых экспертиз характерно, что каждый из экспертов способен дать окончательный и официальный ответ на поставленный вопрос. При этом считается, что эксперт достаточно компетентен для того, чтобы, используя его мнение, можно было принять определенное решение. Ответ эксперта на поставленный вопрос называется экспертной оценкой. Экспертная оценка может быть дана в качественной или в количественной форме. Порядок проведения простой экспертизы может быть различным и зависит от характера решаемой проблемы. В некоторых случаях экспертиза может осуществляться в виде дискуссии (например, при проведении медицинского консилиума в случае диагностирования заболевания, при отыскании проектных решений и т.п.), в других же дискуссия не допускается. Характерным примером использования дискуссий при проведении экспертиз служит экспертиза при выработке решений, определяющих экономическую стратегию и тактику фирм или предприятий в условиях конкуренции. При этом не следует опасаться противодействия или даже негативного отношения экспертов к возможным решениям (альтернативам) и к оценке их последствий. Более того, обоснование решения может быть эффективным лишь при наличии и при учете противодействия.
Часто чрезвычайно эффективными при решении сложных многоаспектных проблем являются экспертизы, осуществляемые в форме мозговой атаки (“мозгового штурма”). Обычно экспертизы в виде “мозгового штурма” применяются тогда, когда обычные, ”лежащие на поверхности” решения являются неэффективными и требуются нестандартные, неочевидные подходы. Экспертиза в виде “мозгового штурма” осуществляется в два этапа. На первом эксперты выступают в роли “генераторов идей”. Выдвигаемые идеи на данном этапе не обсуждаются и не оцениваются. Необходимо, чтобы генерация идей не ограничивалась какими-либо факторами (например, критическими замечаниями). Фиксируются абсолютно все, даже самые фантастические, идеи. На втором этапе осуществляется анализ предложений, а также оценка их реализуемости и эффективности. На данном этапе возможно использование как тех же экспертов, принимавших участие в генерации идей, так и привлечение новых.
Выбор той или иной формы проведения экспертизы зависит от характера решаемой проблемы, стиля работы ЛПР, а также ряда других факторов.
Следует отметить, что при экспертизах могут использоваться различные процедуры голосования. В частности, возможно голосование:
в целом (списком), или по каждому обсуждаемому вопросу в отдельности;
в несколько этапов (при этом сначала путем “мягкого”, или рейтингового, голосования определяется порядок обсуждения вопросов, а затем проводится собственно голосование.
Решение может приниматься простым или квалифицированным (не менее 2/3) большинством. Возможно также применение “права вето”, когда решение принимается при согласии с ним всех участников голосования.
Следует отметить, что встречаются ситуации (например в научно-технической сфере), когда мнение одного эксперта может быть более ценным и правильным, чем мнение всех остальных, так как иногда наилучшими являются решения, принятые не на основании накопленного опыта, а вопреки ему.
Кратко охарактеризуем сложные экспертизы.
В ряде случаев простые экспертизы не дают результата из-за того, что не удается подобрать экспертов, способных дать обоснованные ответы на поставленные перед ними вопросы. При этом часто неэффективность простой экспертизы связана не с некомпетентностью экспертов, а обусловлена чрезвычайной сложностью проблемы и принципиальной невозможностью найти экспертов, оценки которых можно было бы использовать при выборе решения. Например, просто невозможно на данном этапе развития науки и техники предсказать, хотя бы ориентировочно, дату ввода в действие термоядерных электростанций, начало добычи полезных ископаемых на других планетах Солнечной системы, создание эффективно функционирующего электрического автомобильного двигателя, способного конкурировать с традиционным двигателем внутреннего сгорания, и т.д. и т.п. Между тем от ответов на вопросы подобного типа зависят, в частности, размеры инвестиций в соответствующие отрасли науки, промышленности, образования.
В большинстве случаев решение сложных проблем не может быть получено в рамках простых экспертиз. Сложные экспертизы, использующие специальные процедуры экспертного исследования, базируются на декомпозиции (расчленении) сложной проблемы на ряд более простых, исследование которых позволяют проводить опыт и квалификация экспертов. По каждой частной проблеме проводится простая экспертиза, а затем, после соответствующей обработки полученных на первом этапе экспертных оценок формируются выводы по проблеме в целом.
Успех сложной экспертизы во многом определяется тем, каким образом осуществлена декомпозиция сложной проблемы на составляющие. Следует отметить, что в настоящий момент отсутствуют универсальные подходы к решению данной проблемы, в связи с чем, все определяется характером исходной проблемы, надлежащим подбором специалистов, привлекаемых к ее решению, и множеством других факторов, влияние которых редко можно учесть заранее.
Экспертное оценивание важности объектов
Очень часто в процессе экспертизы суждение экспертов представляется в количественной форме (в виде чисел). Примерами могут служить оценка качества изделия в некоторой шкале (например, десятибальной), оценка уровня мастерства спортсменов на соревнованиях и т.п. Важно, что в экспертизах с количественными оценками необходима определенная математическая обработка экспертных оценок, например, выставление среднего балла. Иногда в целях защиты от возможной некомпетентности или предвзятости экспертов используется более сложная обработка – например, отбрасывание наибольшей и наименьшей оценок и расчет среднего балла по оставшимся оценкам. В данном разделе мы рассмотрим некоторые вычислительные процедуры обработки экспертных оценок при определении важности некоторых объектов. В качестве объектов такого рода могут, например, рассматриваться показатели эффективности в многокритериальных задачах выбора решений.
А. Усреднение экспертных оценок
Пусть экспертам
необходимо
сравнить
объектов.
Предположим,
что существует
набор чисел
,
характеризующих
истинные значения
важности исследуемых
объектов. При
этом предполагается,
что наиболее
важному объекту
соответствует
наибольшее
по величине
число из набора
,
а наименее
важному – наименьшее.
Естественно,
числа
неизвестны
экспертам и
ЛПР. При оценке
важности объектов
абсолютные
значения чисел
не имеют значения
и ранжирование
объектов по
важности определяются
относительными
величинами
чисел совокупности
.
В связи с этим,
будем считать,
что

Пусть важность
объектов оценивают
экспертов.
Обозначим через
оценку важности
-
го объекта
,
данную
-
м экспертом
.
Полученные
оценки представим
в виде матрицы
, (6.1)
в которой
число строк
соответствует
числу объектов,
а число столбцов
числу экспертов.
Поскольку
оценки важности
одного и того
же объекта,
полученные
от разных экспертов,
могут не совпадать
(числа в строках,
вообще говоря,
различны), то
возникает
задача определения
показателей
важности
,
представляющих
собой усредненное
мнение всех
экспертов.
Определение
значений
по матрице
можно осуществить,
выбирая в качестве
меры близости
между
и элементами
соответствующей
строки среднеквадратическую
(6.2)
Величины
выбираются
таким образом,
чтобы среднее
квадратическое
отклонение
было минимальным.
При этом необходимо
обеспечить,
чтобы
удовлетворяли
условию нормировки:
.
В результате усредненные показатели важности рассчитываются по формулам вида
(6.3)
Таким образом, относительные оценки важности объектов вычисляются как среднеарифметические оценок, выставленных всеми экспертами. Отметим, что полученный результат является простейшим и применяется в тех случаях, когда ЛПР уверено в одинаковой компетентности и объективности экспертов.
Если у ЛПР
нет уверенности
в равном уровне
компетентности
экспертов, то
применяется
более сложная
процедура
обработки
экспертных
оценок. Вводятся
коэффициенты
компетентности
экспертов
,
отвечающие
условиям
(6.4)
При этом формула (6.3) обобщается и принимает вид:
(6.5)
Представим последнее равенство в матричной форме. Для этого введем векторы-столбцы
![]()
где верхний
символ
обозначает
операцию
транспонирования.
В результате
формула (6.5) примет
следующий вид:
(6.6)
сли компетентность экспертов известна, то расчет усредненных оценок важности следует производить по формулам (6.5) или (6.6). Очевидно, в случае одинаковой компетентности экспертов
формула
(6.5) сводится к
(6.3).
Более сложным
(и реалистическим)
является случай,
когда коэффициенты
компетентности
неизвестны
и подлежат
определению.
Обычно в этом
случае используется
рекуррентный
метод расчета
с использованием
матрицы экспертных
оценок
,
который мы
кратко опишем
ниже.
Обозначим
через
вектор коэффициентов
компетентности
на
-
м шаге вычислений
.
Примем, что на
первом шаге

Для
-
го шага оказываются
справедливыми
соотношения
(6.7)
, (6.8)
где
- нормирующий
множитель,
вычисляемый
из условия:
![]()
Подставляя (6.7) в (6.8) получим более удобное для использования соотношение:
, (6.9)
где квадратная
симметрическая
матрица
называется
матрицей взаимосвязи
экспертных
оценок и определяется
равенством:
(6.10)
Для иллюстрации работы вышеописанного алгоритма приведем простой пример.
экспертиза объект оценка
Пример 1
Пусть два
объекта исследуется
тремя экспертами
(
),
причем матрица
экспертных
оценок имеет
вид

Можно видеть,
что первый и
второй эксперты
оценивают
важность обоих
объектов одинаково
(при этом второй
объект признается
заметно более
важным, чем
первый (0,8 против
0,2)), тогда как
третий эксперт
придерживается
противоположного
мнения. Определим
коэффициент
компетентности
каждого эксперта
и вычислим (с
учетом компетентности)
оценки важности
объектов. Для
этого сначала
по формуле
(6.10) находим матрицу
взаимосвязи
экспертных
оценок
и проводим
итерационный
расчет вплоть
до достижения
сходимости.
Проведем решение в Excel. Сначала создадим форму для решения примера в соответствии с Рис. 6.1.
| A | B | C | D | E | F | G | H | I | J | |
| 1 | Матрица A | Матрица AT | n = | 3 | ||||||
| 2 | 0,2 | 0,2 | 0,8 | |||||||
| 3 | 0,8 | 0,8 | 0,2 | |||||||
| 4 | ||||||||||
| 5 | ||||||||||
| 6 | ||||||||||
| 7 | 0,2 | 0,8 | 0,2 | 0,2 | 0,8 | 0,68 | 0,68 | 0,32 | ||
| 8 | 0,2 | 0,8 | X | 0,8 | 0,8 | 0,2 | = | 0,68 | 0,68 | 0,32 |
| 9 | 0,8 | 0,2 | 0,32 | 0,32 | 0,68 | |||||
| 10 | ||||||||||
| 11 | Матрица B | |||||||||
| 12 | ||||||||||
| 13 | | |||||||||
| 14 | ||||||||||
| 15 | X | = | ||||||||
| 16 | ||||||||||
| 17 | ||||||||||
| 18 | | |||||||||
| 19 | ||||||||||
| 20 | X | = | ||||||||
| 21 | ||||||||||
| 22 | ||||||||||
| 23 | | |||||||||
| 24 | ||||||||||
| 25 | X | = | ||||||||
| 26 | ||||||||||
| 27 | ||||||||||
| 28 | ||||||||||
| 29 | (2) | 0,2 | 0,2 | 0,8 | X | = | ||||
| 30 | 0,8 | 0,8 | 0,2 | |||||||
| 31 | ||||||||||
| 32 | ||||||||||
| 33 | (3) | 0,2 | 0,2 | 0,8 | X | = | ||||
| 34 | 0,8 | 0,8 | 0,2 | |||||||
| 35 | ||||||||||
| 36 | ||||||||||
| 37 | (4) | 0,2 | 0,2 | 0,8 | X | = | ||||
| 38 | 0,8 | 0,8 | 0,2 | |||||||
| 39 | ||||||||||
Рис. 6.1 Форма для решения примера 1
В ячейках
E2:F4 рассчитаем
матрицу
,
после чего
скопируем
полученные
элементы матрицы
в диапазон
ячеек A7:B9.
Произведение
матриц
разместим в
диапазоне
H7:J9, после
чего также
скопируем
элементы данной
матрицы и разместим
их в диапазоне
C14:E16.
В диапазон A14:A16 введем значения компетентности экспертов в первом приближении (во все ячейки введем формулу =1/$I$1).
Далее введем в ячейки 14-39 строк следующие формулы
| Ячейка | Формула |
| G14 | =A14 |
| G15 | =A15 |
| G16 | =A16 |
| I14 | =$C$14*G14+$D$14*G15+$E$14*G16 |
| I15 | =$C$15*G14+$D$15*G15+$E$15*G16 |
| I16 | =$C$16*G14+$D$16*G15+$E$16*G1 |
| I17 | =СУММ(I14:I16) |
| A19 | =I14/$I$17 |
| A20 | =I15/$I$17 |
| A21 | =I16/$I$17 |
| G19 | =A19 |
| G20 | =A20 |
| G21 | =A21 |
| I19 | =$C$14*G19+$D$14*G20+$E$14*G21 |
| I20 | =$C$15*G19+$D$15*G20+$E$15*G21 |
| I21 | =$C$16*G19+$D$16*G20+$E$16*G21 |
| I22 | =СУММ(I19:I21) |
| A24 | =I19/$I$22 |
| A25 | =I20/$I$22 |
| A26 | =I21/$I$22 |
| G24 | =A24 |
| G25 | =A25 |
| G26 | =A26 |
| I24 | =$C$14*G24+$D$14*G25+$E$14*G26 |
| I25 | =$C$15*G24+$D$15*G25+$E$15*G26 |
| I26 | =$C$16*G24+$D$16*G25+$E$16*G26 |
| I27 | =СУММ(I24:I26) |
| G29 | =A14 |
| G30 | =A15 |
| G31 | =A16 |
| I29 | =$C$29*G29+$D$29*G30+$E$29*G31 |
| I30 | =$C$30*G29+$D$30*G30+$E$30*G31 |
| G33 | =A19 |
| G34 | =A20 |
| G35 | =A21 |
| I33 | =$C$29*G33+$D$29*G34+$E$29*G35 |
| I34 | =$C$30*G33+$D$30*G34+$E$30*G35 |
| G37 | =A24 |
| G38 | =A25 |
| G39 | =A26 |
| I37 | =$C$29*G37+$D$29*G38+$E$29*G39 |
| I38 | =$C$30*G37+$D$30*G38+$E$30*G39 |
Очевидно, большинство указанных формул может быть получено простым копированием.
После проведения соответствующих расчетов, получим следующий результат (Рис.6.2).
Следует отметить, что в данном случае наблюдается достаточно быстрая сходимость (3-4 итерации).
Таким образом, получаем значения коэффициентов компетентности экспертов, а также усредненные показатели важности объектов. Следует отметить, что, несмотря на простоту используемого алгоритма, задача решается с достаточно высокой точностью и не требует использования программирования.
| Матрица B | ||||||||
| | ||||||||
| 0,3333 | 0,68 | 0,68 | 0,32 | 0,3333 | 0,56 | |||
| 0,3333 | 0,68 | 0,68 | 0,32 | X | 0,3333 | = | 0,56 | |
| 0,3333 | 0,32 | 0,32 | 0,68 | 0,3333 | 0,44 | |||
| 1,56 | ||||||||
| | ||||||||
| 0,3590 | 0,68 | 0,68 | 0,32 | 0,3590 | 0,5785 | |||
| 0,3590 | 0,68 | 0,68 | 0,32 | X | 0,3590 | = | 0,5785 | |
| 0,2821 | 0,32 | 0,32 | 0,68 | 0,2821 | 0,4215 | |||
| 1,5785 | ||||||||
| | ||||||||
| 0,3665 | 0,68 | 0,68 | 0,32 | 0,3665 | 0,5839 | |||
| 0,3665 | 0,68 | 0,68 | 0,32 | X | 0,3665 | = | 0,5839 | |
| 0,2671 | 0,32 | 0,32 | 0,68 | 0,2671 | 0,4161 | |||
| 1,5839 | ||||||||
| (2) | 0,2 | 0,2 | 0,8 | X | 0,3333 | = | 0,4000 | |
| 0,8 | 0,8 | 0,2 | 0,3333 | 0,6000 | ||||
| 0,3333 | ||||||||
| (3) | 0,2 | 0,2 | 0,8 | X | 0,3590 | = | 0,3692 | |
| 0,8 | 0,8 | 0,2 | 0,3590 | 0,6308 | ||||
| 0,2821 | ||||||||
| (4) | 0,2 | 0,2 | 0,8 | X | 0,3665 | = | 0,3602 | |
| 0,8 | 0,8 | 0,2 | 0,3665 | 0,6398 | ||||
| 0,2671 | ||||||||
Рис. 6.2 Результат
рекурсивного
расчета
коэффициентов
компетентности
экспертов и
усредненных
оценок важности
объектов
для примера
1
Дальнейшее вычисление практически не изменяет результат.
Б. Попарное сравнение объектов
Часто затруднительно напрямую оценить важность некоторого объекта среди ряда других. Подобная ситуация может иметь место при наличии объектов различной природы. Например, среди ранжируемых показателей эффективности могут быть показатели, имеющие определенное стоимостное выражение, а также показатели этического, эстетического рода и т.п. Указанное затруднение преодолевается посредством попарного сравнения объектов по степени их влияния на достижение цели. При этом эксперт должен вынести суждение о том, насколько с точки зрения достижения цели один объект важнее второго. Анализируя совокупность объектов, эксперт определяет численное предпочтение одного объекта перед другим по некоторой заранее выбранной шкале отсчета. Простым примером может служить выбор места работы выпускником ВУЗа. Выпускник должен оценить, насколько для него уровень оплаты труда, например, важнее, чем перспективы продвижения по служебной лестнице и т.д.
Пусть эксперт
анализирует
объектов. Сравнивая
их попарно
между собой,
он определяет
чисел
,
каждое из которых
характеризует,
по мнению эксперта,
относительную
значимость
-
го объекта по
сравнению с
-
м. Величина
представляет
оценку (приближенное
значение) истинной
значимости
сравниваемых
объектов.
Совокупность
экспертных
оценок можно
записать в виде
квадратной
матрицы

Элементы этой матрицы (относительные значимости объектов) можно рассматривать как отношения истинных важностей
(6.11)
При оценке
относительных
значимостей
используется
обычно девятибальная
шкала (см. табл.6.1).
Таблица 6.1 Девятибалльная шкала относительной важности объектов
| Степень важности | Определение | Пояснения |
| 1 | Объекты одинаково важны | Оба объекта вносят одинаковый вклад в достижение цели |
| 3 | Один объект немного важнее другого | Есть основания предпочесть один объект другому, но их нельзя считать неопровержимыми |
| 5 | Один объект существенно важнее другого (сильное превосходство) | Существуют веские свидетельства того, что один из объектов более важен |
| 7 | Один объект явно важнее другого | Имеются неопровержимые свидетельства превосходства одного объекта над другим |
| 9 | Один объект абсолютно важнее другого | Превосходство одного объекта над другим не вызывает сомнения |
| 2, 4, 6, 8 | Значения, приписываемые промежуточным суждениям | Используются, когда выбор между двумя соседними нечетными числами затруднителен |
Из формулы (6.11) следует, что из общего числа всех элементов матрицы попарного сравнения независимыми являются лишь
![]()
Во-первых, диагональные элементы матрицы равны единице. Во-вторых, при изменении порядка сравнения оценка относительной значимости объекта должна меняться на обратную
(6.12)
Это означает, что элементы матрицы попарного сравнения, расположенные симметрично относительно главной диагонали, представляют собой взаимно обратные числа.
Чрезвычайно
важным является
требование
транзитивной
согласованности
элементов
матрицы
,
которое означает,
что должны
выполняться
условия
(6.13)
Данные условия могут быть доказаны с помощью определения (6.11).
Матрица попарного сравнения объектов, элементы которой удовлетворяют условиям (6.11) – (6.13), называется согласованной. Следует отметить, что при попарном сравнении объектов эксперту не всегда удается выполнить условие транзитивной согласованности. В принципе, допускается некоторая степень несогласованности матрицы попарных сравнений.
По матрице
попарного
сравнения
,
составленной
экспертом,
легко могут
быть оценены
важности объектов
.
Используя
соотношение
(6.11) легко показать,
что в случае
согласованной
матрицы
справедливы
соотношения
![]()

………………

Приведем простой пример. Пусть матрица попарного сравнения имеет вид

Легко убедиться в том, что данная матрица удовлетворяет условиям согласованности; расчет дает
![]()
Если матрица не является согласованной, то нахождение вектора оценок
![]()
![]()
следует
вычислять как
нормированный
собственный
вектор матрицы
, соответствующий
ее наибольшему
собственному
числу. Часто
расчеты подобного
рода проводятся
рекуррентно.
Пусть
![]()
- начальное
приближение
искомого вектора
.
Итерационный
процесс описывается
уравнением
(6.14)
Полагая
,
получим первое
приближение:
![]()
где в правой
части после
умножения
на
получается
некоторый
вектор
.
После нормировки
он представляется
в виде