Экспертный метод предполагает и используется для. Научная электронная библиотека

Экспертный метод определения показателей качества основан на учете мнений специалистов-экспертов. Эксперт - специалист, компетентный в решении конкретной задачи (от латинского слова “expertus”- опытный). Этот метод применяют в тех случаях, когда те или иные показатели качества не могут быть определены другими методами из-за недостаточного количества информации, необходимости разработки специальных технических средств и т. п.

Экспертный метод является совокупностью нескольких различных методов, которые представляют собой его модификации. Известные разновидности экспертного метода применяются везде, где основой решения является коллективное решение компетентных людей (экспертов). Так, например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т. п. - все это решения, принимаемые экспертными методами.

Классификационными признаками, позволяющими группировать экспертные методы, являются: учет компетентности экспертов при формировании экспертной группы; способы опроса экспертов; способы обмена информацией; типы шкал, применяемых для оценки. Для экспертной оценки целесообразно пользоваться шкалами с нечетным числом градаций, в которых помимо нижнего и верхнего имеется средний (удовлетворительный) уровень.

Экспертные методы могут использоваться при формировании сразу общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества. Области применения экспертных методов следующие:

• оценка нормативных документов на продукцию;
• обобщенная оценка качества продукции;
• классификация оцениваемых товаров;
• определение номенклатуры показателей качества оцениваемой продукции;
• определение коэффициентов весомости показателей качества;
• выбор базовых образцов и определение значений базовых показателей качества;
• измерение и оценка показателей качества с помощью органов чувств (органолептически);
• оценка единичных показателей, значения которых определены измерительным или расчетным методами;
• идентификация продукции;
• определение комплексного показателя качества на основе совокупности единичных (обобщенных и групповых показателей);
• оценка конкурентоспособности продукции;
• сертификация продукции.

Экспертный метод не используется в том случае, если качество можно оценить другими методами с большей точностью или с меньшими затратами.

Результаты экспертной оценки имеют элементы неопределенности и необоснованности. Достоверность результатов оценки зависит от компетентности и квалификации экспертов.

Компетентность эксперта складывается из профессиональной и квалиметрической компетентности. Профессиональная компетентность предусматривает знание в области:

• истории развития оцениваемой продукции, изменения ее свойств и показателей качества;
• условий проектирования (конструирования) и производства (переработки) продукции;
• значений показателей качества отечественных и зарубежных аналогов;
• перспектив развития продукции, отраженных в научно- исследовательских работах, патентах, конструкторских разработках;
• требований потребителей, условий и характера потребления (эксплуатации) и утилизации.

Квалиметрическая компетентность предусматривает четкое понимание: подхода к оценке качества товаров; методов оценки качества; вопросов построения и применения оценочных шкал; определения субъективных вероятностей и различия достаточного числа градаций оцениваемого объекта.

Квалификация эксперта определяется не только знанием предмета обсуждения, но умением высказывать четкие, однозначные суждения. Кроме того, учитываются специфические возможности эксперта. Например, в пищевой промышленности при оценке качества продуктов питания учитывают возможности эксперта воспринимать вкус, запах и проч., а также его состояние здоровья. Эксперты, оценивающие эстетические и эргономические показатели качества, должны быть хорошо осведомлены в области художественного конструирования.

При использовании экспертного метода для оценки качества формируют две группы: рабочую и экспертную. Рабочая группа организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.

Экспертная группа формируется из высококвалифицированных специалистов в области создания и использования оцениваемой продукции. Это могут быть товароведы, маркетологи, дизайнеры, конструкторы, технологи и др. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок, допустимой трудоемкости оценочных процедур, возможностей управления группой и возможностей организации, в которой формируется группа, но в группе должно быть не менее 7-12 человек. При необходимости повышения точности оценок качества состав группы может быть увеличен до 15-20 экспертов.

Желательно, чтобы экспертная группа формировалась не для одноразовой экспертизы, а как постоянно функционирующий орган с достаточно стабильным составом экспертов. В процессе работы группы у экспертов на основе анализа результатов предыдущей работы вырабатываются общие подходы и принципы оценки качества продукции, что повышает эффективность оценки.

При проведении оценки качества экспертам предлагается построить иерархическую номенклатуру показателей качества. При построении иерархической номенклатуры показателей качества, желательно опуститься до уровня рассмотрения, на котором находятся единичные показатели, для которых существуют объективные методы оценки.

При построении номенклатуры показателей качества целесообразно выполнять следующие четыре условия:

• 1) признак, по которому любой комплексный показатель делится на п показателей нижележащего уровня (классификационный признак), должен быть единым для всех? показателей. Это обеспечивает экспертам наилучшие возможности для сопоставления показателей при определении коэффициентов весомости (следующая после построения номенклатуры операция);
• 2) определяя коэффициенты весомости, эксперт сравнивает между собой важность различных показателей качества, входящих в однородную группу. Поскольку при значительном числе показателей эта операция становится затруднительной, что снижает объективность результатов, число показателей, входящих в однородную группу, не должно превышать 10;
• 3) если показатель качества повторяется на двух или более уровнях, то его коэффициент весомости считается завышенным. Следовательно, повторение показателей нежелательно;
• 4) число показателей качества, входящих в однородные группы на одном уровне номенклатуры показателей качества, не должно резко отличаться, так как увеличение числа показателей может привести к снижению значений коэффициентов весомости. Например, в номенклатуре показателей качества на 1-м уровне расположено три показателя (5.= 1, 2, 3), на 2-м уровне каждый из них состоит из некоторого числа показателей - соответственно q, I, р. Желательно, чтобы выполнялось условие q ~ I ~ р или чтобы эти числа были достаточно близкими.

Возможные погрешности могут быть уменьшены включением в пояснительную записку необходимых разъяснений.

Работа экспертов заключается в выполнении двух самостоятельных, но взаимосвязанных операций - корректирования (уточнения) номенклатуры показателей качества и определения коэффициентов весомости этих показателей.

После изучения представленной номенклатуры показателей качества каждый эксперт приходит к одному из следующих выводов:

• а) в номенклатуре есть показатели качества, весомость которых незначительна. Их можно не учитывать при оценке качества (эти показатели качества эксперт вычеркивает);
• б) в номенклатуре не включены достаточно важные показатели (эти показатели эксперт вносит в номенклатуру);
• в) вычеркивает показатели, которые считает маловажными и одновременно дополняет номенклатуру показателями, которые считает достаточно важными;
• г) номенклатура показателей качества составлена правильно.

Мотивы своих действий эксперт излагает на отдельном листе, приложенном к номенклатуре, или техническому работнику, который заполняет этот лист.

После анализа мнений экспертов членами рабочей группы номенклатура корректируется и вновь поступает к экспертам для определения коэффициентов весомости показателей качества.

Определение коэффициентов весомости показателей качества

Определение экспертами коэффициентов весомости показателей качества начинается с ранжирования, когда каждому показателю качества присваивается определенный ранг. Если в однородную группу входят четыре и более показателей, эксперты предварительно ранжируют их: ранг 1 присваивается самому важному показателю, 2 - следующему по важности и т. д. Если эксперт считает, что весомость двух или более показателей одинакова, то он присваивает им одинаковые ранги. Если показателей менее четырех, операцию ранжирования можно не производить.

Каждый эксперт знакомится со значениями коэффициентов весомости, назначенными другими экспертами, и их обоснованиями. Если экспертная группа сформирована из работников различных организаций, которых трудно собрать для совместной работы, то каждый эксперт прикладывает к заполненной анкете краткое обоснование. Поскольку эта процедура весьма трудоемка, ее рекомендуется использовать, когда число показателей, входящих в структурную схему, сравнительно невелико (примерно 10-15). В противном случае экспертам предлагается дать обоснования лишь некоторых значений коэффициентов весомости по своему усмотрению. Для упрощения процедуры можно отказаться от обоснований и запросить их лишь в случае необходимости.

Каждый эксперт знакомится с анонимными мнениями других экспертов и вновь проставляет значения коэффициентов весомости.

Если сбор экспертной группы для совместной работы не представляет трудностей, то проводится открытое обсуждение всех коэффициентов весомости. Все эксперты имеют возможность кратко аргументировать свои суждения о значении коэффициента весомости каждого показателя и критиковать другие мнения. Для исключения возможного влияния служебного положения на мнения экспертов желательно, чтобы эксперты высказывались в последовательности от младшего к старшему (по служебному положению). После обсуждения эксперты проставляют значения коэффициента весомости показателя качества и переходят к следующему показателю.

По результатам оценки коэффициентов весомости оценивается согласованность мнений экспертов с помощью коэффициентов вариации, конкордации и др.

Значения коэффициентов вариации определяются рядом факторов: числом уровней в номенклатуре показателей качества, разнообразием мнений потребителей, компетентностью экспертов и т. д. При определении коэффициентов весомости можно рекомендовать следующие значения коэффициентов вариации, полученные на основании анализа результатов работы различных экспертных групп: V 0,35 - согласованность низкая.

Если согласованность мнений экспертов средняя или выше средней, то можно перейти к оценке согласованности мнений группы экспертов о весомости всех показателей. При согласованности ниже средней требуется дополнительный анализ. Причины низкой согласованности мнений экспертов могут быть субъективные и объективные.

Субъективные - недостаточная информированность экспертов о показателе качества, коэффициент весомости которого определяется; нечеткое понимание решаемой задачи; арифметические ошибка экспертов и т. д.

Объективные причины - проведенная классификация потребителей, на которую эксперты опираются при определении коэффициентов весомости, недостаточна. Следовательно, необходимо более четко определить условия потребления.

Для выявления причины низкой согласованности проводится повторное определение коэффициентов весомости данного показателя с обсуждением и вновь рассчитывается коэффициент вариации. Если после этой процедуры коэффициент вариации не улучшится (или улучшится незначительно), то следует обсудить полученные значения коэффициентов весомости с обоснованием мнений экспертов и уточнением группы потребителей.

Цель обсуждений состоит в стремлении выработать общее понимание всеми экспертами характера работы и вопросов и выявить истинное мнение каждого эксперта, а не в стремлении сблизить значения коэффициентов весомости, которые назначают эксперты. Таким образом, коэффициент вариации в значительной степени является не мерой “неблагополучия” во мнениях, а мерой различия требований отдельных групп потребителей к оцениваемой продукции.

9.3.3. Социологический метод

Социологический метод определения показателей качества основан на сборе и анализе мнений потребителей. Способы сбора информации различаются в зависимости от цели исследования. Социологическое исследование включает четыре этапа: подготовку исследования; сбор первичной социологической информации; подготовку собранной информации к обработке и ее обработку; анализ обработанной информации, подготовку отчета по итогам исследования, формулирование выводов и рекомендаций.

Сбор мнений потребителей осуществляется различными способами:

• письменный опрос (анкетирование);
• устный опрос (интервьюирование);
• тестирование.

Опрос является наиболее популярным методом сбора социологической информации. При проведении опроса источником информации является респондент, который является непосредственным участником опроса.

Анкетирование представляет собой письменный опрос при помощи анкеты. Социологическая анкета представляет собой набор вопросов, объединенный единой целью и направленный на выявление мнений потребителей. Очень важно при составлении анкеты перевести язык специалистов на язык потребителей. При составлении анкеты вопросы формулируют в закрытой, открытой и полуоткрытой форме.

Закрытые вопросы имеют все варианты ответов. Например:

«Когда Вы предпочитаете отдыхать?»

• 1 - зимой;
• 2 - летом.

В полузакрытых вопросах респонденту предоставляется возможность дополнения вариантов ответа. Например:

«Какие кисломолочные продукты Вы предпочитаете?»

• 1 - кефир;
• 2 - йогурт;
• 3 - кварк;
• 4 - другие (укажите, какие именно)_

Открытые вопросы не содержат вариантов ответа. Например:

Какими характеристиками должна обладать стиральная машина?

В анкете могут содержаться прямые и косвенные вопросы, основные и контрольные вопросы. Косвенные вопросы формулируются в том случае, когда ответ на прямой вопрос требует от респондента критического отношения к себе, оценки негативных явлений и проч. Основные вопросы направлены на сбор информации, а контрольные вопросы позволяют оценить искренность респондентов. Например, если основной вопрос: «Какие биологически активные добавки Вы покупаете?», то контрольным вопросом в открытой форме может быть: «Какие полезные свойства биологически активных добавок Вам известны?»

Вопросы можно располагать в строку или в таблице. При составлении анкеты существенное значение имеет однозначность понимания вопросов.

Помимо устного опроса анкеты могут рассылаться по почте. Преимуществом почтового опроса является простота организации, а недостатком -- неполный возврат анкет. Анкетирование может проводиться через средства массовой информации (газеты, журналы, теле- и радиовещание), оно основано на публикации (трансляции) текста анкеты, обращенной к потенциальным респондентам. Преимуществом является адресность аудитории, а недостатком - низкий возврат анкет. Интернет-опросы проводятся в различных формах: рассылка анкет по электронной почте; размещение анкет в новостях; интернет-форумы и телеконференции; анкеты в формате web-страниц и проч.

Интервьюирование предполагает устный опрос респондентов, который проводится в свободной форме или в стандартизированной (формализированной) форме. Свободное интервью часто является начальным этапом разработки анкеты или стандартизированного интервью, оно проводится без заранее подготовленного вопросника. Стандартизированное интервью проводится по четко составленным вопросам. Достоинством интервью является возможность получения ответов на все вопросы, уточнение противоречивых вопросов.

В основе тестирования лежат стандартизированные вопросы и задачи, которые имеют определенную шкалу значений.

Тесты позволяют получить количественную оценку параметров, но требуют определенной подготовки респондентов.

Достоверность результатов сбора и обработки информации обеспечивается методами математической статистики.

Социологические методы широко используют на стадии выполнения маркетинговых исследований, при изучении спроса, для определения показателей качества, для оценки качества и проч.

Например, необходимо выяснить, каким требованиям должен удовлетворять электрический утюг. Для этого разрабатывается опросный лист с указанием параметров утюга. Заполнение листов производится по почте, при общении с потенциальными покупателями в торговых точках и проч. Итоги опроса приведены в таблице.

Итоги опроса потенциальных покупателей утюгов

В таблице указаны средние значения оценок в баллах и количество опрошенных потенциальных покупателей, которые оценивали этот параметр. Оценка осуществлялась по 10-балльной шкале.

Для обработки полученной информации нужно учитывать средний балл и количество будущих покупателей, которые за него высказались. Затем определяют суммы баллов каждого из параметров и общую сумму баллов. Далее оценивают коэффициенты весомости каждого параметра и проверяют результаты суммированием:

q = (476/4444,8) + (342/4444,8) + (90/4444,8) + (403/4444,8) + + (486/4444,8) + (175/4444,8) + (216/4444,8) + (450/4444,8) + + (180/4444,8) + (480/4444,8) + (183/4444,8) + (320/4444,8) + + (497/4444,8) + (20,8/4444,8) + (126/4444,8) = 0,1071 + 0,0769 + + 0,0202 + 0,0906 + 0,1093 + 0,393 + 0,0485 + 0,1012 + 0,0405 + + 0,1079 + 0,0411 + 0,0719 + 0,1118 + 0,0047 + 0,0283 = 0,9998.

Сумма коэффициентов весомости составляет приблизительно единицу, что подтверждает точность расчетов.

Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.

В каких случаях необходима экспертная оценка

В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:

• На стадии определения целей и задач исследовательского процесса.
• Во время построения или проверки гипотезы.
• Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
• Чтобы обосновать адекватность применяемого инструментария.
• Для генерации рекомендаций, а также для реализации многих других целей.

Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).

Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:

• Запуск в серийное производство одного из разработанных вариантов продукции.
• Подбор космонавтов из многочисленных претендентов.
• научной работы, который будет профинансирован.
• Выбор предприятия, которое получит экологический кредит.
• Определение инвестиционного проекта для вложения финансовых средств.

Кто такие эксперты, и как они работают

Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.

Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.

Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.

Сколько экспертов потребуется?

В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.

Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.

Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.

Последовательность процедуры оценивания

Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:

1. Проведение которую требуется исследовать.
2. Подбор экспертов для проведения процедуры.
3. Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
4. Проведение самой процедуры оценивания.
5. Сведение и анализ информации, полученной в ходе оценивания.

При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).

Ход оценивания: характеристика этапов

Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:

• Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
• Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
• Выбор и инструктаж модератора мероприятия.

В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.

Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.

Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью

Среди самых действенных и часто применяемых методик можно назвать:

• Аналитический способ.
• Метод написания сценария.
• Интервью.

В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.

Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.

Проведение экспертизы аналитическим методом

Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.

Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как

Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.

Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.

Осуществление экспертизы путем написания сценариев

Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.

Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.

Коллективная экспертиза: метод «мозгового штурма»

Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.

Порученное задание они могут выполнить, применяя один из методов:

• Коллективную генерацию идей («мозговая атака»).
• Метод «635».
• Метод Дельфи.
• Оценку комиссий.

Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.

«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.

Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.

Специфика метода «635»

Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.

В чем особенность метода Дельфи

Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.

Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.

Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.

На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.

Чем хорош метод:

1. Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
2. Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
3. Представляется возможность получения статистической характеристики группового мнения.

Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.

Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.

Другие методы

Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.

В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:

• Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
• «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
• Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).

В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.

Экспертный метод оценки

Применение экспертного метода

Применение экспертного метода предполагает соблюдение следующих условий:

Экспертная оценка проводится только в случае, когда нельзя использовать для решения вопроса более объективные методы;

В работе экспертной комиссии не должно быть факторов, влияющих на искренность суждений экспертов, мнения экспертов должны быть независимы, вопросы, поставленные перед экспертами, не должны допускать различного толкования;

Эксперты должны быть компетентными в решаемых вопросах;

Количество экспертов должно быть оптимальным;

Ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Способы формирования экспертных групп следующие:

1 Способ назначения . Члены экспертной группы назначают ответственного лица (руководителя предприятия, главного и т. д.) по приказу которого проводят сертификацию. Решение выработанное экспертом группы будет являться достаточно авторитарным как для руководителя так и для других лиц, использующих результаты сертификации. Этот способ, когда на данном предприятии впервые проводят групповую экспертизу и организатору необходимо обезопасить результаты от возможной критики со стороны других лиц;

2 Способ взаимных рекомендаций . Вначале опрашивают 1 специалиста по рассматриваемой проблеме. При этом он называет других лиц, которые по его мнению должны войти в состав экспертной комиссии. Эти специалисты вновь должны назвать возможных экспертов, включая рекомендации (при этом соблюдается анонимность рекомендаций). Постепенно круг замыкается. Опыт показывает, что при использовании данного способа в группу попадают специалисты достаточно успешно работающие над данной проблемой, независимо от служебного положения. Этот способ удобен при анализе очень узких специальных проблем.

3 Способ последовательных рекомендаций . Круг специалистов по анализируемой проблеме (эксперт) должен указывать условия при которых проблема может быть решена а он лично может взять на себя ее решение. После этого как эти условия будут установлены, эксперт называет лица, которые могли бы обеспечить достижение указанных им промежуточных целей. В свою очередь эти лица выступающие в качестве экспертов во втором туре опроса, когда выясняют условия достижения промежуточных целей и определяет лиц, которые могут обеспечить достижение промежуточных целей второго уровня.

4 Документационный способ. Этот способ отбора экспертов по их объективным характеристикам. Стаж работы, должность, ученая степень и т. д. Применяется достаточно часто и целесообразно в тех случаях, когда необходимо выяснение мнений группы специалистов.

5 Способ тестирования. Экспертов отбирают из некоторой совокупности возможных экспертов по результатам выполнения ими сертификационных тестов. Данный способ целесообразно применять в тех случаях, когда в дальнейшем отобранным экспертам придется многократно решать однотипные и узкоспециализированные задачи.

Основные требования предъявляемые к эксперту: компетентность, деловитость, заинтересованность в участии экспертной комиссии и объективность.

Компетентность экспертов подразделяется на профессиональную и квалиметрическую.

Под профессиональной компетентностью подразумевают знания различных способов проектирования и производства продукции.

Под квалиметрической компетентностью подразумевают обеспечение немного понимания экспертов, принципов и методов оценки качества продукции. Она предполагает знания методов оценки качества продукции и практическое умение пользоваться ими и использовать разные типы оценочных шкал.

Под деловитостью эксперта подразумевают собранность, способность быстро переключаться с оценки одного на оценку другого, контактность, умение работать с людьми в конфликтных ситуациях, оперативность, обоснованность и мотивация.

Наиболее широко в исследовании СУ, как правило, используются экспертные методы. Как научный способ экспертный метод был разработан сравнительно недавно и впервые он получил название "Дельфи". В дальнейшем были разработаны другие аналогичные методы, имеющие в своей основе экспертные оценки. Сначала экспертные методы использовались, в основном, для решения задач, связанных с прогнозированием в области науки и техники, а затем они стали применяться в других областях, в том числе в управлении.

Сущность экспертных методов, как при решении задач исследования СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Наиболее распространенными экспертными методами при классификации по признаку оценки предпочтений в настоящее время при принятии решений по управлению являются следующие:

• метод рангов;
• метод непосредственного оценивания;
• метод сопоставлений.

Последний метод включает две его разновидности:

парного сравнения и последовательного сопоставления.

В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

• организацию экспертного оценивания;
• проведение сбора мнений экспертов;
• обработку результатов мнений экспертов.

Практика показывает, что уменьшение субъективности и соответственно повышение объективности результатов использования экспертных методов существенно зависит от соблюдения правил организации, подготовки и проведения экспертных работ. Особенно это зависит, в первую очередь, от организации экспертного оценивания, назначения ответственного за организацию и проведение работ по экспертной оценке, а также от формирования экспертных комиссий.

Для общего руководства экспертными работами следует назначать председателя экспертной комиссии. В составе комиссии организуют две группы: рабочую и экспертную.

Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие технические работы по подготовке материалов к работе экспертов, отработку результатов работы экспертов и т.п.

В экспертную группу входят эксперты - специалисты по решаемым проблемам.

Формирование экспертной осуществляет руководитель (организатор) рабочей группы. При этом выполняется ряд последовательных мероприятий:

• постановку проблемы и определение области деятельности группы;
• составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;
• анализ качественного состава предварительного списка экспертов и уточнение списка;
• получение согласия эксперта для участия в работе;
• составление окончательного списка экспертной группы.

Количество экспертов в экспертной группе зависит от множества факторов и условий. В частности, от важности решаемой проблемы, располагаемых возможностей и т.п. В большинстве случаев определяется минимально необходимое количество экспертов, что часто становится важнейшим условием установления числа приглашаемых экспертов.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

• оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;
• коллективная оценка кандидата в эксперты как специалиста в данной области;
• самооценка кандидата в эксперты;
• аналитическое определение компетентности кандидатов в эксперты.

Очень часто применяют одновременно несколько способов. Например, способы самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако, следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях таким требованиям как:

• профессиональной компетентности в области проектирования организационных систем;
• креативности (умению решать творческие задачи);
• научной интуицией;
• заинтересованности в объективных результатах экспертной работы;
• деловитости (собранности, умению переключаться с одного вида деятельности на другой, коммуникативности, независимости суждений, мотивированности действий);
• объективности;
• нонконформизма.

Проведение сбора мнений экспертов предполагает решение следующих вопросов:

• определение места и времени сбора мнений;
• определение формы и методики сбора мнений;
• определение количества туров сбора мнений;
• определение состава и содержательной части документации;
• определение порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные, т.е. указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

• анкетирование;
• интервьюирование;
• дискуссия;
• мозговой штурм;
• совещание;
• деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях оргпроектирования каждая их этих разновидностей используются совместно, что дает нередко большой эффект и объективность. Такой подход к сбору мнений экспертов, то есть когда используется смешанная форма, применяется в случаях некоторой неясности проблемы, разногласиях индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

Вместе с тем, наиболее часто в практике проектирования оргсистем используется анкетирование, которое позволяет с меньшими трудозатратами экспертов собрать их мнение, но по времени сбор мнений при использовании этого вида более длительный.

Обычно процесс разработки анкеты включает:

• определение формы и содержания обращения к эксперту;
• выбор типа вопросов;
• формулировку вопросов;
• изложение необходимых для эксперта информации;
• разработку формы анкеты.

Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали, так называемые, веерный, закрытый и открытый типы (веерный - предполагает один ответ из представленного заранее в анкете ряда ответов; закрытый - "да", "нет", "не знаю"; открытый - вопрос, ответ на который может быть дан в произвольно форме).

Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта.

Для ответов на вопросы, то есть для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее наиболее употребляемых при этом методов (рангов, непосредственного оценивания, сопоставлений).

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов СУ. Достоинством метода рангов является его простота. Недостатками являются:

• невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;
• не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования СУ несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, "очень важный", "важный", "маловажный", и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Метод сопоставления осуществляется, как уже указывалось ранее, парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу(что нередко бывает при проектировании СУ) используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации - дисперсионный и энтропийный.

Дисперсионный коэффициент конкордации принимает значения от 0 до 1. При 0 - нет согласованности между мнениями экспертов, при 1 - согласованность полная. Если дисперсионный коэффициент конкордации больше 0,5, то обычно согласованность считается достаточной.

Энтропийный коэффициент конкордации (иначе его называют коэффициентом согласия) также изменяется от 0 до 1 и также при большей величине коэффициента согласия - большая мера согласованности.

В случаях, когда мнения экспертов различаются незначительно, то указанные выше коэффициенты примерно дают одинаковую меру согласованности. Однако, если имеются существенные различия в мнениях экспертов, то величины коэффициентов будут существенно отличаться. Таким образом, совместный анализ коэффициентов позволяет объективно определить меру согласованности мнений экспертов.

Применение всех рассмотренных экспертных методов, несмотря на их недостатки, показывает их эффективность при исследованиях и проектировании СУ. Причем, наибольший эффект достигается при одновременном использовании нескольких методов.

К разновидности экспертного метода можно отнести социологический, который основывается на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной форме - распространением анкет или устно (на конференциях, аукционах, выставках, в учебных заведениях и т.п.). При использовании этого метода также следует применять научно-обоснованные способы опроса, математические принципы сбора и обработки информации.

Обработка экспертных и социологических данных и расчеты мер согласованности требуют трудоемких вычислений. Поэтому следует шире использовать при проведении сбора и обработке результатов экспертной и социологической информации компьютерную технику. Возможности для этого есть, так как автоматизация проведения и обработки результатов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.

И. Acтaшкинa, B. Mишин

Исследование систем управления,

1.4. Пороговые значения определяются на основании мнений групп экспертов.

Достоинство метода – простота и гибкость, так как процедура оценки позволяет анализировать разнородные показатели и в любом количестве.

Однако результаты оценки во многом зависят от квалификации и опыта оценщика. Поэтому определяющим моментом и главной проблемой данного метода является отбор компетентных сотрудников и/или поиск экспертов, которым будет поручена оценка потенциала.

Экспертный метод - это комплекс логических и математико-статистических методов и процедур, связанных с деятельностью экспертов по переработке необходимой для анализа и принятия решений информации.

В практической деятельности по изучению и прогнозированию спроса метод экспертных оценок может быть использован для решения следующих задач: 1) Разработка средне- и долгосрочных прогнозов групповой структуры спроса на товары народного потребления. 2) Прогнозирование внутригрупповой (в развернутом ассортименте) структуры спроса на предстоящий хозяйственный год. 3) Определение групп потенциальных потребителей. 4) Оценка величины неудовлетворенного спроса по группам, видам и разновидностям товаров.

Эксперт – это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

Как сформировать группу экспертов? На самом первом этапе отбора в качестве критериев целесообразно использовать два признака: род занятий и стаж работы по интересующему нас профилю. При необходимости учитываются также уровень, характер образования, возраст. Центральный среди критериев отбора экспертов – их компетентность. Для определения применимы, с той или иной степенью точности, два метода: самооценка экспертов и коллективная оценка авторитетности экспертов.

Наиболее простая и удобная форма самооценки экспертов – совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями “высокий”, “средний” и “низкий”. При этом первой позиции присваивается числовое значение “1”, второй – “0,5”, третий – “0”. В таком случае совокупный индекс – коэффициент уровня компетентности эксперта вычисляется по формуле.

Коэффицент уровня компетентности колеблется в интервале от 0 до 1. Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего 0,5 и выше –1.

Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они иеют представление друг о друге как специалисты. Такая ситуация характерна для учёных, творческих деятелей, политииков, эономистов.

Прогноз. В нём наиболее наглядно проявляется отличие экспертной оценки от информации, получаемой в результате массового опроса. Оно заключается в стремлении к согласованности, единообразию суждений и оценок, высказываемых эспертами. Действительно, взможно ли использовать дя пракических целей, скажем, мнение тидцати экспертов, если они включают 5-7 взаимоисключающих прогностических оценок? Далее достоверность данных в массовом опросе как и некоторых среднестатистических показателей тем выше, чем больше совокупность опрошенных. В принципе прогностическая экспертная оценка осуществима для любых социальных процессов и явлений.

В прикладной социологии разработан ряд приёма опросов экспертов, используемых для получения прогностической оценки. При этом уместно заметить, что некоторые технические и методические приёмы, широко используемые в массовых опросах, теряют свою значимость при опросе такой спецефической аудитории, как эксперты. Как правило, массовые опросы носят анонимный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью. Поэтому нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приёмы, имеющие своей целью выявить “скрытые” позиции респондента. Более того, использование таких приёмов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова – активный участник научного исследования. И попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Основной инструментарий экспертного опроса – анкета или бланк-интервью, разработанные по специальной программе.

В отличие от массового опроса, программа прогнозированного опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее прогнозу явление, предусматривается в виде гипотиз возможные варианты его исхода.

Весьма часто применяется в прикладной социологии и такой метод экспертного прогноза, как “дельфинийская техника”. Он заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.

Оценка степени достоверности результатов массовых опросов. В процессе выработки управленческих решений при помощи социологических исследований зачастую возникает вопрос о достоверности массового исследования и соответственно о правомерности сформулированных на их основе выводов. Словом, речь идёт об оценки компетентности мнений, высказанными респондентами.

Для этого составляется анкета эксперта, включающая в основном закрытые вопросы, по структуре идентичные вопросам, сформулированным в анкете репондента. Задача эксперта – с учётом объективной ситуации и интересующих исследователя факторов всказать по поставленным вопросам непредвзятую, весторонне взвешенную оценку.

Аттестация членов коллектива. В последние годы в практике исследования состояния идейно-воспитательной работы широко применяется такая разновидность метода экспертной оценки, как аттестация. При этом в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия.

ЭТАПЫ:

1. Постановка задачи

2. Технология организации экспертного анализа

3. Формирование экспертной комиссии

4. Организация экспертного опроса

5. Формальные методы описания предпочтений объектов

6. Формальные методы определения предпочтений

7. Математические методы обработки результатов экспертизы

8. Оценка согласованности экспертов

В процессе управления производственной системой непрерывно возникают ситуации, когда руководители различных уровней (от мастера до министра) сталкиваются с необходимостью выбора какого-либо одного из нескольких возможных вариантов действий. Выработка и принятие решения – узловая процедура в деятельности руководителя, которая определяет весь дальнейший ход процесса управления, в особенности конечный результат управленческой деятельности.

Многие факторы, определяющие или влияющие на выбор решения, по своей природе не поддаются количественной характеристике, другие - практически не могут быть измерены. Все это сделало необходимой разработку специальных методов, облегчающих выбор управленческих решений в сложных технических, организационных, экономических задачах (методы исследования операций, экспертные оценки и др.).

1.4. Ранжирование как метод коллективных экспертных оценок . Суть процедуры заключается в следующем: экспертам (специалистам в исследуемой области) предлагается провести ранжирование (расположение явлений в порядке возрастания (убывания) значимости) некоторых явлений (ценообразующих факторов). При этом каждому явлению (фактору) присваивается свой ранг (порядковое место явления (фактора) в общей последовательности факторов). Ранги принято обозначать порядковыми числами натурального ряда (1, 2, 3, 4 ……). При этом ранг 1 присваивается наиболее значимому фактору.

Сумма рангов, проставленных экспертом по всем факторам может быть вычислена по следующей формуле:

ri – ранг, поставленный i-ому фактору;

m – число исследуемых явления (факторов).

Суммы рангов проставленных каждым экспертом должны быть равны. Если же эксперт присваивает двум (трем и так далее) различным явлениям одинаковые ранги, т.е. считает два явления (фактора) равнозначными (связанные ранги), то суммы рангов проставленные каждым экспертом не будут совпадать

что в свою очередь не позволить произвести дальнейшие расчеты.

Для избежания нарушения выше представленного равенства, оценщику, проводящему экспертизу, необходимо произвести пересчет таких рангов, в так называемые стандартизированные ранги. Расчет осуществляется путем деления суммы мест, занимаемых связанными рангами, на их число. Пример расчета представлен в таблице 1.

В итоге мы получаем нормальную ранжировку, для которой выполнено основное условия ранжирования (1).

Далее по каждому явлению подсчитывается сумма рангов, проставленных каждым экспертам. Явлению (фактору), который получил наименьшую сумму рангов, присваивается соответственного ранг 1 и т.д. Если на данном этапе для некоторых явления суммы рангов совпадут, то необходимо снова произвести процедуру стандартизации рангов, но уже по рангам, полученным путем суммирования оценок экспертов. Пример ранжирования представлен в таблице 2. Необходимо отметить, что число экспертов (d) должно быть как минимум на 1 больше, чем число исследуемых факторов (m).

Получение рангов позволяет произвести дальнейшие расчеты весовых коэффициентов для каждого ценообразующего фактора при проведении корректировок в квалиметрических моделях и других методах сравнительного подхода. Однако окончательный вывод о возможности использования коллективного мнения экспертов возможно после определения согласованности мнений экспертов. Проверку согласованности мнений осуществляют с помощью коэффициента конкордации (согласия). Расчет коэффициента осуществляет по следующей формуле:

где,
m – количество оцениваемых факторов;
d – число экспертов;
Ri – сумма рангов по i-ому фактору (явлению);

Чем ближе значение коэффициента к 1, тем выше согласованность. Приемлемость полученных экспертных оценок определяется путем сравнения критерия значимости x2факт=d*(m-1)*W с табличным значением x2табл. при степенях свободы (m-1) и заданной вероятностью (например: Pо = 0,05, P=1-Po). Если полученное расчетным путем значение равно или выше табличного, то коэффициент конкордации существенен и с надежностью 0,95, мнения экспертов согласованны. Табличные значения критерия значимости представлены в таблице 3.

x2факт= 44,016 > x2табл.= 12,59

Таким образом, мнения экспертов, приведенные в нашем примере, достаточно согласованны и могут быть использованы в дальнейших расчетах.

Весовой коэффициент каждому фактору может быть присвоен с помощью следующей формулы:

ri – итоговый ранг фактора.
В нашем примере веса распределились бы следующим образом (таблица 4).

Представленный способ распределения весов не претендует на объективность, и обладает рядом недостатков, в частности: распределение весов основано на ранжирование факторов, что в свою очередь позволяет распределить факторы только с заданным интервалом, т.е. метод дает ответ, что фактор «А» важнее чем «Б», а «Б» важнее чем «С». Однако, согласно этому фактор «А» в два раза важнее чем фактор «С», что может не соответствовать действительности.