Классификация и характеристика экспертных методов. Оценка экспертная: особенности, методы проведения и результат Ход оценивания: характеристика этапов

Методы экспертных оценок в прогнозировании и перспективном планировании научно-технического прогресса применяются в сле-дующих случаях:

а) в условиях отсутствия достаточно представительной и досто-верной статистики характеристики объекта (например, лазеры, голографические запоминающие устройства, рациональное исполь-зование водных ресурсов на предприятиях);

б) в условиях большой неопределенности среды функционирования объекта (например, прогнозов человеко-машинной системы в кос-мосе или учет взаимовлияния областей науки и техники);

в) при средне- и долгосрочном прогнозировании объектов новых отраслей промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках (например, микробио-логическая промышленность, квантовая электроника, атомное машиностроение);

г) в условиях дефицита времени или экстремальных ситуациях.

Экспертная оценка необходима, когда нет надлежащей теоре-тической основы развития объекта. Степень достоверности экспер-тизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими собы-тиями. Существует две категории экспертов - это узкие специали-сты и специалисты широкого профиля, обеспечивающие формули-рование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их репутации среди опреде-ленной категории специалистов. Однако не следует забывать и того обстоятельства, что первоклассный специалист не всегда может достаточно квалифицированно рассмотреть и понять общие, глобальные, вопросы. Для этой цели нужно привлекать экспертов хотя и недостаточно узко информированных, но обладающих спо-собностью к дерзанию и воображению.

«Эксперт» в дословном переводе с латинского языка означает «опытный». Поэтому и в формализованном, и в неформализован-ном способах определения эксперта значительное место занимают профессиональный опыт и развитая на его основе интуиция. Усло-вия необходимости и достаточности отнесения специалиста к кате-гории экспертов вводятся следующим образом.

Важно установить не абсолютную степень надежности эксперт-ной оценки, а степень надежности по сравнению с оценкой среднего специалиста, а также корреляцию между вероятностью его прогноз-ной оценки и надежностью класса тех гипотез, которыми оперирует эксперт. В общем, нужно определить, что такое эксперт. Перечис-лим некоторые требования, которым должен удовлетворять эксперт:

1) оценки эксперта должны быть стабильны во времени и транзи-тивны; 2) наличие дополнительной информации о прогнозируемых признаках лишь улучшает оценку эксперта; 3) эксперт должен быть признанным специалистом в данной области знаний; 4) эксперт должен обладать некоторым опытом успешных прогнозов в дан-ной области знаний.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны в технике измерений как систематические, ошибки второго вида -- как случайные. Эксперт, склонный к ошиб-кам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррек-ции систематических ошибок можно применять поправочные коэф-фициенты или же использовать специально разработанные трени-ровочные игры. Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при выне-сении экспертных суждений, можно добавить к рассмотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, априори определить способность человека делать правильные экспертные оценки невозможно. Важным средством подготовки экспертов являются специальные тренировочные игры.

Организация форм работы эксперта может быть программиро-ванной или непрограммированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или сво-бодное изложение по заданной теме).

Программирование формы работы эксперта предполагает:

построение граф-модели объекта на базе ретроспективного ана-лиза; определение структуры таблиц экспертных оценок (ТЭО) или программы интервью на базе граф-модели объекта и целей экспер-тизы; определение типа и формы вопросов в ТЭО или в интервью;

определение типа шкалы для вопросов в ТЭО; учет психологиче-ских особенностей экспертизы при определении последовательности вопросов в ТЭО; учет верифицирующих вопросов; разработка логи-ческих приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.

Организация стимуляции работы эксперта состоит в разработке:

эвристических приемов и способов, облегчающих поиск прогнозной экспертной оценки; правовых норм, гарантирующих эксперту оформление приоритета и авторства, а также неразглашения всех научно-технических идей, выдвигаемых им в процессе экспертизы;

форм моральной, профессиональной и материальной заинтересо-ванности эксперта в экспертных оценках; организационных форм работы эксперта (включение в план работы и т. п.).

Исходя из полученной в результате анализа модели объекта прогнозирования, определяются научные и технические направле-ния, по которым необходимо привлечь эксперта, выделяются группы экспертов по принадлежности вопроса к области фунда-ментальных, прикладных наук или к стыковым научным направ-лениям.

При решении задачи формирования экспертной группы необхо-димо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выби-рается любой специалист, имеющий несколько публикаций в дан-ной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее крупных их коллег-ученых. Из полученного списка специалистов вычеркиваются 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не добавит новых фамилий к списку экспертов, т. е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнози-руемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.

Определение специфики процедур для методов класса ПЭО (персональных экспертных оценок) осуществляется на основе ана-лиза требований к экспертам и их оценкам, вытекающим из сущно-сти методов:

а) аналитические записки предъявляют требования структуризации экспериментируемой проблемы, экспликации и ранжирования целей, анализа альтернативных путей достижения цели, оценки затрат на каждую альтернативу и рекомендаций по наиболее эффективным способам решения проблем;

б) парные сравнения, нормирование и ранжирование требуют одно-родности оцениваемых признаков, наличия логически обоснованных критериев и эталонов, наличие однозначно определенных процедур оперирования с критериями, эталонами и признаками;

в) интервью предъявляют специфические требования как к экспер-ту, так и к интервьюеру;

г) морфологическая структуризация требует четкого определения функциональных характеристик объекта или проблемы, которые необходимо улучшить, классификации научных принципов, на основе которых возможно улучшение характеристики; анализа все-возможных комбинаций этих принципов и отсева заведомо абсурдных; оценки комбинаций по степени осуществимости и затрат на их реализацию; сравнения комбинаций по комплексному критерию «затраты -- эффективность -- время».

1. Понятие метода экспертных оценок

2. Области применения методов экспертной оценки

3. Этапы организации экспертизы

4. Требования, предъявляемые к экспертам

1. Метод экспертных оценок - метод анализа и обобщения сужде­ний и предположений с помощью экспертов. Данный метод используют, когда рациональные математические методы ма­лоэффективны при решении проблем. Производится интуи­тивно-логический анализ проблемы с последующей количе­ственной оценкой суждений и формальной обработкой ре­зультатов.

Решаемые проблемы могут быть условно разделены:

На проблемы, обеспеченные информацией;

Проблемы, по которым наблюдается недостаток информации. Данные методы особенно эффективны в условиях:

Большой неопределенности среды, в которой функционирует исследуемый объект;

Дефицита времени и в экстремальных ситуациях;

Отсутствия надежной теоретической основы.

2. Методы экспертной оценки применяют при решении следующих задач:

Составления перечня возможных событий в различных облас­тях за определенный промежуток времени;

Определения наиболее вероятных интервалов времени совер­шения совокупности событий;

Определения целей и задач управления с упорядочением их по степени важности;

Определения альтернативных вариантов решения задач с оцен­кой их предпочтительности;

Альтернативного распределения ресурсов для решения задач с оценкой их предпочтительности;

Альтернативных вариантов принятия решений в определенной ситуации с оценкой их предпочтительности.

3. Процесс организации экспертизы может быть разделен на сле­дующие этапы:

составление руководящего документа . В нем указываются ос­новные положения проведения экспертизы:

Задачи по ее выполнению;

Состав и обязанности рабочей группы и группы экспертов;

Ресурсы, необходимые для обеспечения работ, и сроки вы­полнения работ;

подбор рабочей и экспертной групп . Две группы принимают уча­стие в проведении экспертизы:

рабочая группа, которая состоит из организатора, специали­ста -системотехника и технического работника;

. экспертная группа , т. е. группа, мнения экспертов которой станут основой принятия будущих решений;

разработка методики проведения опроса (при необходимости). На данном этапе определяются: место и время проведения оп­роса; задачи; форма проведения; порядок фиксации и сбора результатов; состав необходимых документов. В зависимости от имеющегося времени на проведение экспертизы, сложности рассматриваемой проблемы, участвующих специалистов можно выделить следующие формы проведения опроса:

. индивидуальный - максимально используются способности и знания каждого специалиста;

. групповой (коллективный) - позволяет экспертам обмени­ваться мнениями и на их основе скорректировать свою оценку. Но при данном методе опроса может проявиться сильное влияние авторитетов на специалистов;

. личный (очный) - опрос осуществляется при непосредствен­ном контакте, например интервьюера и эксперта;

. заочный - одним из распространенных примеров данного метода опроса является пересылка анкет. Здесь нет прямого взаимодействия между интервьюером и экспертом;

. устный - например, интервью;

письменный - например, заполнение анкеты;

открытый - процесс опроса и его результаты могут быть изучены другими экспертами;

скрытый - высказанные идеи и решения экспертов являют­ся тайными;

разработка методики обработки данных опроса . Обработка данных опроса экспертов может быть осуществлена 2 способами:

Проверкой согласованности мнений экспертов (или класси­фикацией экспертов, если нет согласованности);

. усреднением мнений экспертов внутри согласованной группы;

оформление результатов работы. Осуществляется анализ ре­зультатов, полученных в результате проведения экспертизы, на основе которого составляется отчет. После обсуждения и ут­верждения полученных результатов итоги проделанной работы предоставляются заказчикам экспертизы.

4. При формировании экспертной и рабочих групп необходимо предъ­являть следующие требования к экспертам:

Выдвигаемые экспертами оценки должны быть стабильными во времени;

При введении дополнительной информации экспертная оценка дол­жна улучшаться, но она не должна принципиально изменяться от первоначально сформулированной оценки;

Эксперт должен быть признанным специалистом в изучаемой области знания;

У эксперта должен быть опыт участия в подобных экспертизах;

Мнения экспертов должны быть устойчивыми. Устойчивость оп­ределяется характером ошибок, которые могут допустить эксперты во время проведения экспертизы. В связи с этим выделяют 2 вида ошибок:

систематические , которые характеризуются устойчивым по­ложительным или отрицательным отклонением от истинного значения;

. случайные , когда выдаваемые значения экспертов характери­зуются большой дисперсией.

Синектика как метод исследования систем управления

1. Понятие «синектика»

2. Особенности метода синектики

3. Этапы проведения метода синектики

4. операторы синектики

1. Синектика (в переводе с греч.) - это сочетание разнородных, а иногда даже несовместных элементов . Метод "синектика" как метод поиска новых решений предложил У. Гордон в США в 1961 г . в своей книге "Синектика: развитие творческого вооб­ражения" с целью увеличения вероятности успеха в процессе постановки и решения задач.

Основная идея данного метода состоит в том, что во время творческой активности при создании особых условий человек вы­двигает неожиданные аналогии и ассоциации относительно ис­следуемой проблемы. Под творческий активностью понимается умственная деятельность в процессе решения проблем, резуль­татом которой является художественное или техническое от­крытие. Другими словами, человек приходит к решению путем включения бессознательных механизмов в процесс сознательного исследования проблем. Идея метода "синектики" как метода исследования систем управления заключается в создании спе­циальной, постоянной "группы синекторов" (5-7 человек) для выявления, постановки и решения проблем, возникающих при функционировании систем управления.

2. Метод синектики имеет следующие особенности:

подход к принятию решения состоит в том, что выдвинутая идея - законченная, целостная мысль, автором которой явля­ется индивид, который ее высказал. Целостная идея может быть принята окружающими или отвергнута, но никто другой не имеет права на ее авторство. Но другие члены группы могут прийти к иной мысли на основе данной идеи, высказывание которой может привести к проявлению в памяти метафор, об­разцов, смутных ощущений, действующих на чувства и интуи­цию человека;

творческая активность синекторов обеспечивается тем, что группа влияет на творческую активность каждого синектора таким образом, что в процессе выдвижения новых идей инди­виды пытаются превзойти самих себя, использовать нестан­дартные подходы принятия решений и взять на себя наиболь­шую часть трудностей;

отбор членов группы осуществляется при учете эмоционального типа индивида, который определяется следующими характери­стиками:

Пытается ли он сразу докопаться до сущности проблемы или же ходит вокруг да около;

Ведет ли он себя пассивно перед лицом неминуемого пора­жения или же настойчиво стремится добиться успеха;

Когда он не прав, связывает ли он это со своими действия­ми или оправдывается, ищет причины вовне;

. может ли он использовать эффективно свою интеллектуаль­ную энергию в трудных ситуациях или опускает руки в са­мый критический момент;

наличие "адвоката дьявола": в связи с тем, что "группа синек-торов" складывается из профессионалов различных областей знаний с целью исследования проблемы с различных точек зрения, она не может знать все. Поэтому в зависимости от ха­рактера исследуемой проблемы в ее состав входит "адвокат дья­вола"-эксперт в области исследуемой проблемы. К его функциям относится:

Перевод специфической терминологии своей области знаний в общедоступную;

. перевод выдвинутых идей в терминологию своей специ­альности;

. раскрытие и отклонение слабых сторон предложенных по­дходов;

Раскрытие особенностей его области знаний перед группой;

реализация выдвинутых идей: идеи, выдвинутые синекторами в процессе исследования проблемы, должны быть практически реализованы. Синекторы также участвуют в процессе реализа­ции выдвинутых ими идей.

3. Метод синектики состоит из следующих этапов:

Постановка задачи;

Перевод задачи, "как она поставлена", в задачу, "как она пони­мается";

Выявление вопроса, вызывающего аналогии;

Работа по поиску аналогий;

использование аналогий, среди которых:

Прямая аналогия;

. символическая аналогия;

. личностная аналогия;

. фантастическая аналогия;

Поиск возможностей перевода найденных аналогий и образов в предложения по решению поставленной задачи.

4. Операторы синектики - конкретные психологические факторы, которые способствуют творческому процессу, они предназначе­ны для активизации вовлеченности, эмпатии, игры и т. д.

Синектика состоит из двух основных процессов:

превращение неизвестного в известное: решение каждой про­блемы начинается с ее понимания, т. е. происходит сведение новой проблемы к уже известной с целью уменьшения ее угро­зы для человека (каждая новая вещь угрожает человеку в силу его консерватизма). Первоначально объяснение новой пробле­мы дается в рамках привычной модели;

превращение известного в неизвестное: известное переосмысли­вается, искажается в зависимости от новой проблемы. В по­вседневной нашей жизни одни и те же предметы неодинаково представляются разным людям. Превращение известного в неиз­вестное осуществляется при помощи 4 механизмов:

личной аналогии - личная идентификация исследователя с элементами проблемы, для которой необходимо исследова­телю обладать творческим воображением и искусством ис­следовательской деятельности. Такая аналогия помогает увидеть неизвестные ранее аспекты проблемы;

прямой аналогии - перенос параметров сравнения с одного объекта на другой из параллельно существующих областей знаний, технологий. Прямая аналогия требует от исследователя наличия образования, многостороннего знания, разно-профильной подготовки;

символической аналогии - основана на описании проблемы при помощи использования объективных и неличных обра­зов, т. е. суть проблемы или ее решение описывается краткой метафорой, которая, с одной стороны, является характери­стикой проблемы, а с другой - противоречием. Например, выставка - организованная случайность; прохладительный напиток - прозрачный призрак; книга - немой собеседник;

фантастической аналогии - использует свободу при исполь­зовании символов. При помощи использования фантастиче­ской аналогии исследователь может увидеть неожиданное решение проблемы, которое не может быть найдено в ре­альном мире в силу существования противоречащих объек­тивных законов.

Метод "Дельфи"

1. Определение понятия метода «Дельфи»

2. Этапы проведения метода «Дельфи»

3. Достоинства метода «Дельфи»

1. Метод "Дельфи" - один из методов экспертных оценок, при помощи которого осуществляется быстрый поиск решений, сре­ди которых выбирается наилучшее . Другое его название - "дельфийский оракул", которое он получил в Древней Греции. Данный метод был разработан О. Хельмером и его коллегами, первоначально он был создан с целью научно-технического прогнозирования будущего. В основе его лежит принцип по­вышения уровня достоверности информации, получаемой от группы экспертов, т. е. коллективных экспертных оценок.

Экспертные методы используются при решении прогностических, аналитических и проектных задач, свя­занных с неформализуемостью и отсутствием определен­ности в представлениях об организационно-экономиче­ских объектах. Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обра­боткой результатов. Особенности метода экспертных оце­нок: необходимость научно обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.

Экспертный метод может использоваться при опреде­лении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.

1-й этап использования данного метода - формиро­вание группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу.

Компетентность (степень квалификации в опреде­ленной области знаний);

Креативность (способность решать творческие за­дачи);

Аналитичность и широта мышления; конструктив­ность (способность формировать конкретные предложе­ния);

Самокритичность эксперта; отношение к экспертизе.

Для формирования экспертных групп могут исполь­зоваться способ тестирования, документационный и дру­гие методы.

Способ тестирования состоит в том, что на основе раз­работанных тестов проходят обследование возможные кан­дидаты, и по результатам ответов формируется группа.

Документационный способ - отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая сте­пень, количество публикаций и др.).

Способ назначения - определение руководителем группы экспертов из числа сотрудников. Главный недо­статок способа: мнение сотрудников может быть согла­сованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект шко­лы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.

2-й этап применения экспертного метода - проведе­ние экспертизы. Данный этап начинается с выбора спо­соба опроса экспертов. Различают индивидуальный, груп­повой и дельфийский способы.

При индивидуальном способе от каждого эксперта по­средством анкетирования или интервьюирования получа­ют оценки, не зависимые от мнения других. Затем после их обобщения и обработки определяют общую, резуль­тирующую оценку. Индивидуальную экспертизу рацио­нально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важней­шими качествами экспертами выступают его компетент­ность и конструктивность.

Групповой способ предусматривает получение суммар­ной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование це­лесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т.е. при необходимости получения творческого решения. Группо­вой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».

Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты незави­симо друг от друга высказывают свое мнение в письмен­ной форме. Важнейшая составляющая метода - тщатель­но разработанные программы анкетирования, осущест­вляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулирован­ные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каким пунктам имеется еди­ное мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким об­разом, область расхождения мнений сужается и выраба­тывается общее решение. Достоинство дельфийского ме­тода - он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания сво­его мнения, влияния авторитета.

3 -й этап экспертных методов - обработка результатов опроса. Для обеспечения возможности формальной об­работки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (раз­личные шкалы наименований (классификации), поряд­ков, интервалов, отношений, разностей).

Шкала наименований используется для описания при­надлежности объекта к определенным классам. Шкала порядка - для измерения упорядочения объектов по од­ному или ряду признаков (шкала рангов). Шкала интер­валов - для отображения величины различий между свойствами объектов. Шкала отношений - для отраже­ния отношения свойств объектов, например, их весомости. Шкала разностей - при необходимости определить, на сколько один объект превосходит другой по одному или нескольким признакам.

Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.

При обработке результатов экспертизы важное значе­ние имеет выбор метода измерения. Наиболее употреби­тельные методы: ранжирование, парное сравнение, не­посредственная оценка, последовательное сравнение.

Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, форму­лировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?) Полученные формулировки должны достаточно полно отражать важ­нейшее их содержание, т.е. обладать значительной емко­стью; формулирование должно происходить таким обра­зом, чтобы исключить разночтение.

Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: форми­рование экспертной комиссии, организация и проведение экспертиз на основе использования современных мето­дов, использование многокритериальных оценок при ин­терпретации результатов.

25. ЭВРИСТИЧЕСКИЕ МЕТОДЫ

Эвристические методы основаны на логике, инту­иции и опыте лиц, принимающих решение (ЛПР). Данные методы позволяют «уловить» и использовать эти процес­сы при разработке альтернатив. В зависимости от исполь­зуемого подхода эвристические методы подразделяются на формально-эвристические и неформально-эвристи­ческие.

Основа формально-эвристических методов - форма­лизация приемов решения сложных задач человеком пу­тем моделирования его мыслительных процессов. Вклю­чают метод эволюционного моделирования, лабиринтные методы и др.

Эволюционное моделирование предполагает наличие исходного опыта по процессу принятия УР. Этот опыт­ный, информационный материал необходим, чтобы за­пустить модель эволюции. На основе имеющегося опыта разрабатывается несколько вариантов решения, позволя­ющих подойти к ликвидации проблемы и достижению цели решения с разных позиций. Каждый вариант иссле­дуется на основе заранее определенных критериев. В режиме испытаний исходное, опорное решение («родительское») изменяется случайным образом, в результате чего производится «потомок» (генерированная идея). Если «по­томок» хуже «родителя», он отбрасывается, и путем оче­редной мутации рождается новый «потомок». Если же «потомок» лучше, то отбрасывается «родитель», а «пото­мок» занимает его место, и процедура повторяется вновь. Основное достоинство данного метода: возможность ис­пользования вычислительной техники, что позволяет про­водить поиск довольно быстро. Однако нельзя получить выдающегося, нестандартного, творческого решения.

Лабиринтные методы основаны на пошаговом поиске с последующей оценкой возможного продолжения пути ликвидации проблемы. Если направление «тупиковое» происходит возврат в исходную точку, и процесс повто­ряется вновь, пока не будет найден путь дальнейшего перемещения.

Концептуальное моделирование основано на сборе исходной информации при анализе ситуации и постро­ении структурной модели, позволяющей вычленять на­иболее важные элементы отношений. Основное средсию для достижения цели - метод структуризации, базиру­ющийся на принципе декомпозиции (разъединении).

В основе неформально-эвристических методов лежит управление интеллектуальной деятельностью человека. Необходимость такого управления обусловлена особен­ностями его мышления (неформальность, способность к обобщениям, к ориентации в неопределенной ситуа­ции, склонность к рассеиванию и к потере информации). Для усиления первых трех свойств и нейтрализации двух последних используется психоинтеллектуальная генера­ция идей.

Процесс решения сложных задач с использованием генерации идей осуществляется в виде целенаправленной, управляемой беседы-дискуссии двух непосредственных участников: ведущего и решающего. Ведущий ставит пе­ред решающим вопросы, на которые решающий должен высказать свои суждения. Вокруг этих суждений завязы­вается дискуссия. В помощь ведущему могут быть выделены оппоненты и эксперты. Задача оппонентов - кри­тика суждений решающего и вовлечение его в дискуссию. Задача экспертов - помочь ведущему оценить суж­дения и наметить последствия дальнейшего обсуждения. Несколько возможных схем организации сеансов генера­ции идей:

По числу ведущих: полиуправление (несколько ве­дущих), моноуправление (один ведущий), автогенерация (отсутствие ведущего);

По числу решающих: односторонние схемы (один решающий), многосторонние схемы (много решающих);

По виду контакта: с непосредственным контактом (в одном помещении), с опосредованным контактом (че­рез технические средства).

Условия для обеспечения целенаправленности гене­рации идей:

Необходимо обеспечить психологический комфорт (создание удобства рабочего места, приподнятого настро­ения и чувства раскованности решающего);

Обеспечить структуризацию процесса поиска реше­ния (разработать психоэвристическую программу, содер­жащую перечень обсуждаемых вопросов, цели дискуссии и рекомендации);

Создать системы информационного и технического обеспечения.

В результате генерации должен быть получен набор данных, составляющих основной информационный мас­сив или поле возможных решений.

На концепции психоинтеллектуальной генерации идей базируется целый ряд метод психологической акти­визации. Выбор способа генерации производится в зави­симости от характера задачи. При решении неотложных вопросов наилучшими методами могут являться прямая мозговая атака или деловые игры. В изобретательском творчестве - разновидности мозговой атаки и синектические методы. В задачах прогностики - анкетные мето­ды, морфологический анализ и др.

Метод номинальной групповой техники построен на принципе ограничений межличностных коммуникаций, поэтому все члены группы, собравшиеся для разработки решения, на начальном этапе излагают свои предложе­ния в письменном виде самостоятельно, независимо от других. Затем каждый участник докладывает суть своего проекта, представленные варианты рассматриваются чле­нами группы (без обсуждения и критики), и только после этого каждый член группы независимо от других в пись­менной форме представляет ранжирование рассмотрен­ных идей. Предложения, получившие наивысшую оцен­ку, принимаются за основу решения. Особенность дан­ного метода и его достоинство - несмотря на совместную работу членов группы, не происходит ограничения инди­видуального мышления.

Методика атаки разносом может быть применена для обнаружения недочетов, ошибочных заключений и выводов в исследовании, находящемся на стадии завер­шения. В заседании принимают участие до 50 человек, которые заранее ознакомлены с рабочим документом, являющимся предметом обсуждения. Все участники вы­ступают по очереди. Задачей каждого выступающего яв­ляется обнаружение возможно большего числа недостат­ков работы. О достоинствах работы и путях ликвидации недостатков не упоминают. Время одного выступления 1-3 мин., запрещается повторять недостатки, отмечен­ные другими участниками. Иногда целесообразно прово­дить обсуждение в два круга, предоставляя возможность повторного выступления желающим, уточнить свои заме­чания.

Атака разносом является действующим средством не­гативного анализа. Поэтому авторам обсуждаемого доку­мента не следует присутствовать на обсуждении. Орга­низация атаки разносом аналогична прямой мозговой атаке.

Синектические методы базируются на методе мозго­вого штурма, проводимого специальной группой специ­алистов, отличающихся гибкостью мышления, широким кругозором. Такие группы, накапливая приемы и опыт работы, добиваются положительных результатов при на­хождении новых технических решений.

Синектика - это метод прогнозирования по аналогии, перенесения выводов относительно некоторых признаков с одного предмета на другой. На первом этапе руководи­тель ставит задачу, отвечает на вопросы членов группы. На втором этапе каждый из участников предлагает свои идеи, пытаясь взглянуть на проблемы с различных точек зрения, таким образом, преодолевая «психологическую инерцию». Руководитель выбирает одну из них и фор­мирует ее сущность (ключевые представления). На треть­ем _ участники ведут поиск аналогий к ключевому пред­ставлению, используя известные факты из других областей знаний. На четвертом - руководитель пытается приме­нить некоторые из аналогий и представлений, предло­женных членами группы, к поставленной задаче. Далее осуществляется экспертная оценка выбранного направ­ления, и при положительном заключении работа продол­жается до принятия решения.

Морфологические методы при разработке альтерна­тив _ это подход к установлению типичных логических связей и взаимообусловленности. Чаще всего данная груп­па методов применяется при выявлении возможных ва­риантов технических, экономических, организационных решений.

Строится морфологическая таблица. Весь процесс разработки вариантов решения в таблице представляется в области трех полей. Первое поле - информационное служит для обозначения всех операций сбора, предвари­тельной обработки, хранения и передачи информации. В аналитическом поле представляются операции, свя­занные с анализом информации и выбором альтернатив. В целевом - формируются выводы, целевые установки, ограничения и требования к решению. Прослеживаются все операции, протекающие в процессе разработки и принятия решения.

На практике ни один из методов не применяется изо­лированно от других, получение эффективного решения возможно лишь путем целесообразного их сочетания.

В квалиметрии экспертный метод применяется:

1) для измерения показателей качества;

2) для определения зна­чений весовых коэффициентов.

Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.

Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;

в работе экспертной комиссии не должно присутствовать. Факторов, которые могли бы влиять на искренность суждений экспертов; мнения экспертов должны быть независимыми;

вопросы, поставленные перед экспертами, не должны допускать различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Качественный состав экспертной комиссии - важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым - инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.

При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.

Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. Порядок и правила дальнейших действий рассмотрены в гл. 2. В частности, однократное измерение экспертным методом требует использования большого объема априорной информации. При визуальной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей качества- его художественный вкус и т. д. Многократное измерение одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с последующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспертами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в качестве случайных и нивелируются при усреднении по множеству. Отсчет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу "трех сигм" легко обнаруживаются и устраняются ошибочные. Если отсчет подчиняется нормальному закону распределения вероятности, то его среднее арифметическое при количестве экспертов п > 30 ... 40 тоже подчиняется нормальному закону, а при меньшем их числе - закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показателя качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по графикам, приведенным на рис. 38.

При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.

где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п - число экспертов; m - число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Пример 75. Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.

Решение.1. Среднее арифметическое рангов

2. Используя результаты промежуточных вычислении, приведенные в табл.45, получаем S= 630.

3. Коэффициент конкордации

Степень согласованности мнений экспертов можно считать удовлет­ворительной.

Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы*. Характерными чертами ого метода являются:

анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;

многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения;

контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.

* Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов ("дельфийский оракул"), славившийся своими предсказаниями.

Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (11). Чтобы воспользоваться им для определения численности экспертной группы n, обеспечивающей заданную точность измерения, нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение , не зависящие от n. Тогда по графику на рис. 159, отражающему зависимость (11), можно найти число экспертов n, при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15 ... 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период не определено, то достижение требуемой точности за счет расширения экспертной группы достигается уже в процессе измерения экспертным методом так, как это показано на рис. 39.

В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором разли­чия между средними арифметическими и оценками дисперсий результатов измерений при n и n + 1 экспертах перестают быть значимыми. Эти условия проверяются по алгоритмам, приведенным на рис. 41 и 43.

По тому, в какой форме эксперты выражают свое мнение, т.е. по способу проведения экспертизы, различают:

непосредственное измерение;

ранжирование;

сопоставление.

При непосредственных измерениях экспертным методом значения физических величин или показателей качества оп­ределяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива и т.д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале порядка. Значения этих коэффициентов рассчитываются по формуле

где п - количество экспертов; m - число “взвешиваемых” показателей; - коэффициент весомости j -го показателя в баллах, данный i -м экспертом.

По реперным шкалам порядка измеряется в баллах сила морского волнения, сила землетрясений и т.п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае из соотношения баллов нельзя делать каких-либо количественных выводов.

Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования.

Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.

Пример ранжирования пятью экспертами семи объектов экспертизы приведен в табл. 45. Если это, допустим, художественные произведения, то результат измерения их качества по шкале порядка таков:

лучшим является седьмое, вторым по качеству - четвертое, затем - шестое, первое, второе, третье и пятое. Если же ранжирование прово­дилось с целью определения весовых коэффициентов g i для семи пока­зателей качества, то они рассчитываются по формуле (53), в которой - ранг j - го показателя, установленный i -м экспертом, В примере 75

Сопоставление бывает последовательным и попарным. Последовательное сопоставление каждого. Объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы. Порядок последовательного сопоставления следующий.

1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирование).

2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный 1; всем остальным в порядке уменьшения их относительной значимости - баллы или весовые коэффициенты 1 до 0.

3. Сопоставляется первый объект с совокупностью всех остальных. Если, по мнению эксперта, он предпочтительнее, чем совокупность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону увеличения с таким расчетом, чтобы он стал больше (иногда определяют и на сколько больше) суммы баллов или весовых коэффициентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.

4. Сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом. По установленному выше правилу корректируется результат его измерения или значение весового коэффициента (при этом нужно следить, чтобы не нарушилось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе). Такая процедура сопоставлений и корректировок продолжается вплоть до предпоследнего объекта.

5. Полученные результаты измерений или весовые коэффициенты нормируют, т.е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Попарное сопоставление самое простое и наиболее оправданное с психологической точки зрения, рассмотрено в примерах 21 и 22. Как можно заметить, табл. 17 и 18 являются избыточными. При попарном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается указанием номера предпочтительного объекта так, как это показано в табл.46.

Балл j - го объекта или весомость j - го показателя рассчитываются по формуле (53). В данном случае

где - частота предпочтения i - м экспертом j - го объекта экспертизы; С - общее число суждений одного эксперта, свя­занное с числом объектов экспертизы m (числом измеряемых показателей или коэффициентов весомости) соотношением

Пример 76. Предположим для простоты, что пять экспертов, выра­зили свое мнение о шести объектах экспертизы одинаково: так как это представлено в табл. 46. Определить весомость каждого объекта и 1 построить ранжированный ряд.

Решение 1. Частоты предпочтений

Поэтому полученные в п.3 значения G j можно рассматривать уже как нормированные и, в частности, использовать как весовые коэффициенты.

5. Ранжированный ряд объектов экспертизы имеет вид: № 3; № 1;№2; №6; №5; №4.

Опыт попарного сопоставления по табл. 46 показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту в очередной рассматриваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть таблицы и проводят попарное сопоставление дважды (например, сначала первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым, ... и так до последнего, а потом в обратном порядке: последнего с предпоследним, и до первого; предпоследнего с последним, предыдущим... и вновь до первого). Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении, называемым полным или двойным, удается иногда избежать случайных ошибок и, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное. Порядок расчетов при нем остается прежним, за исключением того, что С = т (т-1).

Уточнить результаты измерений или значения весовых коэффициентов, полученные попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты (см. п. 3 примера 76) рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j (1) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (2) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике всегда выполняются, этот процесс сходится, т.е. нормированные результаты измерений g j или весовые коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных.

Пример 77 . Результаты полного попарного сопоставления одним экспертом пяти объектов экспертизы представлены табл. 47, подобной табл. 18, с той лишь разницей, что с целью исключения из рассмот­рения отрицательных чисел предпочтение j -го объекта перед i -м обозначено цифрой 2, равноценность- цифрой 1, а предпочтение i - го объекта перед j - м - цифрой 0.

Что можно сказать о результате измерения в третьем приближении? Решение.

1. В первом приближении

G 1 (1) = 1+2+2+1+2= 8;

G 2 (1) = 0+1+2+2+2= 7;

G 3 (1) = 0+0+1+0+0= 1;

G 4 (1) = 1+0+2+1+2= 6;

G 5 (1) = 0+0+2+0+1= 3.

2. Во втором приближении

G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;

G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;

G 3 (2) = 8 * 0+7 * 0+1 * 1+6 * 0+3 * 0= 1;

G 4 (2) = 8 * 1+7 * 0+1 * 2+6 * 1+3 * 2= 22;

G 5 (2) = 8 * 0+7 * 0+1 * 2+6 * 0+3 * 1= 5.

3. В третьем приближении

G 1 (3) = 36 * 1+27 * 2+1 * 2+22 * 1+5 * 2= 124;

G 2 (3) = 36 * 0+27 * 1+1 * 2+22 * 2 +5 * 2 = 83;

G 3 (3) = 36 * 0+27 * 0+1 *1+22 * 0+5 * 0 = 1;

G 4 (3) = 36 * 1+27 *0+1 * 2+22 * 1+5 * 2 = 70;

G 5 (3) = 36* 0+27* 0+1* 2+22 * 0+5 *1 = 7.

4. Значения g j , приведенные в табл. 47, заметно отличаются в первом и третьем приближении. С каждым следующим приближением они будут уточняться. В ходе уточнения все более подчеркивается предпочтительность первого объекта экспертизы и низкая значимость третьего (в меньшей мере- пятого).

5. Если экспертов несколько, то окончательные результаты должны быть получены путем усреднения их данных.

Метод последовательного приближения позволяет получить строгие количественные результаты измерения по шкале отношений, если известно (или определено экспертным ме­тодом), во сколько раз вес или показатель лучшего из объектов экспертизы превосходит вес или такой же показатель худшего объекта. В таком случае через это отношение, а предпочтение j - го объекта экспертизы перед i - м выражается числом 1 + , равноценность - единицей, а предпочтение i - го объекта перед j - м - числом 1 - , где

После этого попарное сопоставление производится методом последовательного приближения. Процесс уточнения значений g j продолжается до тех пор, пока точность не достигнет заданной. Так как с каждым приближением изменение g j становится все меньшим и меньшим, это условие можно записать в виде , где обычно принимается = 0,001, если 1 < <=1,5, и =0,01, если >5. При промежуточных значениях выбираются и промежуточные значения .

После окончания расчетов фактическое отношение значений крайних членов ранжированного ряда Ф сравнивается с исходным . Если отношение близко к единице, задача считается решенной. В противном случае корректируется и расчет повторяется.

Пример 78 . Лучший объект из шести по сравниваемому показателю превосходит худший в 2,4 раза. Следовательно,

Мнения эксперта об объектах представлены табл. 48.

Перейти к исходным данным для вычисления весовых коэффициентов с точностью не ниже 0,5 %.

6. Таким образом, исходные данные вычисления весовых коэффициентов с требуемой точностью имеют вид, представленный табл. 49.

Опрос экспертов может быть очным и заочным, групповым и индивидуальным, персонифицированным и анонимным. Свои мнения эксперты могут выражать в письменной (путем заполнения таблиц, анкет) или в устной форме (давая интервью, участвуя в дискуссии). Все эти и любые другие варианты экспертного опроса имеют свои достоинства и недостатки, поэтому выбор того или иного из них осуществляется в зависимости от конкретных условий и обстоятельств.

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, и лишь после этого ее можно рассматривать как решение поставленной задачи.

Маркетинговые явления и процессы в большинстве своем относятся к слабоструктурированным системам, которые невозможно однозначно описать и формализованно исследовать. При анализе и прогнозировании такого рода систем не обойтись без использования экспертов. Именно тут как нигде необходимы их глубокие в данной предметной области знания и одновременно интуиция, основанная на опыте. Большое значение имеет и эрудиция, т.е. широкие межпредметные знания экспертов.

Экспертные методы анализа и прогнозирования могут быть как неформализованными, творческими, поскольку процедуры анализа не имеют четких алгоритмов и часто сам эксперт не может “разложить их по полочкам”, так и “мягкоформализованными”, основанными на гибких алгоритмах.

Разумеется, экспертиза может быть реализована самим маркетологом-аналитиком при наличии достаточных знаний, но часто ответственность задачи или ее специфика требуют использования независимого мнения, а иногда и нескольких, что может быть достигнуто только привлечением сторонних экспертов. Во втором случае возникает необходимость решения следующих проблем:

• отбор квалифицированных экспертов;
• выбор эффективного способа взаимодействия исследовательской группы с экспертами, а при групповой экспертизе – экспертов между собой;
• определение метода обработки и интерпретации информации, полученной от экспертов.

Выбор экспертов

Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос “Кто может выступать в качестве эксперта по данной проблеме?”), во-вторых, определить процедуры отбора (ответить на вопрос “Как установить соответствие эксперта необходимым требованиям?”). В качестве основных критериев отбора можно назвать следующие:

1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:
   • уровень и профиль образования,
   • профиль работы (связь с данной предметной областью),
   • опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области),
   • уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы),
   • количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.
2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).
3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:
   • коммуникативные навыки,
   • способность к совместному творчеству,
   • гибкость ума и “незашоренность” взгляда,
   • нонконформизм.

При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:

1. Самооценка экспертов по объективным параметрам.
2. Взаимная оценка экспертов.
3. Оценка экспертов независимыми специалистами.
4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.

Организация взаимодействия экспертов

Организация взаимодействия экспертов с исследователями зависит от выбранного метода сбора экспертной информации. Методы экспертизы в этом контексте могут быть классифицированы следующим образом:

• индивидуальные методы экспертизы,
• групповые методы экспертизы.

Экспертные методы, относящиеся к первой группе, предполагают индивидуальную работу исследователей с каждым из привлеченных экспертов. При этом может быть задействован и один эксперт, если его квалификации достаточно для снятия информационной неопределенности по проблеме, однако обычно привлекают несколько экспертов для повышения надежности экспертизы.

Индивидуальность заключается в том, что эксперты не собираются вместе, не знакомятся с оценками других экспертов, разных экспертов могут опрашивать относительно разных аспектов одной проблемы, также могут быть различны и процедуры опроса разных экспертов. Чаще всего при индивидуальном экспертном опросе используются следующие методы:

1. Стандартизированный экспертный опрос. Данный метод требует от исследовательской команды предварительного четкого структурирования проблемы и определения перечня всех вопросов, на которые должны быть получены однозначные ответы. Для реализации опроса разрабатывается стандартизированная анкета с вопросами закрытого типа (с предложением вариантов ответа). Анкетирование может проводиться как при личной беседе интервьюера с экспертом, так и путем “самозаполнения”. В этом случае присутствие интервьюера необязательно, анкета может быть отправлена по обычной или электронной почте, однако требуется заключение предварительной договоренности с экспертом об опросе. Метод предполагает высокую квалификацию специалистов-исследователей на этапе постановки задачи и планирования исследования, однако весьма прост в части организации и проведения опроса, а также в части обработки полученной информации. Требования к анкетам (структура, формулировка вопросов и вариантов ответов) достаточно стандартны и аналогичны требованиям, предъявляемым к опросам неэкспертного уровня. Одно из основных требований – использование общепринятого профессионального языка, однозначность трактовки используемых терминов.
2. Нестандартизированный экспертный опрос. Метод представляет собой личное интервью с экспертом по определенной проблеме. Степень формализации интервью может быть различной. Низкий уровень формализации опроса – неформальная беседа, для которой определяется только тема, а далее эксперт сам решает, как ее освещать (интервьюер при этом задает уточняющие или наводящие вопросы). Высокий уровень формализации предполагает разработку четко структурированного опросника с вопросами открытого типа. Данный метод по сравнению с предыдущим более сложен как на этапе проведения опроса (требует высокой квалификации интервьюера), так и на этапе интерпретации полученной информации и требует высокой квалификации исследователя.
3. Метод “индивидуального блокнота”. Метод представляет собой заочную работу эксперта без непосредственного общения с исследователями. Эксперт получает блокнот, на первой странице которого описана проблема, и затем в течение оговоренного периода времени (определяемого сложностью проблемы и срочностью ее решения) заносит в этот блокнот все свои мысли, идеи, замечания, касающиеся поставленной задачи, после чего сдает блокнот исследователям. Существенную сложность представляет последующая обработка информации и ее интерпретация. Метод требует значительного вовлечения эксперта и, следовательно, предполагает высокий уровень оплаты его труда.

В отличие от индивидуальных групповые методы предполагают коллективную работу экспертов (очную или заочную), они требуют согласования мнений всех экспертов и разработку общего экспертного вывода на основе консенсуса. Групповые методы предпочтительнее с точки зрения повышения надежности экспертизы, однако они весьма сложны по подготовке и проведению. Требуются высококвалифицированные специалисты для разработки процедуры группового взаимодействия. Далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям.

Групповые методы формирования экспертизы в зависимости от характера и направленности обсуждения подразделяют на аналитические и креативные. Аналитические методы нацелены преимущественно на исследование характеристик изучаемого объекта. Креативные имеют своей целью коллективную генерацию идей или выработку решения проблемы. Соответствующим образом классифицируют и экспертные группы:

• обсуждающие группы (основная цель работы аналитическая),
• созидательные группы (основная цель креативная).

Групповые методы формирования экспертизы весьма разнообразны, опишем основные из них:

Метод номинальных групп. Метод представляет собой некую переходную разновидность от индивидуального опроса к групповому. При реализации этого метода сначала производится индивидуальный опрос одних экспертов, а затем результаты данных интервью так же автономно и независимо друг от друга обсуждаются другими экспертами. Эксперты могут выразить согласие или несогласие с ранее прозвучавшими мнениями, необходимо, чтобы критика или выражение солидарности были четко аргументированы.

Мозговой штурм. Метод представляет собой совместное очное обсуждение проблемы группой экспертов. Метод реализуется в два этапа. Первый этап носит название “конференции идей”, его длительность составляет примерно 1-1,5 часа. В ходе этого этапа эксперты выдвигают различные идеи, касающиеся трактовки анализируемой ситуации и или прогноза развития явления. Идеи протоколируются, но не обсуждаются, не критикуются. При этом идеи могут быть самыми разными, в том числе и “бредовыми”. Главенствует принцип: чем больше идей, тем лучше. После перерыва, на втором этапе, идеи обсуждаются, оцениваются, и выбираются те из них, которые признаются наиболее верными. Окончательный вердикт по проблеме может быть принят путем явного или неявного голосования. Процедуры генерации и обсуждения идей могут быть в большей ими меньшей степени формализованы.

Метод “635”. Метод представляет собой достаточно формализованную вариацию метода мозгового штурма. Этот метод подразумевает следующую регламентацию работы экспертной команды: в группу входят 6 человек, каждый из которых в течение 5 минут должен выдвинуть три предложения или высказать три гипотезы по поводу некоторого аспекта решаемой задачи или анализируемой ситуации. Идеи каждого эксперта заносятся в специальные формуляры, которые передаются по кругу. После того как были рассмотрены все аспекты поставленной задачи и все эксперты получили возможность высказаться, происходит обсуждение и оценка решений и выбор наиболее верного.

Критическая атака (“разносная” атака) . Метод также представляет собой вариацию метода мозгового штурма, принципиальное отличие – в критической направленности обсуждения. Реализация метода включает несколько этапов. На первом этапе каждый участник экспертной группы предлагает свое решение поставленной задачи (свою интерпретацию при анализе ситуации) или свою версию развития событий (при прогнозе). Решение должно предлагаться с подробной аргументацией. Далее каждый эксперт должен ознакомиться с мнениями своих коллег и найти и аргументировать в предлагаемых решениях максимально возможное число слабостей. На следующем этапе эксперты собираются вместе и по очереди обсуждают все выдвинутые решения. Задача каждого автора – отстоять свою версию решения, задача оппонентов – “разнести ее в пух и прах”. По итогам дискуссии эксперты выбирают то решение, которое вызвало меньше всего нареканий и было наиболее обоснованным.

Экспертное фокусирование . Метод представляет собой одну из форм совместного очного обсуждения проблемы. Эксперты всесторонне рассматривают исследуемую ситуацию, “фокусируются” на ней. Основная цель – выявить структуру данной проблемы, определить по возможности все факторы, определяющие данную ситуацию, установить взаимосвязи между ними. Обсуждение носит более деловой характер, чем при классической версии мозгового штурма, то есть проходит без излишнего “бреда”.

Метод комиссий. Метод также заключается в совместном обсуждении проблемы. Основное отличие от фокусирования – стремление выяснить, в чем состоит противоречие между разными вариантами предлагаемых решений, найти максимальное число “точек согласия” и прийти к консенсусу.

Метод интеграции решений . Метод в своей основе аналогичен методу комиссий, однако в большей степени формализован. Метод заключается в выработке совместного решения проблемы на основе выявления сильных сторон отдельных решений и их объединения. Метод реализуется в несколько этапов. На первом этапе экспертам предлагается задача, и они рассматривают и решают ее независимо друг от друга. Затем в заранее подготовленный формуляр эксперты заносят свои индивидуальные решения, т.е. трактовку анализируемой ситуации или прогноз развития событий. На следующем этапе эксперты совместно обсуждают задачу и все предложенные решения с целью выявить сильные стороны каждого отдельного решения, которые также фиксируются в формуляре. При представлении индивидуальных решений возможны вариации – либо каждое решение презентуется автором и подробно аргументируется, либо соблюдается анонимность решений, чтобы избежать давления авторитетов. После того как обсуждены все решения и определены сильные стороны каждого из них, вырабатывается синтезированное решение на основе комбинирования преимуществ отдельных решений.

Деловая игра . Метод может быть реализован в разных формах. Наиболее распространенная форма – моделирование анализируемых процессов и/или будущего развития прогнозируемого явления в разных вариантах и рассмотрение полученных данных. Разработка процедуры проведения деловой игры – достаточно сложная задача, и ей должно быть уделено серьезное внимание. Должны быть четко определены и формально описаны следующие элементы игры: цели и задачи, роли участников, сюжет и регламент. Важным этапом любой деловой игры является рефлексия – разбор хода игры и подведение итогов. В данном случае рефлексия заключается не только в анализе самого игрового процесса, но и в анализе результатов моделирования исследуемого явления.

Метод “суда”. Метод представляет собой одну из разновидностей деловых игр. Обсуждение поставленной задачи реализуется в виде судебного процесса: моделируется “процесс над проблемой”. Выбираются “адвокат”, “прокурор”, “суд”, “присяжные” и др. участники “процесса”. Каждый отстаивает свою точку зрения, касающуюся анализируемого или прогнозируемого явления, аргументируя свои высказывания. Окончательный вердикт об исследуемой проблеме определяется в два этапа: голосование “присяжных” и конкретизация решения “судьями”.

“Консилиум”. Эксперты исследуют проблему подобно тому, как врачи обследуют пациента: определяются “симптомы” проявления проблемы, вскрываются причины возникновения проблемы, производится анализ, ставится “диагноз”, и дается прогноз развития ситуации.

“Коллективный блокнот” . Метод в основе своей аналогичен “индивидуальному блокноту”, однако в данном случае блокноты получают несколько экспертов, каждый из которых знает, что он является участником экспертной группы. Возможен вариант, когда в начале работы все эксперты собираются вместе и им рассказывают о сущности возникшей проблемы и формулируют задачу. Далее каждый эксперт работает со своим блокнотом в течение определенного времени (при этом также возможно, что разные эксперты сосредотачиваются на разных сторонах проблемы). Второй этап реализации экспертизы заключается в том, что блокноты собираются, информация систематизируется (исследовательской командой или руководителем экспертной группы) и далее в очном совместном обсуждении накопленного и систематизированного материала эксперты приходят к решению проблемы.

Метод Дельфи. Метод представляет собой заочный и анонимный опрос экспертной группы в несколько туров с согласованием мнений экспертов. Экспертам предлагаются опросные листы по исследуемой проблеме. Степень стандартизированности вопросов может быть различна (они могут быть как закрытыми, так и открытыми, подразумевать как количественный, так и качественный ответ). Возможны вариации и в плане аргументации и обоснования экспертных оценок (что может быть обязательным или нет). Как правило, метод Дельфи реализуется в 2-3 тура, причем при повторных опросах экспертам предлагается ознакомиться либо с мнениями и аргументами каждого эксперта, либо со средней оценкой. На повторных турах эксперты могут поменять свою оценку, приняв во внимание аргументы коллег, а могут остаться при прежнем мнении и высказать обоснованную критику других оценок. Существуют различные методики согласования экспертных оценок (с учетом (или без) квалификации экспертов (как весовых коэффициентов), с отбрасыванием (или без) крайних оценок и другие). Метод Дельфи имеет весьма существенные достоинства, которые иногда делают его незаменимым. Во-первых, заочность и анонимность позволяют избежать конформизма или ориентации на авторитеты, что могло бы возникнуть, если бы экспертов собрали вместе и они должны были бы обнародовать свое мнение. Во-вторых, эксперты имеют возможность изменить свое мнение без риска “потерять лицо”.

Возможны варианты

При выработке экспертизы возможно использование как одного из названных методов, так и различных их сочетаний, что имеет смысл, если обсуждаемая проблема слишком сложна. Например, возможно следующее сочетание экспертных процедур:

Коллективный блокнот – ознакомление экспертов с проблемой, индивидуальное размышление над проблемой и подготовка экспертов к групповому обсуждению.

Групповое обсуждение (фокусирование, мозговой штурм и т.п.) – совместное изучение проблемы, выдвижение и рассмотрение гипотез, выбор наиболее приемлемой гипотезы.

Опрос по методу Дельфи – оценивание явления в рамках выбранной гипотезы.

Подытожим результаты

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, систематизирована, оценена с точки зрения качества, подвергнута анализу и целенаправленной интерпретации, и лишь после этого ее можно рассматривать как решение поставленной задачи. Оценка качества собранной экспертной информации производится, исходя из традиционных требований, предъявляемых к маркетинговой информации, – это актуальность, полнота и достоверность. Качество экспертной информации в принципе можно повысить, если использовать групповые экспертные опросы в несколько туров (особенно с обоснованием мнений), которые позволяют постепенно сблизить оценки экспертов, уточнить и дополнить мнения. Считается, что достоверность экспертных оценок тем выше, чем меньше разброс мнений, что может быть определено путем вычисления среднеквадратичного отклонения. Можно определить достоверность оценок косвенно, исходя из устойчивости мнений экспертов. Если оценки экспертов резко меняются от одного тура к другому, то достоверность таких оценок невелика.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

• правило большинства – выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);
• правило авторитета – выбирается то решение, к которому склоняются самые авторитетные эксперты (в этом случае каждому эксперту должен быть приписан “вес”, учитывающий его уровень компетентности);
• правило средней оценки – мнения экспертов приводятся к некому общему знаменателю. Для количественных оценок это сделать достаточно просто: определяется либо простая, либо взвешенная средняя оценка, для качественной информации такое согласование более сложно. При согласовании количественных оценок также может использоваться отбрасывание наименьшей и наибольшей оценок и усреднение оставшихся.

При согласовании экспертных мнений и выработке окончательной экспертизы важно соблюсти следующие требования: системность и взаимная непротиворечивость параметров экспертизы, обоснованность и логичность выводов, полнота решения поставленной задачи. Соблюдение этих требований и обеспечивает высокое качество экспертизы при условии, естественно, соответствующей компетентности экспертов.

В целом надежность сформированной экспертизы определяется двумя основными факторами. Во-первых, квалификацией экспертов, их способностью к решению задач данного уровня сложности. Во-вторых, квалификацией исследовательской команды, ее способностью отобрать компетентных экспертов, “извлечь” и аккумулировать экспертные знания о проблеме.

Маркетинговый анализ и прогнозирование с помощью экспертов имеют как несомненные достоинства, так и достаточно ощутимые “узкие места”. Среди достоинств следует особенно подчеркнуть возможность получения уникальной информации, которая не может быть почерпнута ни из каких других источников. Проблемы же экспертных опросов заключаются в следующем:

1. Сложность организации экспертизы: отбора экспертов в достаточном количестве и “качестве” и проведения опроса.
2. Сложность формирования окончательной экспертизы: согласования полученных данных, их анализа и интерпретации.
3. Возможная субъективность экспертов: эксперты могут находиться в плену своих представлений и неохотно пересматривать свою точку зрения, даже если она неправильная.
4. Возможное влияние на результат выбранной формы проведения экспертного опроса (при открытом опросе высока опасность конформизма).
5. Высокая стоимость проведения опроса, т.к. высока как оплата труда экспертов, так и расходы на организацию и проведение экспертизы.

В связи с дороговизной и сложностью проведения экспертного опроса выбор этого метода должен быть строго оправданным. Имеет смысл привлекать экспертов только для решения нетривиальных масштабных задач, для которых требуется получение независимой, объективной оценки ситуации, а также для выработки решений, которые не могут быть получены никаким другим способом.