Анализ качества кондитерских изделий на примере группы «мучных» (вафли)

Самооценка вычисляется по формуле [30]:

 

 

где Ксам. э — коэффициент самооценки /-го эксперта;

Мэ — весомость показателей информированности и знакомства;

Кэ— оценка, зависящая от степени информированности и степени знакомства.

Примеры расчета Ксам. э приведены в приложении 4.

Оценка аргументированности и знакомства с объектом экспертизы — вид и метод эвристической оценки степени специализации эксперта и факторов, влияющих на его компетентность. Эвристическая оценка компетентности, основанная на учете степени специализации и знакомства, обладает высокой эффективностью и достоверностью при условии тщательной проработки методов количественной оценки каждого из этих факторов в виде оценочных анкет.

Взаимооценка — вид и метод эвристической оценки, определяемой как средняя из оценок, назначаемых другими экспертами. Предназначена для уменьшения субъективности оценки компетентности каждого эксперта. Установлено, что существует тесная взаимосвязь между компетентностью эксперта и его усредненной оценкой, полученной от коллег.

Сущность этого вида оценки заключается в том, что каждый эксперт дает оценку всем остальным экспертам, а затем рассчитывается усредненный результат.

В зависимости от числа экспертов в группе применяются две разные процедуры:

• при численности менее 15 экспертов в группе каждый эксперт оценивает всех остальных;

• при численности 15 экспертов и более заполняется специальная анкета, в которой эксперты по квалификации разделены на три группы — выше средней, средней и ниже средней квалификации, а также по рангам внутри подгрупп (по 6—8 человек в каждой). Затем ранжируют экспертов каждой подгруппы. Ранг 1 — самый квалифицированный эксперт, 2 — следующий по квалификации и т. д. Каждому оцениваемому эксперту присваивается числовая оценка от 10 баллов (самый квалифицированный) до 0 (совершенно неквалифицированный) с точностью до 0,5 балла. Недостатки взаимооценки:

• эксперты могут недостаточно знать друг друга;

• на результаты оценки могут влиять взаимные симпатии или антипатии;

• эксперты, как правило, стремятся избегать сверхвысоких и сверхнизких оценок;

• неоднозначность восприятия понятия «качество эксперта» 9»

Для уменьшения указанных недостатков рекомендуется:

• применять взаимооценку только в тех группах, где большинство экспертов хорошо знают друг друга. Если некоторые из оцениваемых экспертов незнакомы, рекомендуется ставить прочерк в соответствующей графе;

• проводить анонимное анкетирование;

• разъяснять, что результаты анкеты будут использованы только для корректировки оценок товара;

• знакомить экспертов со структурной схемой свойств и их частных оценок.

Оценка эксперта рабочей группой — вид и метод эвристической оценки, предназначенной для количественной характеристики заинтересованности эксперта в экспертной оценке и его внимательности в ходе опроса. Оценка дается специалистами-аналитиками, проводящими опрос экспертов. При этом они оценивают отношение экспертов к проводимой экспертизе и их активность при обсуждении оценок. Оценки рабочей группой целесообразно выносить по 10-балльной шкале.

Статистические оценки — оценки, полученные в результате обработки суждений экспертов об объекте оценки.

Эти оценки применяются с целью уменьшения по мере возможности погрешностей, возникающих при экспертных оценках. Их необходимость обусловлена тем, что в отличие от измерений с помощью технических устройств, основанных на сравнении неизвестных величин с известными, при экспертных методах зачастую отсутствует известная величина (или образец, или эталон товара), значение которой принимается за действительное, т. е. максимально приближенное к истинному.

В то же время на точность экспертных оценок, как отмечалось, влияет множество объективных и субъективных факторов, вследствие чего возникают погрешности оценки, имеющие систематическую и случайную составляющие.

Систематическая погрешность — постоянно повторяемая часть погрешности. Основной причиной ее возникновения является недостаточная или неправильная информированность экспертов. Снизить ее можно путем ознакомления эксперта с необходимой иформацией перед началом экспертизы или путем проведения инструктажа, а также обсуждения, в ходе которого эксперт получает дополнительную информацию от специалистов-аналитиков или других экспертов. Систематическую погрешность можно оценивать степенью отклонения от среднего мнения экспертной группы.

Случайная погрешность зависит от психолого- физиологических особенностей эксперта (собранности, уверенности в правоте, внимательности, других личных качеств) и снижается при многократных повторениях оценок. Установить ее величину можно по воспроизводимости результатов. Следует также учесть, что систематическая погрешность эксперта является случайной погрешностью групповой экспертной оценки, уменьшить которую можно путем усреднения оценок группы. В конечном счете, это позволяет повысить точность оценки качества.

Различают следующие виды статистических оценок: оценка по отклонению от среднего мнения экспертной группы; оценка объективности эксперта.

Оценка по отклонению от среднего мнения экспертной группы — оценка, основанная на предпосылке, что действительным значением групповой экспертной оценки является средняя оценка экспертной группы. Поэтому чем меньше отклонение индивидуальной экспертной оценки от групповой, тем более высоким признается качество эксперта, давшего эту оценку.

Индивидуальные экспертные оценки могут быть двух типов:

• ранжирование экспертом оцениваемых величин (в порядке убывания или возрастания);

• определение экспертом числовых значений оцениваемых величин (например, при определении коэффициентов весомости показателей качества каждому коэффициенту эксперты присваивают определенные числовые значения).

Оценка по отклонению от среднего мнения экспертной группы Может быть выражена через совокупность абсолютных отклонений (40, рассчитываемых как разница между средней групповой оценкой (*) и индивидуальной оценкой (х,):

 

 

Кроме того, может быть подсчитано среднеквадратичное отклонение (S):

 

 

 

 

Чем больше Si, тем выше разброс индивидуальных оценок и, следовательно, меньше согласованность между экспертами в группе.

При этом методе может быть оценена степень надежности экспертов.

Под степенью надежности эксперта понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, которые в последствии подтвердились. Однако учитывая, что эксперт обычно работает в группе, вводят понятие об его относительной надежности (Н0), которая рассчитывается как отношение степени надежности данного эксперта (Ни) к средней степени надежности, вычисленной для некоторой группы экспертов (Нс):

 

 

Оценка объективности эксперта — оценка соблюдения экспертом принципа объективности, его способности к беспристрастной оценке конкретных образцов товаров. Эта очень важная характеристика качества эксперта существенно влияет на точность результатов групповой экспертной оценки. Статистические методы непосредственной оценки объективности экспертов не разработаны, поэтому на практике довольствуются косвенной оценкой по отклонению от среднего мнения экспертов.

Тестовые оценки — оценки с помощью тестирования психолого- физиологических особенностей экспертов.

Данные оценки предназначены для оценивания объективности, квалиметрической и профессиональной компетентности эксперта.

Достоинством этих оценок является возможность оценить личные качества эксперта, для чего другие методы и виды оценок неприемлемы. Недостаток их заключается в том, что полученные при тестировании результаты невозможно сравнить с данными, полученными каким-либо объективным методом.

При проведении таких оценок к тестам предъявляются следующие требования [30]:

, испытуемый эксперт  должен понимать постановку тестовой  задачи и условия, которым должно отвечать ее решение;

• вероятность случайного угадывания решения задачи должна быть близка к нулю;

• тестовая задача должна иметь точное решение;

• обоснование близости тестовой задачи и тех реальных задач, которые приходится решать эксперту при оценке качества продукции.

Разновидностями тестовых оценок являются оценки воспроизводимости результатов, квалиметрической компетентности эксперта, объективности корректирования своих оценок.

Оценка воспроизводимости результата — оценка степени близости индивидуальных оценок эксперта, проведенных через определенные промежутки времени. Обычно применяется в случаях, когда качество экспертов оценивается в несколько туров, при этом сравниваются оценки одного и того же эксперта в разных турах. Наиболее часто оценка воспроизводимости результатов применяется при органолептическом анализе пищевых продуктов.

Известен случай, когда при проведении международной дегустации вин во Франции была проведена оценка воспроизводимости результатов у дегустатора-женщины, одного из членов российской делегации, под предлогом утраты ранее полученных данных. Результаты трехкратной оценки были поразительными: испытуемый эксперт на трех повторных дегустациях одних и тех же проб вин показал высокую воспроизводимость результатов — с точностью до нескольких сотых балла. Это объяснялось не только высокой компетентностью эксперта, но и такими индивидуальными свойствами, как отличная память на вкусы и запахи, высокие пороги ощущения показателей.

Необходимо учитывать следующее: промежуток между турами Должен быть невелик, чтобы исключить влияние возможной новой Информации, изменяющей суждения эксперта, но в то же время достаточен, чтобы он забыл данные оценки в предыдущем туре.

Оценка воспроизводимости результатов может быть обработана при помощи коэффициентов ранговой корреляции.

Оценка квалиметрической компетентности эксперта оценка теоретических знаний методов оценки качества и умения их применять. Оценка теоретической подготовки эксперта может проводиться путем устного или письменного контроля знаний с использованием тестов в определенной области знаний. Несколько сложнее обстоит дело с проверкой умения, которое подразделяют на три типа: