Межлабораторное исследование качественных методов: критерии согласованности, соответствия и коэффициент расхождения между согласованностью и соответствием
L.1 Общие требования
Критерии точности, чувствительности и специфичности (см. 5.2.2) не в полной мере характеризуют изменчивость метода внутри и между лабораториями (прецизионность метода).
Это приложение содержит дополнительные критерии (согласованность, соответствие и коэффициент расхождения между согласованностью и соответствием), которые позволяют проанализировать такую изменчивость.
Критерии повторяемости и воспроизводимости характеризуют возможную разницу между двумя образцами, отправленными в одну или разные лаборатории. Поскольку разность неколичественных данных нельзя использовать, статистика качественных методов основана на вероятности (выраженной в процентах) того, что два образца дадут одинаковый результат.
Такие критерии разработаны в Европейском проекте SMT СТ 96 2098, финансируемом Европейской комиссией/DG XII, для валидации шести основных стандартизованных методов, используемых в микробиологии пищевых продуктов (координатор - Др. С. Lahellec, AFSSA, Франция) [9].
Вычисления представлены в таблице L.1.
Таблица L.1 - Примеры числовых данных
Лаборатории | Номер реплики | Число положительных результатов (из 5) | ||||
1 | 2 | 3 | 4 | 5 | ||
1 | + | + | + | + | + | 5 |
2 | + | + | + | + | + | 5 |
3 | + | + | + | + | + | 5 |
4 | + | + | + | + | + | 5 |
5 | - | - | + | + | + | 3 |
6 | + | + | + | + | + | 5 |
7 | - | - | + | + | + | 3 |
8 | + | + | + | + | + | 5 |
9 | + | + | + | + | + | 5 |
10 | + | + | + | + | + | 5 |
Данные, приведенные в этой таблице, относятся только к одному уровню одного типа пищевого продукта. На практике совместное испытание является более обширным, но меньший набор данных облегчает объяснение вычислений.
L.2 Согласованность (accordance)
L.2.1 Определение
Согласованность (accordance) - это выраженная в процентах вероятность получения одинакового результата (т.е. оба положительные или оба отрицательные) от двух идентичных подобразцов, анализируемых в одной лаборатории, в условиях повторяемости (т.е. один оператор, использующий то же оборудование и те же реагенты и с минимальным разумным временным интервалом).
Согласованность, таким образом, эквивалентна повторяемости в количественных методах.
L.2.2 Вычисления
Для получения согласованности по результатам межлабораторного исследования для каждой лаборатории-участника поочередно вычисляют вероятность того, что два образца дадут один и тот же результат. Затем находят среднюю вероятность по всем лабораториям.
Например, см. таблицы L.1 и L.2.
Таблица L.2 - Вычисление согласованности
Лаборатории | Число положитель- | Вероятность положительного образца | Вероятность пар положительных образцов | Вероятность отрицательного образца | Вероятность пар отрицательных образцов | Вероятность пар с одинаковыми результатами |
1 | 5 | 1,00 | 1,00 | 0,00 | 0,00 | 1,00 |
2 | 5 | 1,00 | 1,00 | 0,00 | 0,00 | 1,00 |
3 | 5 | 1,00 | 1,00 | 0,00 | 0,00 | 1,00 |
4 | 5 | 1,00 | 1,00 | 0,00 | 0,00 | 1,00 |
5 | 3 | 0,60 | 0,36 | 0,40 | 0,16 | 0,52 |
6 | 5 | 1,00 | 1,00 | 0,00 | 0,00 | 1,00 |
7 | 3 | 0,60 | 0,36 | 0,40 | 0,16 | 0,52 |
8 | 5 | 1,00 | 1,00 | 0,00 | 0,00 | 1,00 |
9 | 5 | 1,00 | 1,00 | 0,00 | 0,00 | 1,00 |
10 | 5 | 1,00 | 1,00 | 0,00 | 0,00 | 1,00 |
Среднее: 0,904=90,4% |
Для тех лабораторий (как, например, лаборатория 1), где все образцы оказались положительными, наилучшая оценка вероятности получения того же результата точно равна 1,00 или 100%.
Для других (например, лаборатории 5 и 7) вероятность того, что одна реплика окажется положительной, равна 3/5=0,60. Для получения вероятности положительности пары реплик возводят эту вероятность в квадрат (0,6=0,36). Проделывают ту же операцию для получения вероятности отрицательности пары реплик (0,4=0,16). Затем суммируют эти цифры для получения полной вероятности того, что две реплики дадут одинаковый результат (0,36+0,16=0,52).
Проводят такие вычисления для всех лабораторий (см. таблицу L.2).
Согласованность - это среднее значение вероятностей, что для двух реплик будет получен одинаковый результат для каждой лаборатории. В данном случае согласованность составляет 90,4%.
Примечание - Так как повторяемость характеризует разницу, в то время как согласованность измеряет сходство, высокие значения согласованности означают, что метод надежен, в отличие от количественных методов, где желательны низкие значения повторяемости.