Statystyczna ocena wyników porównań

Transkrypt

StatSoft Polska, tel. 12 428 43 00, 601 41 41 51, [email protected], www.StatSoft.pl
STATYSTYCZNA OCENA WYNIKÓW PORÓWNAŃ
MIĘDZYLABORATORYJNYCH  NOWE WYMAGANIA
Waldemar Korol, Grażyna Bielecka, Jolanta Rubaj,
Instytut Zootechniki – Państwowy Instytut Badawczy, Krajowe Laboratorium Pasz w Lublinie
Streszczenie
Porównania międzylaboratoryjne, w tym badania biegłości, są organizowane, przeprowadzane i oceniane zgodnie z wymaganiami normy ISO 17043. Podstawą oceny jest analiza
statystyczna wyników wg normy ISO 13528. W pracy przedstawiono elementy statystycznej analizy wyników badań biegłości (PT) i porównań międzylaboratoryjnych (ILC) na
podstawie wieloletnich obserwacji (2004-2010), w tym przy wykorzystaniu programu
STATISTICA Badania Międzylaboratoryjne firmy Statsoft. Program StatSoft do oceny
wyników PT/ILC obejmuje testy statystyczne służące do identyfikacji wyników odbiegających, ocenę normalności rozkładu wyników, określanie wartości przypisanej (średnia arytmetyczna, mediana), obliczanie odchylenia standardowego, wskaźnika z (z-score), wskaźnika Horwitza (HorRat) oraz umożliwia graficzną prezentację wyników. Podano przykłady
wykorzystania programu do oceny wyników PT/ILC.
Wprowadzenie
Porównanie międzylaboratoryjne (interlaboratory comparison - ILC) to zorganizowanie,
wykonanie i ocena badań tego samego obiektu przez co najmniej dwa laboratoria, zgodnie
z uprzednio określonymi warunkami. Za pomocą porównań międzylaboratoryjnych realizowane są badania biegłości, służące m.in. do oceny wyników badań uczestników w odniesieniu do wcześniej ustalonego kryterium, np. wymagań określonych w przepisach (5).
Celem badania biegłości (proficiency testing – PT) jest określenie zdolności laboratorium
do prowadzenia wymaganych badań, np. w ramach urzędowej kontroli. Daje możliwość
porównania własnych wyników z wynikami uzyskanymi przez inne laboratoria oraz
potwierdzenia i udokumentowania kompetencji.
Potwierdzenie kompetencji poprzez uczestnictwo w PT/ILC jest istotne dla każdego laboratorium i wymagane normą PN-EN ISO/IEC 17025 (4) w przypadku laboratoriów akredytowanych oraz ubiegających się o akredytację. Polskie Centrum Akredytacji (PCA) zaleca
późniejsze wykorzystanie wyników PT/ILC, np. poprzez stosowanie wytycznych
Copyright © StatSoft Polska 2011
www.statsoft.pl/czytelnia.html
45
Akredytacji Europejskiej (EA) do wyrażania niepewności w badaniach ilościowych
EA-04/16 (8). Zalecenia dotyczące wyboru badań biegłości i częstotliwości uczestnictwa
podaje nowy dokument EA-4/18:2010 (9).
W przypadku akredytacji laboratoriów badawczych, uaktualnienia i rozszerzenia zakresu
akredytacji PCA wymaga potwierdzenia kompetencji poprzez uczestnictwo i uzyskanie
zadowalających wyników PT/ILC przez laboratoria (dokument DA-05  www.pca.gov.pl).
Dlatego ważne jest, aby organizator PT/ILC przygotował, przeprowadził i ocenił wyniki
w sposób obiektywny, opierając się na analizie statystycznej. Celem pracy było przekazanie doświadczeń Instytutu Zootechniki  Państwowego Instytutu Badawczego, Krajowe
Laboratorium Pasz (KLP) w Lublinie w zakresie statystycznej oceny wyników PT/ILC,
w tym wykorzystania rozwiązania StatSoft do opracowania wyników.
Materiały i metody
W latach 2004-2010 KLP w Lublinie zorganizowało ponad 40 PT/ILC w zakresie oznaczania składników pokarmowych (wilgotność, popiół, białko, tłuszcz, włókno, skrobia, cukry),
makroelementów (wapń, fosfor, chlorki, magnez, sód, potas), dodatków paszowych (witamina A, witamina E, witamina B1, witamina B2, witamina D3, tryptofan, etoksyquin, mocznik, żelazo, mangan, cynk, miedź, selen, kobalt, jod), energii metabolicznej mieszanek
paszowych dla drobiu (na podstawie badania białka ogólnego, tłuszczu po hydrolizie,
skrobi i cukrów), aminokwasów, substancji niepożądanych (fluor, arsen, kadm, ołów,
azotany(III), gossypol, zanieczyszczenia botaniczne), produktów genetycznie zmodyfikowanych GMO (soja Roundup Ready, kukurydza MON 810). Ogółem badaniom poddano
84 próbki pasz, w tym materiały paszowe, mieszanki paszowe i premiksy i wykonano
około 5000 analiz.
W PT/ILC uczestniczyły laboratoria upoważnione do badań w ramach urzędowej kontroli
pasz (głównie laboratoria Zakładów Higieny Weterynaryjnej), laboratoria producentów
pasz, uniwersytetów rolniczych i instytutów naukowych. Do 2009 r. badania wykonywano
zgodnie z zaleceniami Przewodnika ISO/IEC 43-1:1997, a od roku 2009 zgodnie
z wymaganiami normy ISO 17043 (5).
W przypadku laboratoriów upoważnionych do badań w ramach urzędowego nadzoru stosowane metody badań były zgodne z metodami oficjalnymi, podanymi w rozporządzeniu KE
nr 152/2009. Pozostałe laboratoria stosowały własne metody badań, uprzednio zwalidowane i akredytowane lub w trakcie przygotowania do akredytacji.
W ocenie wyników stosowano następujące etapy postępowania oraz obliczano niżej wymienione parametry, korzystając z programu StatSoft:
 identyfikacja wyników odbiegających (np. testy Grubbsa, Dixona, Tukeya),
 ocena normalności rozkładu wyników (test Shapiro-Wilka),
 określanie wartości przypisanej - średnia arytmetyczna lub mediana,
 obliczanie odchylenia standardowego,
46 www.statsoft.pl/czytelnia.html
 obliczanie wskaźnika z (z-score), liczby En i zeta-score (dla wyników niezadowalających),
 obliczanie wskaźnika Horwitza (HorRat),
 graficzna prezentacja wyników (w opracowaniu końcowym).
Przyjęto następujące kryteria oceny wskaźników z (z-score) i zeta-score (ξ) według ISO
17043 (5):
|z, ξ | 2 wynik badania zadowalający,
2 < (|z, ξ | < 3 wynik badania wątpliwy,
|z, ξ |  3 wynik badania niezadowalający.
Dla liczby En przyjęto następujące kryteria [4]:
|En | ≤ 1 = wynik zadowalający
|En | >1 = wynik niezadowalający
Do oceny precyzji PT/ILC wykorzystano równanie Horwitza (1,2), opracowane na podstawie wyników licznych badań międzylaboratoryjnych, głównie w obszarze badań
żywności, pasz i preparatów farmaceutycznych. Horwitz opisał za pomocą empirycznego
równania zależność pomiędzy stężeniem oznaczanej substancji, wyrażonej jako niemianowany ułamek masy, a odchyleniem standardowym uzyskanym z badania międzylaboratoryjnego. Zależność pomiędzy odchyleniem standardowym a stężeniem została przedstawiona graficznie na rys. 1 (trąbka Horwitza). Stosunek odchylenia standardowego z badań
międzylaboratoryjnych SDR do docelowego odchylenia standardowe σp obliczonego
z wzoru Horwitza, zwany wskaźnikiem HorRat (H), jest szeroko stosowany do oceny
precyzji metod badań i jakości pracy laboratoriów.
Zadowalające wartości H, stanowiące miarę jakości PT/ILC i kompetencji laboratoriów,
zawierają się w przedziale 0,5 > H > 2 (1,2). W prezentowanych badaniach PT/ILC wartość wskaźnika HorRat obliczono, stosując zmodyfikowany wzór wg Thompsona (7).
Wzór Thompsona, który należy stosować w przypadku, gdy laboratoria wykonują badania
stosując różne procedury badawcze w PT/ILC, podano poniżej:
σp = 0,023 c0,826
[1]
w którym:
σp – docelowe odchylenie standardowe;
c – stężenie wyrażone jako niemianowany ułamek masy.
47
Rys. 1. Trąbka Horwitza.
Wyniki
Uczestnik PT/ILC otrzymywał sprawozdanie z badań, które zawierało podstawowe
parametry dla każdej badanej substancji, takie jak: wartość przypisana, odchylenie standardowe, wartości wskaźnika z uzyskane przez laboratoria, wartość wskaźnika H. Na rys. 2
podano przykładowy histogram wyników badania cynku w mieszance paszowej, uzyskany
za pomocą programu STATISTICA.
Rys. 2. Przykładowy histogram z-score dla cynku w mieszance paszowej na podstawie wyników
PT Pasze 2010. Wartość przypisana (średnia) 143,9 mg/kg; odchylenie standardowe 7,71 mg/kg,
wskaźnik H 0,50. Liczba lab: 17; wyniki zadowalające 16; wątpliwe 1.
Ważnym dla organizatora etapem jest podjęcie decyzji o usunięciu wyników odbiegających
ze zbioru wyników badań uzyskanych w PT/ILC dla danego analitu. Wynik odbiegający
jest z reguły wynikiem niezadowalającym i laboratorium w takim przypadku powinno
podjąć działania korygujące, powiadomić PCA i często wstrzymać badania daną metodą do
czasu wyjaśnienia przyczyn niezgodności. Dlatego organizator PT/ILC powinien dołożyć
wszelkich starań, aby kwalifikacja wyniku jako odbiegającego była dobrze udokumentowana. Stosowane powszechnie testy statystyczne, np. Grubbsa, Dixona, nie pozwalają na
identyfikację wyników odbiegających, w przypadku gdy dwa skrajne, podobne wyniki
znajdą się w zbiorze, pomimo że będą znacznie oddalone od pozostałych. Użyteczne jest
w tym przypadku zastosowanie testu Tukeya lub zbadanie rozkładu wyników testem
Shapiro-Wilka, znajdującym się w bibliotece programu STATISTICA.
Rys. 3. Ocena rozkładu normalnego dla wyników badania cynku
przy wykorzystaniu testu Shapiro-Wilka.
Jeżeli stosując test Shapiro-Wilka wykażemy istotność mniejszą niż zadeklarowana, równa
zwykle 0,05, pozwala to odrzucić hipotezę o normalności rozkładu (w przypadku cynku 
rys. 3: poziom istotności p=0,5139 był wyższy od 0,05, co oznacza prawdopodobny
rozkład normalny i brak podstaw do odrzucenia jakiegokolwiek wyniku).
W przypadku oceny wyników badania popiołu nierozpuszczalnego w kwasie chlorowodorowym (rys. 4) test Shapiro-Wilka pozwolił określić istotność na poziomie P=0,0106,
tj. mniejszą 0,05. Należy w tym przypadku odrzucić hipotezę o normalności rozkładu.
Odrzucenie hipotezy potwierdza zarazem, że dwa najwyższe wyniki (para) są wynikami
odbiegającymi i powinny być wyłączone ze zbioru wyników przyjętych do obliczeń
parametrów statystycznych.
49
Rys. 4. Ocena rozkładu normalnego dla wyników badania popiołu nierozpuszczalnego w HCl
przy wykorzystaniu testu Shapiro-Wilka.
Ocena wyników badań, wnioski, wyjaśnienie przyczyny uzyskania wyników niezadowalających należy przede wszystkim do laboratorium uczestniczącego. Na podstawie wyników
PT/ILC oceniano m.in. kompetencje laboratoriów do wykonywania badań w ramach urzędowego nadzoru, zgodnie z wymaganiami rozporządzenia (WE) nr 882/2004 (6). Oceny
dokonywano na podstawie wskaźnika z (z-score). W przypadku wyników niezadowalających (|z|>3) laboratoria podejmowały działania korygujące, celem określenia źródeł
i wyeliminowania niezgodności (potwierdzenie skuteczności w badaniach CRM, RM).
Zalecano przy tym uwzględnianie niepewności badań w laboratorium poprzez obliczenie
liczby En i wskaźnika zeta-score (dla |z| > 3), (5).
Ogólną ocenę kompetencji laboratoriów i jakość ich pracy w okresie prowadzenia PT i ILC
na podstawie wskaźnika HorRat (H) podano w tab. 1. Analizując wartości H zamieszczone
w tabeli 1 można zaobserwować wzrost precyzji badań PT/ILC w danym obszarze w kolejnych latach (obniżanie się wskaźnika H). Jest to dowód na poprawę jakości pracy
i kompetencji laboratoriów, związanej także z uczestnictwem w PT/ILC.
Tabela 1. Poprawa precyzji badań biegłości i kompetencji laboratoriów uczestniczących na podstawie wskaźnika HorRat H (0,5 < H < 2) w latach 2004-2010.
Wyszczególnienie
2004
2005
2006
2007
2008
2009
2010
Woda, popiół, białko, tłuszcz, włókno
1,7
0,9
0,9
0,8
1,0
0,7
0,9
Ca, P, Cl, Mg, Na, K – m-ka paszowa
1,9
1,1
1,2
1,2
1,3
1,2
1,1
Ca, P, Cl, Mg, Na, K – premiks
-
-
-
-
1,7
-
1,1
Fe, Mn, Zn, Cu – m-ka paszowa
1,3
1,3
0,7
0,7
0,8
0,8
0,9
Fe, Mn, Zn, Cu – premiks
-
-
-
-
1,6
-
0,9
Witamina A – m-ka paszowa
-
-
1,1
1,0
-
-
0,8
Wyszczególnienie
2004
2005
2006
2007
2008
2009
2010
Witamina A – premiks
-
-
-
-
2,3
1,9
0,5
Witamina E – m-ka paszowa
-
-
1,4
1,5
-
-
0,8
Selen w paszach (HGAAS)
-
-
-
0,8
1,1
0,8
0,5
Jod w paszach
-
-
-
2,3
1,3
1,4
0,4
Mocznik (mieszanka paszowa)
-
-
-
2,7
-
1,3
-
Azotany (III) w paszach
-
-
-
-
2,1
-
1,1
Arsen w premiksach
-
-
-
-
2,2
-
0,3
Kadm w premiksach
-
-
-
-
1,0
-
0,4
Ołów w premiksach
-
-
-
-
2,3
-
0,8
Podsumowanie – nowe wymagania
Rozwiązanie STATISTICA Badania Międzylaboratoryjne stosowane w KLP w Lublinie
umożliwiło poprawę obiektywności oceny wyników PT/ILC, z korzyścią dla organizatora
badań i uczestników. Zaletą programu jest m.in. możliwość badania normalności rozkładu
wyników i oceny precyzji na podstawie wskaźnika HorRat, co ułatwia podjęcie decyzji
o wykorzystaniu wyników PT/ILC do oszacowania obciążenia metody (bias) i oszacowania jej niepewności na podstawie podejścia doświadczalnego międzylaboratoryjnego (8).
W 2010 roku została wydana norma ISO 17043, dostępna również w języku polskim (5),
która reguluje w sposób kompleksowy wymagania dotyczące organizacji i kompetencji
organizatorów badań biegłości. W zakresie statystycznej analizy wyników PT/ILC, norma
ISO 17043 odwołuje się do normy ISO 13528 (3), precyzując tym samym wymagania
w zakresie statystycznej oceny. Należy tu wymienić możliwość określenia odchylenia standardowego w PT/ILC dostosowanego do celu badań zgodnie z wymaganiami określonymi
w przepisach, oparcie wartości odniesienia o wyniki badań laboratoriów eksperckich,
zastosowanie analizy statystycznej do obliczania tzw. odpornej średniej i odpornego
odchylenia standardowego. Wspomniane wyżej wymagania powinny wskazywać kierunki
udoskonalania programów statystycznej oceny wyników PT/ILC.
Literatura
1. Horwitz, W. 1982. Evaluation of analytical methods used for regulation of food and
drugs, Analytical Chemistry, 54,67A-76A.
2. Horwitz W., Albert R.: The Horwitz Ratio (HorRat). A useful index of method performance with respect to precision. J AOAC International 2006, 89, 1095-1109.
3. ISO 13528:2005. Statistical methods for use in proficiency testing by interlaboratory
comparison.
51
4. Norma PN-EN ISO/IEC 17025:2005. Ogólne wymagania dotyczące kompetencji
laboratoriów badawczych i wzorcujących.
5. Norma PN-EN ISO/IEC 17043:2011. Ocena zgodności. Ogólne wymagania dotyczące
badania biegłości.
6. Rozporządzenia (WE) nr 882/2004 Parlamentu Europejskiego i Rady z dnia 29 kwietnia 2004 r. w sprawie kontroli urzędowych przeprowadzanych w celu sprawdzenia
zgodności z prawem paszowym i żywnościowym oraz regułami dotyczącymi zdrowia
zwierząt i dobrostanu zwierząt (Dz. Urz. UE L 165z 30.04.2004, str. 1; Dz. Urz. UE
Polskie wydanie specjalne, rozdz. 3, t. 45, str. 200).
7. Thompson, M.: The amazing Horwitz function. AMC Technical Brief No. 17, July
2004 (amc\amctb\statssc\horwitztb_v2.doc).
8. Wytyczne Akredytacji Europejskiej EA-04/16:2003 dotyczące wyrażania niepewności
w badaniach ilościowych www.pca.gov.pl.
9. Wytyczne Akredytacji Europejskiej EA-04/18:2010 dotyczące poziomu i częstości
uczestnictwa w badaniach biegłości www.pca.gov.pl.

Statystyczna ocena wyników porównań

Transkrypt

Podobne dokumenty

Zintegrowany system kontroli, zbierania danych

Indivumed GmbH rozwija diagnostykę molekularną

Scoring kredytowy w pigułce

Organizacja gromadzenia i analizy danych oraz

Analiza dużych wolumenów danych w MF

Zastosowanie technik data mining w badaniach

System raportowania o stanie i jakości procesów

STATISTICA Data Miner w sektorze

Analiza wyników wyborów w III RP