badanie niezawodności diagnoz - Wojskowa Akademia Techniczna
Transkrypt
badanie niezawodności diagnoz - Wojskowa Akademia Techniczna
ZAKŁAD EKSPLOATACJI SYSTEMÓW ELEKTRONICZNYCH INSTYTUT SYSTEMÓW ELEKTRONICZNYCH WYDZIAŁ ELEKTRONIKI WOJSKOWA AKADEMIA TECHNICZNA ------------------------------------------------------------------------------------------------------------------------------- PODSTAWY EKSPLOATACJI SYSTEMÓW ĆWICZENIE LABORATORYJNE NR 7 BADANIE NIEZAWODNOŚCI DIAGNOZ 1. Narzędzia wspomagające realizację ćwiczenia: – komputerowy program BND(S)-2008-1 oraz BND(S)-2008-2, symulujący generowanie diagnoz przy niepewności symptomów i syndromów. 2. Przedmiot ćwiczenia: – obiekt diagnozowania: wirtualny 8-modułowy obiekt o szeregowej strukturze niezawodnościowej. 3. Cel ćwiczenia: a) wyznaczenie wybranych wskaźników niezawodności diagnoz. b) dyskusja pojęć: wiarygodność diagnozy, diagnoza skrócona, diagnoza rozwinięta, niepewność symptomu, niepewność syndromu, niezawodność diagnoz. ---------------------------------------------------------------------------------------------------------Warszawa – 2013/2014 1 1. PODSTAWY TEORETYCZNE I ZAŁOŻENIA SYNDROM WNIOSKOWANIE SYMPTOMY OBIEKT POMIARY Diagnoza prawdziwa jest uwarunkowana prawdziwym syndromem (Rys.1). Syndrom jest prawdziwy wtedy, gdy zawiera symptomy prawdziwe, charakterystyczne dla rzeczywistego stanu obiektu diagnozowanego. W praktyce eksploatacyjnej nierzadko występuje fałszowanie symptomów, a w konsekwencji fałszowanie syndromów i diagnoz. Powodować to mogą różne czynniki, między innymi: – losowe zakłócenia sygnałów; – niepewności wyników pomiarów; – błędy operacji wnioskowania itp. DIAGNOZA Rys.1. Ilustracja procedury diagnozowania W związku z tym, że procedura diagnozowania nie jest w pełni wiarygodna, to diagnosta powinien mieć ograniczone zaufanie do tego, że otrzymana diagnoza jest prawdziwa. Powinien więc dobierać procedury diagnostyczne pozwalające uzyskiwać wymaganą niezawodność diagnoz. Diagnozę można przedstawić ogólnie w postaci zbioru par: D = 〈 STAN ↔ PRAWDOPODOBIEŃSTWO STANU 〉 (1) Jest to tzw. diagnoza pełna: Diagnoza stanu Prawdopodobieństwo prawdziwości diagnozy D(E0) D(E1) D(E2) P(D(E0)) P(D(E1)) P(D(E2)) … D(EN) … P(D(EN)) W warunkach niepewności symptomów przy formułowaniu diagnozy należy analizować rozkład prawdopodobieństw stanów i na tej podstawie formułować diagnozę. Często – w praktyce – używa się skróconej postaci diagnozy, podając jedynie diagnozę najbardziej prawdopodobną czyli taką, która spełnia warunek: D(E *i ) : P D E *i = max P(D(E i )) (2) ( ( )) i = 0, 1, 2, ..., N Oparcie wyboru diagnozy tylko na kryterium (2) często nie jest zadowalające, ponieważ wiarygodność wybranej w ten sposób diagnozy może być niska. Oznacza to niską niezawodność diagnozy. Z tego powodu należy przyjąć dodatkowo kryterium (3): P D(E*i ) ≥ Pgr (3) Oznacza to, że należy uzyskać diagnozę nie tylko o największym prawdopodobieństwie, lecz także prawdopodobieństwie nie mniejszym od pewnej wartości granicznej. Wartość ta powinna być bliska jedności gdyż to zapewnia wysoką niezawodność przyjętej diagnozy. ( ) 2 Jeśli kryterium (3) nie jest spełnione to należy powtarzać testowanie. Testowaniem nazywa się realizację procedury diagnostycznej. Takie testowanie można powtarzać wielokrotnie. Zbiór testowań nazywany jest sesją diagnostyczną. Powtarzanie się w sesji takiego samego syndromu potwierdza wiarygodność diagnozy opartej na syndromie występującym w największej liczbie testowań. Powtarzanie testowań jest równoznaczne z uzyskiwaniem nadmiaru informacyjnego. Wydłuża to – rzecz jasna – wymagany czas diagnozowania, zatem uzyskanie nadmiaru informacyjnego wymaga dysponowania nadmiarem czasowym. Należy jednak wziąć pod uwagę, że współczesne procedury diagnostyczne wykorzystują szybkie systemy informatyczne (komputerowe), co znacznie zmniejsza wymagania dotyczące nadmiaru czasowego. Postawmy pytanie: „Czy i w jaki sposób przez powtarzanie testowania można uzyskać dostatecznie wiarygodną diagnozę – mimo pojawiania się fałszywych symptomów, a w konsekwencji fałszywych syndromów ?” Zagadnienie to rozpatrzmy na przykładzie prostego obiektu o niezawodnościowej i funkcjonalnej strukturze szeregowej, zawierającej N elementów (Rys. 2). We e1 eN e2 s1 s2 Wy sN Rys.2. Przykładowa struktura obiektu diagnozowanego Oznaczenia: e1 , e 2 , ..., e N – elementy obiektu diagnozowania; s1 , s 2 , ..., s N – wyniki pomiarów (sprawdzeń), które w najprostszym przypadku stanowią zarazem symptomy stanu elementów. Przyjmijmy następujące założenia: 1. W badanym obiekcie N = 8. 2. Wszystkie elementy obiektu mogą być zdatne lub co najwyżej jeden element może być niezdatny. 3. Obiekt jest zdatny jeśli wszystkie elementy są zdatne, a jest niezdatny jeśli jeden element jest niezdatny; zatem obiekt badany może znajdować się w jednym z 8 + 1 = 9 stanów: E = {E 0 , E 1 , E 2 , ..., E N } gdzie: E0 – stan zdatności; E1, E2,…, E8 – stany niezdatności. 4. Stany elementów są wzajemnie niezależne. 5. Stan obiektu jest stabilny tzn. nie zmienia się w trakcie sesji diagnostycznej a zbiór jednakowych syndromów dotyczy tego samego stanu. 6. W procedurze diagnozowania (testowania) sprawdzane są wszystkie elementy, sygnał diagnostyczny każdego elementu mierzony jest indywidualnie (Rys.2). 7. Wynik i-tego pomiaru determinuje symptom si stanu elementu ei (i = 1,2,…,8); w rozpatrywanym przypadku symptom jest jednowymiarowy (oparty jest na jednym wyniku pomiaru), tor symptomu jest jednoelementowy (tzn. symptom zależy od stanu tylko jednego elementu), tory różnych symptomów są rozłączne. 3 8. Symptom może przyjmować logiczną wartość 0 lub 1; symptom negatywny 0 jest symptomem charakterystycznym dla stanu niezdatności elementu, symptom pozytywny 1 jest symptomem charakterystycznym dla stanu zdatności elementu. 9. Zbiór N symptomów stanowi syndrom stanu obiektu; zatem rozróżnia się N+1 =9 charakterystycznych syndromów. Przykład zbioru stanów oraz odpowiadających im charakterystycznych symptomów i syndromów pokazuje tabela 1. 10. Każdy syndrom jest wnioskowany z odpowiadających mu symptomów. Każdy fałszywy symptom determinuje fałszywość syndromu, a w konsekwencji fałszywą diagnozę. 11. Syndrom zawierający więcej niż jeden symptom negatywny uznaje się za fałszywy i odrzuca (filtracja wstępna) – zgodnie z założeniem (2). 12. Znane są á priori prawdopodobieństwa uzyskania prawdziwego wyniku każdego pomiaru, a więc: znane są prawdopodobieństwa R z1+ , R z2+ , ..., R zN+ uzyskania prawdziwych symptomów pozytywnych oraz prawdopodobieństwa R z1− , R z2− , ... , R zN− uzyskania prawdziwych symptomów negatywnych. Zatem prawdopodobieństwa uzyskania błędnych symptomów wynoszą odpowiednio Qzi+ = 1 – Rzi+ ; Qzi - = 1 – Rzi - ; i = 1,2,…,8 13. Dla uproszczenia przyjmijmy, że wartość prawdopodobieństwa otrzymania prawdziwego symptomu negatywnego oraz wartość prawdopodobieństwa otrzymania prawdziwego symptomu pozytywnego są takie same: R z1+ = R z1- = R z1 R z2 + = R z2 − = R z2 (4) . . . . . .......... R zN + = R zN − = R zN 14. Znane są prawdopodobieństwa zdatności á priori mentu obiektu. R1 , R 2 , ..., R N każdego ele- Tabela 1 Stan zdat. obiektu Rzeczywisty stan obiektu Stany niezdatności obiektu E0 E1 E2 E3 E4 E5 E6 E7 E8 S0 S1 S2 S3 S4 S5 S6 S7 S8 s1 s2 s3 s4 s5 s6 s7 s8 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 Relacja: syndrom ⇒ ⇒ diagnoza ⇓ ⇓ ⇓ ⇓ ⇓ ⇓ ⇓ ⇓ ⇓ D(E 0) D(E 1 ) D( E 2 ) D(E 3 ) D(E 4 ) D(E 5) D(E 6) D(E 7) D(E 8 ) Syndrom Symptom Wnioskowana diagnoza 4 Pierwszą operacją w procedurze diagnozowania jest pomiar sygnałów diagnostycznych oraz zarejestrowanie ich wyników np. w postaci zbioru liczb: X = x 1 , x 2 , ..., x N (5) Drugą operacją jest przetworzenie tych wyników na symptomy stanu na podstawie zastosowanej relacji np. w postaci: [x id [(x i ≤ x i ≤ x ig ] ⇒ [s i = 1] < x id ) ∨ (x i > x ig )] ⇒ [s i = 0] (6) i = 1, 2, ... , N gdzie: xid, xig – wartości graniczne przedziału dopuszczalnych wartości sygnału diagnostycznego dla stanu Ei. Trzecią operacją jest synteza syndromu na podstawie zbioru otrzymanych symptomów. Te trzy operacje (jako fragment procedury diagnostycznej) zazwyczaj nazywa się testowaniem. Zauważmy, że wyniki pomiarów, wnioskowanie pomiarowe oraz wnioskowanie symptomowe mogą być niepewne. Zatem jednorazowe testowanie i utworzony syndrom może być niepewny, a zatem jednosyndromowa diagnoza z zasady jest niepewna. W takim przypadku należy zastosować testowanie wielokrotne, a syntezę diagnozy oprzeć na wnioskowaniu wielosyndromowym. 2. MODEL DIAGNOZOWANIA PRZY NIEPEWNYCH SYNDROMACH Zgodnie z przyjętymi założeniami obiekt znajduje się w jednym ze stanów należących do zbioru: E = {E0 , E1 ,..., EN } (tutaj: N = 8) (7) Zgodnie z tabelą 1 tym stanom odpowiadają charakterystyczne syndromy tworzące zbiór: S = {S0 , S1 ,...,S N } (8) Można wyznaczyć: – prawdopodobieństwo a’priori stanu zdatności E0 obiektu (wszystkie elementy zdatne): ( ) N P E0 = ∏ R i (9) i =1 – prawdopodobieństwa a’priori poszczególnych stanów niezdatności Ej (jeden element niezdatny): ( ) P E j = (1 − R j )∏ R i N (10) i =1 i≠ j j = 1, 2, …, N Zgodnie z założeniem (2) obiekt znajduje się w jednym ze stanów należących do zbioru (7), zatem można wyznaczyć warunkowe prawdopodobieństwa tych stanów: 5 Pj = P(E j A ) = ( ) ∑ P(E ) P Ej N i=0 (11) i j = 0, 1, 2, …, N gdzie: A – warunek, polegający na tym, że stan obiektu Ej należy do zbioru E. Dla sformułowania diagnozy pełnej należy zrealizować algorytm diagnostyczny, pokazany na rys.1. W tym celu trzeba wstępnie ustalić liczbę testowań M oraz wykonać kolejne operacje wymienione poniżej. 1. Wybrać dostępne sygnały diagnostyczne. 2. Zrealizować sesję diagnostyczną. Wynikiem tej sesji jest zbiór syndromów S o liczności LS (z każdego testowania otrzymuje się jeden syndrom). 3. Przeprowadzić wzajemną komparację otrzymanych syndromów i utworzyć następujące podzbiory charakterystycznych syndromów: – podzbiór S00 syndromów zawierających więcej niż jeden symptom negatywny (np.: 1,0,0,1,...,1), czyli podzbiór syndromów charakterystycznych dla stanów obiektu, w których występuje więcej niż jeden element niezdatny; na mocy założenia (10) syndromy te są fałszywe ponieważ obiekt może zawierać co najwyżej jeden element niezdatny; syndromy te należy zatem odrzucić; – podzbiór S0 syndromów zawierających wszystkie symptomy pozytywne, czyli syndromy charakterystyczne dla stanu E0 zdatności obiektu (s1 = 1, s2 = 1,..., sN = 1) o liczności L0; – podzbiór S1 syndromów zawierających pierwszy symptom negatywny i wszystkie pozostałe symptomy pozytywne, czyli syndromy charakterystyczne dla stanu E1 niezdatności obiektu (s1 = 0, s2 = 1,..., sN = 1) o liczności L1; – podzbiór S2 syndromów zawierających drugi symptom negatywny i wszystkie pozostałe symptomy pozytywne, czyli syndromy charakterystyczne dla stanu E2 niezdatności obiektu (s1 = 1, s2 = 0,..., sN = 1) o liczności L2; ………………………………………… – podzbiór SN syndromów zawierających N-ty symptom negatywny i wszystkie pozostałe symptomy pozytywne, czyli syndromy charakterystyczne dla stanu EN niezdatności obiektu (s1 = 1, s2 = 1,..., sN = 0) o liczności LN. 4. Wyznaczyć liczności utworzonych podzbiorów charakterystycznych syndromów: L = [L0, L1, L2, ..., LN]; jest oczywiste, że niektóre podzbiory mogą być puste. 5. Stwierdzić, które z następujących zdarzeń są możliwe (w określonej sytuacji zachodzi tylko jedno z nich): – zdarzenie Z0, polegające na tym, że wystąpił stan E0 oraz L0-krotnie pojawił się syndrom S0 oraz L1-krotnie pojawił się syndrom S1 oraz L2-krotnie pojawił się syndrom S2 oraz ... oraz LN-krotnie pojawił się syndrom SN (jest to iloczyn logiczny zdarzeń); – zdarzenie Z1, polegające na tym, że wystąpił stan E1 oraz L0-krotnie pojawił się syndrom S0 oraz L1-krotnie pojawił się syndrom S1 oraz L2-krotnie pojawił się syndrom S2 oraz ... oraz LN-krotnie pojawił się syndrom SN; – zdarzenie Z2, polegające na tym, że wystąpił stan E2 oraz L0-krotnie pojawił się syndrom S0 oraz L1-krotnie pojawił się syndrom S1 oraz L2-krotnie pojawił się syndrom S2 oraz ... oraz LN-krotnie pojawił się syndrom SN; ………………………………………… 6 – zdarzenie ZN, polegające na tym, że wystąpił stan EN oraz L0-krotnie pojawił się syndrom S0 oraz L1-krotnie pojawił się syndrom S1 oraz L2-krotnie pojawił się syndrom S2 oraz ... oraz LN-krotnie pojawił się syndrom SN. 6. Wyznaczyć prawdopodobieństwa możliwych zdarzeń: [( )] [P(S E )] [P(S [( )] [P(S E )] [P(S [ ] [P(S P(Z 0 ) = P0 P S 0 E 0 L0 P(Z1 ) = P1 P S 0 E1 0 L0 P (Z 2 ) = P2 P (S 0 E 2 ) E0 L1 1 2 1 1 E2 ) L0 ] [P(S L2 L2 ] L2 E1 2 E2 ) L1 [( ..... P S N E 0 )] 2 L1 1 )] )] LN [( )] [ ] ..... P S N E1 ..... P(S N E 2 ) (12.0) LN (12.1) LN (12.2) …………………………………………… [( P(Z N ) = PN P S0 E N )] [P(S L0 1 EN )] [P(S L1 2 EN )] L2 [( ..... P SN E N )] LN (12.N) gdzie: [P(S E )] i j Li – wartość prawdopodobieństwa Li-krotnego wystąpienia syndromu Si pod warunkiem wystąpienia stanu Ej; i = 0, 1, 2,..., N; j = 0, 1, 2,..., N Wartości tych prawdopodobieństw określają następujące zależności: [P(S E )] j Lj j N = ∏ R zi i =1 Lj – prawdopodobieństwo zdarzenia polegającego na Lj-krotnym wystąpieniu prawdziwego syndromu Sj pod warunkiem istnienia stanu Ej czyli na tym, że wszystkie symptomy pozytywne i negatywne zostaną Lj-krotnie odczytane bezbłędnie (nie zostaną zakłócone); j = 0, 1, 2,…, N; [P(S E )] j 0 N Lj ( ) = 1 − R zj ∏ R zi i =1 i≠ j Lj – prawdopodobieństwo zdarzenia polegającego na Lj-krotnym wystąpieniu fałszywego syndromu Sj pod warunkiem istnienia stanu E0 czyli na tym, że pozytywny symptom sj zostanie odczytany fałszywie jako symptom negatywny oraz, że wszystkie pozostałe symptomy pozytywne zostaną Lj-krotnie odczytane bezbłędnie (nie zostaną zakłócone); j = 1, 2,…, N; [P(S E )] 0 j L0 N = (1 − R zj )∏ R zi i =1 i≠ j L0 – prawdopodobieństwo zdarzenia polegającego na L0-krotnym wystąpieniu fałszywego syndromu S0 pod warunkiem istnienia stanu Ej czyli na tym, że negatywny symptom sj zostanie odczytany fałszywie jako symptom pozytywny oraz, że wszystkie pozostałe symptomy pozytywne zostaną L0-krotnie odczytane bezbłędnie (nie zostaną zakłócone); j = 1, 2,…, N; 7 [P(S E )] j k Lj N = (1 − R zk )(1 − R zj )∏ R zi i =1 i≠ j i≠ k Lj – prawdopodobieństwo zdarzenia polegającego na Lj-krotnym wystąpieniu fałszywego syndromu Sj pod warunkiem istnienia stanu Ek czyli na tym, że negatywny symptom sk zostanie odczytany fałszywie jako symptom pozytywny oraz, że pozytywny symptom sj zostanie odczytany fałszywie jako symptom negatywny oraz, że wszystkie pozostałe symptomy pozytywne zostaną Lj-krotnie odczytane bezbłędnie (nie zostaną zakłócone); j = 1, 2,..., N; k = 1, 2,..., N 7. Wyznaczyć względne prawdopodobieństwa a’posteriori stanów obiektu (na mocy poczynionych założeń zaistnienie zdarzenia Zn jest równoznaczne z zaistnieniem stanu En): ( ) P E n L = P(Z n L ) = P(Z n ) N ∑ P(Z ) (13) i i=0 gdzie: n = 0, 1, 2, ... , N; L – zbiór podzbiorów uznanych (tj. przyjętych) syndromów. 3. OBJAŚNIENIA WYKONAWCZE Przyjmijmy następujące oznaczenia: LS – liczba sesji diagnostycznych zrealizowanych w badaniu niezawodności diagnoz; Lt – liczba testowań syndromowych w sesji; LD(2), LD(3) – liczba diagnoz przyjętych – odpowiednio wg kryterium (2) lub (2) + (3); LDr(2), LDr(3) – liczba prawdziwych diagnoz przyjętych – odpowiednio wg kryterium (2) lub (2) + (3); LDf(2), LDf(3) – liczba fałszywych diagnoz przyjętych – odpowiednio wg kryterium (2) lub (2) + (3); t1t – czas realizacji jednego testu (w ćwiczeniu przyjmujemy, że jest to jednostka umowna czasu i przypisujemy jej wartość: t1t = 1); QZ – prawdopodobieństwo zakłócenia symptomu Sm; Pp(Sn) = (1 – Qz)8 – prawdopodobieństwo a’priori prawdziwości syndromu; P(En│L) – prawdopodobieństwo a’posteriori stanu En (tym samym – na mocy podanych w pkt. 2 założeń – jest to prawdopodobieństwo a’posteriori prawdziwości syndromu wskazującego na ten stan); P(D, Ek)gr – wartość graniczna prawdopodobieństwa prawdziwości przyjętej diagnozy wskazującej na k-ty stan niezdatności – przy kryterium (2) +(3) (w ćwiczeniu przyjmujemy identyczne wartości graniczne dla wszystkich rozróżnianych stanów niezdatności; k = 1, 2, . . , 8); P(D, Eo)gr – wartość graniczna prawdopodobieństwa prawdziwości przyjętej diagnozy wskazującej na stan zdatności obiektu – przy kryterium (2) + (3). 8 Wskaźniki charakteryzujące uzyskane wyniki badania przy kryterium (2): W1 (2 ) = W2 (2 ) = W3 (2 ) = L D (2) — średnia skuteczność sesji; LS L D r (2 ) — niezawodność (wiarygodność) przyjętej diagnozy; L D (2 ) LS L t t1t L D (2 ) — średni czas uzyskania przyjętej diagnozy (jako wielokrotność czasu testowania). Wskaźniki charakteryzujące uzyskane wyniki przy kryterium (2) + (3): W1 (3) = W2 (3) = W3 (3) = L D (3) — średnia skuteczność sesji; LS L D r (3) L D (3) — niezawodność przyjętej diagnozy; LS L t t1t L D (3) — średni czas uzyskania przyjętej diagnozy (jako wielokrotność czasu testowania). 4. ZADANIE 1. Uruchomić programy BND(S)-2008-1 oraz BND(S)-2008-2. 2. Dla każdego programu zrealizować po 500 sesji diagnostycznych dla wybranych wartości prawdopodobieństwa zakłócenia symptomu QZ. Realizacja sesji: wyzerować liczniki używając wskazanego pola, a następnie ustawić kursor na wskazanym, zielonym polu i naciskać klawisz „delete”. 3. Wypełnić załączone tabele (nr 1 i nr 2) uzyskanymi wynikami. 4. Obliczyć wskaźniki charakteryzujące uzyskane wyniki wg przytoczonych wyżej wzorów. 5. Przeprowadzić dyskusję uzyskanych wyników i wskaźników. Dokonać oceny niezawodności diagnoz. 9