Ocena umiejętności

Zadanie 4: Zaawansowane techniki
edukacyjne w naukach medycznych.
Ocena umiejętności i postaw
Dariusz Kubicz
Agata Stalmach-Przygoda
Ocena umiejętności – Agata Stalmach-Przygoda
Ocena postaw i kompetencji Anna Kocurek
www.ed.ac.uk
Ocena umiejętności-plan zajęć
Wstęp
Egzamin kliniczny -przyłóżkowy
Mini-Cex Mini Clinical Evaluation Exercise
DOPS - Direct Observation of Procedural Skills
OSCE
Kliniczny egzamin
Kliniczny egzamin przyłóżkowy
Wady?
Zalety ?
Mini-CEX
Mini Cex –Mini Clinical Evaluation Exercise
10-20 min obserwacji studenta w realnych
sytuacjach. Ocena umiejętności
przeprowadzenia wywiadu, umiejętności
komunikacyjnych, badania fizykalnego.
Często używana do oceny formatywnej
Mini-CEX
http://www.abim.org/program-directorsadministrators/assessment-tools/minicex.aspx#guidelines
DOPS-
Direct Observation of Procedural Skills
Do oceny procedur, które są ważne a technicznie wymagające np.
opatrywanie ran, cytologia, badanie piersi, badanie prostaty,
badanie per rectum.
RCGP- 8 procedur obowiązkowych, można zaliczać w trakcie
szkolenia u wyznaczonych obserawtorów
OSCE-
Objective
Structured
Clinical
Examination
Warunek konieczny udanego OSCE?
rzetelne przygotowanie egzaminu
zaangażowanie personelu
Elementy projektu OSCE
Blueprintinting: pewność że treść egzaminu
zgadza się z efektami kształcenia (LO) kursu↑ trafności
Opracowanie stacji: dobrze funkcjonujący
scenariusz
Trening egzaminatorów: zaangażowanie
egzaminatorów, konsekwentne, spójne
ocenianie ↑ rzetelności
Trening symulowanych pacjentów: spójne,
powtarzalne odgrywanie roli – każdy kandydat
ma to samo zadanie- ↑ rzetelności
Organizacja- dokładny plan- ↑ łatwość
Projekt wstępny- blueprinting
Identyfikacja treści oraz umiejętności które
mają być oceniane
Specyfikacja celów (learning objectives)oraz ich wagi
Właściwy projekt – większa trafność (validity)
egzaminu
Projekt wstępny- blueprinting
Matryca treść x umiejętność np. układy x
„zadania lekarskie”
Wybór choroby/problemu medycznego dla
każdego układu
Połączenie „zadania lekarskiego”- z
określoną chorobą / problemem medycznym
„X” w każdej kolumnie i wierszu
Określenie najbardziej odpowiedniego
zadania
Blueprinting-matryca
Ukł.
Krąz.
Wywiad
Ukł odech.
X
Badanie fiz.
Ukł. Pok.
X
X
X
Planowanie
działania
X
X
Patofizjologia
Epidemiologia
X
X
CSN
X
Interpretacja
danych
Prewencja
Ukł.
moczowy
X
Blueprinting-matryca c.d
Ukł. Krąż.
Wywiad
Ukł.
Oddech.
bóle w
klatce
hemipareza
ostra
oliguria
bóle
dysuria
nadbrzusz
a
Planowanie
działania
hiperchole
sterolemia
Patofizjologia
astma
nadciśnien
ie
CSN
Krew z
odbytu
Interpretacja
danych
Epidemiologia
Ukł
mocz.
duszność
Badanie fiz.
Prewencja
Ukł.
Pokar.
Blueprinting-matryca cd
Ukł.
Krąż.
Wywiad
Ukl.
oddechowy
OSCE
Badanie fiz.
Ukł
pokarm.
OSCE
OSCE
Test
pisemny
Planowanie
działania
Test
pisemny
Test
pisemny
Patofizjologia
Epidemiologia
OSCE
Test
pisemny
CSN
OSCE
Interpretacja
danych
Prewencja
Ukł.moczo
Test
pisemny
Blueprinting- przykłady c.d
Wywiad
Objaśnianie
Badanie
fizykalne
Procedura
CVS
Bóle w
klatce
Leki przy
wypisie
Bad. serca
BP
Respiratory
Krwioplucie
Badanie
płuc
Peakflometri
a
GI
Ból brzucha
Badanie
brzucha
PR
Reprodactive
Amenorrhoe Nieprawidłowa
a
cytologia
Pobieranie
cytologii
Nervous
Ból głowy
Badanie
oczu
Musculoscel.
Bóle
grzbietu
Badanie
biodra
Generic
Ocena
Przed
operacyj.
Gastroskopia
Zgoda na
badanie
postmortem
oftalmoskopi
a
Wkłucie
dożylne
OSCE w ZDM
Układ
oddecho
wy
Male
badanie
Duże
badanie
Fantom
Symulator
Wywiad
Układ
krążenia
Guzy i
inne
CSN
Brzuch
Projekt stacji
Każda stacja powinna wymagać
zademonstrowania umiejętności
klinicznych oraz komunikacji i/lub
umiejętności psychomotorycznych
Typy stacji
krótkie / długie
z pacjentem/ bez pacjenta (SP, fantom,
symulator,)
z materiałami klinicznymi/bez materiałów
klinicznych
niezależne/ połączone (PEP-Post
Encounter Probe) w tym przygotowawcze
z interakcją SP/bez interakcji
wypoczynkowe
Wybór stacji
Pierwszeństwo dla częstych chorób/
problemów zdrowotnych, ewentualnie rzadkie
choroby te gdzie wczesna
diagnostyka/interwencja jest krytyczna
Pierwszeństwo dla stacji które „skłaniając”
do diagnostyki różnicowej –niezbyt proste
ani jednoznaczne.
Jeżeli tylko możliwe- oparte na faktach
Zadanie odpowiednie do oczekiwanego
poziomu studenta/odpowiedni czas
Opracowanie stacji
Zawartość: co chcemy żeby sprawdzała
Jasna instrukcja dla kandydata
Jasna instrukcja dla egzaminatora
(zawierająca kopie instrukcji dla kandydata)
Schemat oceny (kryteria zaliczenia stacji,
kryteria zaliczenia egzaminu, stacje
krytyczne)
Lista wyposażenia (formularze, komunikacja
pisemna)
Wymagania personalne
Scenariusz symulowanego pacjenta
Instrukcja dla kandydata
Zwięzła i jednoznaczna
Powinna zawierać opis okoliczności- gdzie
jestem?
Podany czas
Może wisieć na drzwiach
Jeżeli trzeba może zawierać opis tego czego
nie trzeba zrobić
Instrukcja dla symulowanego
pacjenta
Główna dolegliwość podana dosłownie
Instrukcja w II-osobie
Przewidzieć pytania, podpowiedzi
Podkreślić wagę standaryzacji (trzyma się
faktów, fakty z wywiadu lub badania nie
wymienione w skrypcie uważa się za
negatywne, nie dramatyzuje)
Instrukcja dla oceniającego
Precyzyjne checklisty
– „waga” określonych czynności
– punkt odcięcia
– listy binarne, 3 stopniowe, 5 stopniowe
– zawiera kopie zadania
Listy znane dla symulowanego pacjenta
Nie-lekarz jako oceniający? Symulowany
pacjent jako oceniający?
Global rating lepsze niż checlisty?
Kryteria zaliczenia
Metoda stałego procentu (Fix Percentage)
Metoda Hofstee- metoda kompromisu
Metoda Angoffa- z modyfikacją dla OSCE
Metoda Borderline group
Kryteria zaliczenia
Metoda stałego procentu –odsetek zdających
ustalony z góry przez egzaminatorówmetoda nie zależna od zawartości testu ani
kompetencji kandydatów
Kryteria zaliczenia
Metoda Hofstee- metoda kompromisu
pomiędzy ocenianiem „relatywnym” a
„absolutnym”
• Określenie maksymalnego i minimalnego
tolerowanego punktu odcięcia
• Określenie maksymalnej i minimalnej
tolerowalnej liczby niezdających
• Sporządzenie wykresu wyznaczanie
„skrzynki” i punktu odcięcia
• Określenie czy standardy określone w
stosunku do kryteriów mieszczą się w
„skrzynce”
Kryteria zaliczenia
Metoda Hofstee-
Kryteria zaliczenia
Metoda Angoffa- z modyfikacją dla OSCE
• Grupa jurorów ocenia poszczególne zadania
testu
• Każdy z nich określa odsetek studentów
granicznych którzy powinni odpowiedzieć na
to pytanie
• Wartości sumuje się dla każdego jurora
• Te określa się średnią ze wszystkich jurorów
Określić wagę każego pytania w checkliście?
W modyfiakacji punkt odcięcia dla całej stacji
Kryteria zaliczenia
Metoda Borderline Group
Punkty do zdania takie jakie otrzymałby student
„graniczny student” nie całkiem zadawalający ale
jeszcze nie niezadawalający
1. Zdefiniuj zadawalający niezadawalający i graniczny
poziom umiejętności
2. Zidentyfikuj „granicznych” egzaminowanych
3. Zbierz wyniki „granicznych” egzaminowanych
4. Ustal punkt odcięcia na medianie wyników studentów
granicznych
Kryteria zaliczenia
Metoda Borderline
Egzaminator przy każdej stacji –checklista +
global rating
(pass –borderline-fail lub outstanding-clear
pass- borderline pass-borderlinefail- poorinadequate)
U kandydatów granicznych wyciąga się punkty
i wylicza średnią i to decyduje o tym czy zdali
Kryteria zaliczenia„Passing Scores
A Manual for Settings Standarts of
Performance on Educational and
Occupational Testis”
Samuel A. Livingston
Michael J. Zieky
Logistyka
Ilu kandydatów? Ile stacji? Jak długie są
stacje? Jak się zmieścić?
Ile stacji ( trafność vs trudność
organizacji)? – minimum 10, egzaminy
sumatywne minimum 2h
Przykład 60 kandydatów 10 10-min stacji
• 10 na raz, 6 „rund”- czasochłonne- 6 h
• Duplikujemy stacje 20 naraz- 3 „rundy”
• Potrajamy stacje 30 naraz-2”rundy”-trwa 2h ale wymaga
30 egzaminatorów
Logistyka c.d
przygotowanie
8
7
1
2
Sala oczekujących- wspólna
instrukcja
Stacja wypoczynka-1 na 40
min
Grupować stacje o jednej
długości
Dublować dłuższe stacje
6
5
3
odpoczynek
4
Lokalizacja
Idealny korytarz z pomieszczeniami po obu
stronach – dający się odizolować- kolejne
pomieszczenia blisko siebie, wyposażone w
potrzebny sprzęt np. leżanki umywalki
(przychodnia w weekend)
Pokoje egzaminacyjne + pokój
administracyjny+ poczekalnia +pokój socjalny
dla egzaminatorów i pacjentów
symulowanych)
Personel
Egzaminujący- zwykle lekarz
Identyfikuje kandydata wpisując jego
nazwisko lub numer na checkliste lub
formularz zaliczenia
Wypełnia checkliste w trakcie egzaminu
dodatkowe dokumenty np. global ratings
wypełnia pomiędzy „zmianami”
Nieobecny.
Personel
Egzaminujący- standaryzowany pacjent?
SP- może oceniać egzaminowanego ale musi
być tego nauczony
Dobra korelacja z ocenami „eksperów”
Zwykle używa checklist
Petrusa ER. Taking standardized patient-based examinations to the next level.
Teaching and learning in Medicine 2004; 16:98-110
Van der Vleuten CPM and Swanson DB. Assessment of clinical skills with
standardised patients: state of the art. T
eaching a Learning in Medicine 1990; 2:58-76
Personel C.D
Pacjent Standaryzowany SPodpowiedzialny i przeszkolony (trening 2
sesje po 1,5-2h)
Inni ;-): timekeeper, bell
ringers/doorknockers/whistle blowers,
orientation leaders, escorts, chaperons,
PEP collectors
Zaopatrzenie
Znaki- numery stacji, strzałki
Mapki lub kolejności stacji
Instrukcja wstępna
Instrukcje do stacji
Checklisty (co najmniej tyle co kandydatów)
Tabele wyników- dla każdego studenta
Catering
Przykłady scenariuszy
56 letnia kobieta zgłasza się do Oddziału
Ratunkowego z powodu 3h bólu
zamostkowego. Pielęgniarka podaje Ci
EKG.
Zbierz wywiad z uwzględnieniem możliwej
etiologii, przeprowadź badanie fizykalne.
Zinterpretuje EKG.
Przykłady scenariuszy
38 letni mężczyzna z cukrzycą typu I
zgłasza się do gabinetu lekarza
rodzinnego na rutynowe badania.
Przeprowadź wywiad zogniskowany oraz
przeprowadź badanie dna oka u tego
pacjenta. Opisz wynik badania
Przykłady scenariuszy
61 letnia kobieta zgłasza się do lekarza
rodzinnego z powodu samodzielnie
wybadanego guzka piersi.
Zbierz wywiad z ogniskowany na
czynnikach ryzyka złośliwości tego
procesu
Post Encounter Probe- stacje
powiązane
Stacja 1: Instrukcja dla kandydata
Pacjent którego zaraz poznasz zgłosił się
do SOR z powodu bólu brzucha. Proszę
zebrać wywiad dotyczący tych dolegliwości
(Masz 5 minut na to zadanie)
Post Encounter Probe- stacje
powiązane
Stacja 2: Instrukcja dla kandydata
W oparciu o informacje zebrane od pacjenta
z poprzedniego zadania, przeprowadź
diagnostykę różnicową. Jakie testy
laboratoryjne byś mu zlecił?
(Masz 5 minut na to zadanie)
stacja zadanie
sposób oceny
czas
1
Guz piersi -porada
Stacja przygotowawcza
5min
2
Guz piersi- porada
Bezpośr. Obserwacja
checklist - SP
5
3
Interpretacja RTG
Short answer questions
5
4
Badanie dłoni
Bezpośr. Obs. checklist –
pacjent z RZS
5
5
Odpoczynek
6
Interpretacja audiogramu
Short answer questions
5
7
Wywiad w astmie
Bezposred obs
checklistSP
5
8
Oftalmoskopia w zaćmie
Bez. Obs checklist pacjent
5
9
Interpretacja CT
Short answer questions
5
10
Reanimacja
Bezposrednia obserwacja
manekin
5
5
Przykłady-Checklists
Przeprowadź badanie neurologiczne kończyn dolnych szukając
objawów uszkodzenia górnego neuronu motorycznego. Powiedz
co oczekujesz znaleźć
Przykłady-Checklists
OSCE na wielką skale- USMLE
12 stacji 15 minut spotkania z pacjentem +
10 minut notatki
8 godzin, 2 przerwy
stacje niepunktowane
dwa zadania na stację np. wywiad i badanie
lub wywiad i porada
w opisie zawsze podane dane osobowe,
okoliczności wizyty i czynności życiowe
egzamin nagrywany
OSCE take home message
OSCE jest przydatny do oceny biegłości w
zakresie umiejętności w tym klinicznych
Jeżeli chcesz ocenić coś co można dobrze
cenić przez inne formy egzaminu – użyj
innej formy egzaminu być może będzie to
tańsze i mniej czasochłonne
Zaliczenie
Projekt stacji OSCE jako składowa Portfolio
1 instrukcja dla kandydata
2 instrukcja dla egzaminatora w tym cheklista,
kryteria zaliczenia stacji, punkty „krytyczne” jeżeli są
3 Scenariusz symulowanego pacjenta- krótki !
Najlepiej stacja do sprawdzenia umiejętności
nauczanych na „własnym„ przedmiocie
Nie więcej niż strona A4 –
Pytania?
Dziękuję za uwagę