dr hab. Jarosław Górniak

Szacowanie przyczynowego wpływu interwencji:
funkcje, walory, ograniczenia oraz relacje z innymi podejściami w ewaluacji
prof.drhab.JarosławGórniak
UniwersytetJagielloński
IIIMiędzyregionalnaKonferencjaEwaluacyjna
Nowewyzwaniadlaewaluacjiprogramówoperacyjnychwperspektywie2014-2020
Toruń,21-22czerwca2016
Dwa kluczowe podejścia do ewaluacji
• Ewaluacjaopartaoteorięprogramu(wtymewaluacjarealistyczna)
• Programmożebyćtraktowanyjakohipoteza,żeokreślonychwarunkach
wdrożenieokreślonegozestawuprzedsięwzięćwoparciuozałożonezasoby
przyniesiezaplanowaneefekty
• Celemewaluacjijestobserwacjaiwyjaśnieniezmianywkategoriachzałożeń
(częstonieujawnianychwprogramie)dotyczącychwykorzystania
właściwychzasobówwwłaściwiedobranychdziałańzmierzającychdo
założonychefektów
• Odtworzenieteoriiprogramu–jegomodelulogicznego,awewaluacji
realistycznej:mechanizmugenerującegoefektywdanychwarunkach–jest
podstawątrafnościewaluacjiiużytecznościtakżedlainnychprogramów
• Ewaluacjaefektów
• Jaknajlepszypomiarefektów:trafny,rzetelnyobiektywny
• Pomiartozestawobserwacji,którezmniejszająniepewnośćiktóremożnawyrazić
jakoliczbę
• Ustalenieefektunetto,czyliwielkościzmianywywołanejprzyczynowoprzez
program:różnicamiędzyuzyskanymwynikiem,aoszacowanymdlasytuacji,
gdybyniepodjętodziałania–przykład:edukacyjnawartośćdodana
• Obecniegłównynurtteoriiewaluacjiopowiadasięzasyntezątych
podejść–alejaktakasyntezapowinnawyglądać?
Ewaluacja oparta o teorię programu
• Istotąpodejściaopartegooteorięprogramubyłoodtworzeniezałożonegoprzez
decydentówmodeluzależnościzaplanowanychefektówoddobranychinstrumentów
działania.
• Rekonstrukcjateoriiprogramuiteoriiwdrożeniapozwalanazrozumienieprzebiegu
interwencjipoprzezodczytaniemotywówdecyzji.
• Ewaluacjapodążazaprocesemwdrożeniainterwencjidostarczająclepszego
zrozumieniauwarunkowańpowodzeniainiepowodzeniawrealizacjiprogramuoraz
określeniaużytecznościuzyskanychwyników.
• TBEdajedobrywglądwzłożonośćwarunkówrealizacjiisukcesubądźporażki
programuorazwpowiązaniapomiędzyczynnikamiskładającymisięnatewarunki.
• ProblememTBEjestsłabeoddzielenieefektówprogramuodefektówoddziaływania
innychczynnikówwotoczeniuistądzakłócenieobrazuwielkościefektu,którymożna
przypisaćinterwencjioraznajczęściejjakościowycharakterwyników.
Trzy problemy, przed którymi staje ewaluacja
James Heckmann
• Ewaluacjiwpływu(przyczynowego)przeszłychinterwencjina
obserwowaneefekty,wtymwichwpływnadobrobytosób,naktóre
interwencjajestukierunkowana.
• Przewidywaniewpływuinterwencjijużwdrożonychwjednym
środowiskuwinnychśrodowiskach,zuwzględnieniemdobrobytu.
• Przewidywanieefektówinterwencjinigdyniewprowadzanychw
nowychwarunkachśrodowiskowych,zuwzględnieniemskutkówdla
dobrobytu
(Heckmann2005,s.8)
Poza eksperyment
• „Złotymstandardem”badaniaprzyczynowegojesteksperyment
randomizowany
• Wewaluacjiograniczonesąmożliwościopieraniasięna
eksperymentach
• Szacowanieefektunettowoparciuometodydającezbliżonyefektdo:
• Planurandomizowanego–propensityscorematching
• Randomizowanegoplanublokowego–corsendexactmatching
• Wynikieksperymentuiekwiwalentnychplanówkontrfaktycznychmają
ograniczonewalorypoznawcze:
• Otrzymujemyoszacowanieefektu
• Niemamywgląduwmechanizmspołecznywramachktóregoprogramdziała
Problemy z randomizowanym
planem eksperymentalnym
Ograniczenia planu randomizowanego
• Może wystąpić tzw. „obciążenie randomizacyjne” oszacowań (Heckman
i Smith, 1995): mierzony jest raczej efekt zamiaru uczestnictwa niż efekt
uczestnictwa w programie (uczestnicy mogą odpaść, a nie-uczestnicy
mogą znaleźć substytuty)
• Także badania eksperymentalne mogą prowadzić do błędnych wniosków
• Badania skoncentrowane jedynie na ustaleniu wielkości efektu netto
mają ograniczone walory dla procesu uczenia się decydentów
publicznych
• Konieczne jest zrozumienie wpływu przyczynowego programu w
szerszym kontekście jego działania.
prosty eksperyment
X–bodziec(randomizacja)
Y–wynikpomiaruefektu
η1,η2–zmiennelatentne(np.
potrzebadomknięciaiskłonność
douprzedzeń)
Problemy:
- Jaksilniebodziecdziałanaη1?
- Jakdobryjestpomiarefektu?
- Jeślisłabo–wynikmożebyć
nieistotnynawetgdywpływ
jestsilny
KennethA.BolleniJudeaPerl,2012
Inny mechanizm
przyczynowy?
- Xdziałanainną
zmienną,która
wpływanalatentną
zmiennązależną
- XiYpozostająw
istotnejstatystycznie
zależności
Inny mechanizm 2
- ZależnośćmiędzyXa
Yjestistotna
- η1niewpływanaη2
- Bodziecwpływana
innązmienną-η4,
którawpływanaη2
W kierunku syntezy
Wielkość efektu a rozliczalność wydatków
publicznych
• Misjąewaluacjijestwsparcierozliczalności/odpowiedzialności
(accountability)instytucjipublicznychwobecobywateli.
• Presjapolitycznanadowodyracjonalnościwzakresiewydatków
publicznychioczekiwaniekoncentracjiprogramówiewaluacjina
efektach(Barcaiin.2011)
• Roladowodówzewaluacjiwprocesieuzasadnieniadecyzjiw
politykachpublicznych:czydowodytemająznaczenie?
• Wynikiewaluacjijakowkładdodecyzyjnego„koszanaśmieci”(Cohen,
March,Olsen):pozateorięprogramu
White’a theory based impact evaluation
(2009)
1. Nakreśl(mapout)łańcuchprzyczynowy(teorięprogramu)
2. Zrozumkontekst
3. Antycypujheterogeniczność
4. Rygorystycznaewaluacjawpływuzużyciemwiarygodnego
podejściakontrfaktycznego
• 5. Rygorystycznaanalizastanufaktycznego
• 6. Używajmetodmieszanych
•
•
•
•
Jak powiązać podejście oparte o teorię programu z
badaniem wpływu przyczynowego interwencji
• WynikiemfazyTBEpowinienbyćmodelmechanizmuprzyczynowegowramach
któregointerwencjaprowadzidooczekiwanejzmiany.
• NależywykorzystaćjęzykAcyklicznychGrafówUkierunkowanych(ADG)do
opisumodelutegomechanizmuzkoncentracjąnainterwencjijakobodźcu
(exposure)izałożonejzmianiejakoefekcie.
• Należyustalićminimalnyzestawcech,którychkontrolajestniezbędnadla
wyeliminowaniazakłóceniaobrazuzależnościmiędzyinterwencjąaefektem
przeztzw.„tylnedrzwi”
• Natejpodstawienależyzaplanowaćprocespomiaruilościowego
zoperacjonalizowanychzmiennychchodzącychwskładminimalnegozestawu
• Wreszcie,należydokonaćoszacowaniaefektuprzyczynowegowwarunkach
kontrolipotencjalnychzmiennychzakłócających.
Skierowany graf acykliczny (Pearl 2000)
Co muszę zmierzyć, by wiedzieć, jak X wpływa na Y?
Z1
Z3
Z2
Z4
Z6
Z5
Z7
Z8
Z9
Z11
Y
Z10
X
33
Jak zbudować DAG
1. Ustalićcojestinterwencją,acowynikiem
2. Przeprowadzićgłównąścieżkę/iprzyczynowegooddziaływaniainterwencjina
efektuwzględniającwszystkiepotencjalnemediatory.
3. Należydodaćdomodeluwszystkiezmienne,któremogąprzyczynowo
wpływaćnawynikinterwencji.
4. Wskazaćoddziaływaniaprzyczynowepomiędzywszystkimizmiennymi
wpływającyminawynikinterwencjiainterwencją.
5. Ustalić,czywystępująjeszczejakiekolwiekzależnościprzyczynowepomiędzy
którymikolwiekzmiennymiuwzględnionymiwmodeluiuwzględnić
reprezentującejestrzałkiwmodelu.
6. Ustalićdlakażdejparyzmiennych,czyistniejąjakiekolwiekzmienne,które
wpływająprzyczynowonaparę.
• TalistakrokówzostałasporządzonanapodstawieznakomitegowykładuScottaVennersa
umieszczonegowyoutube.com:https://www.youtube.com/watch?v=pJhU4fimHBQ
Proponowane kroki w ewaluacji
1. Najpierwdziałamywramachpodejściaewaluacjiopartejnateoriiprogramu,
najlepiejwbardziejzaawansowanymwydaniu,zbliżonymdoewaluacji
realistycznej.
2. Woparciuoustaleniaetapu1.konstruujemyukierunkowanygrafacykliczny(DAG)
lubpanelSWIGreprezentującyścieżkędziałaniainterwencjinaefektiustalamy
minimalnyzestawzmiennychpodlegającychkontroli,bymożnabyłobezzakłócenia
przeztzw.„tylnedrzwi”oszacowaćzależnośćprzyczynową.
3. ProjektujemyplangromadzeniadanychzgodniezwynikamianalizyDAGz
uwzględnieniemwymogówpomiaru,m.in.ilustrowanychwyżej.
4. Realizujemystaranniebadanie.
5. Szacujemyparametrymodeluprzyczynowego.
6. Podsumowujemywynikiewaluacjiopisującmechanizmdziałającyupodstaw
programuorazprzedstawiającwielkośćefektuwywołanegoprzezinterwencję.