dr hab. Jarosław Górniak
Transkrypt
dr hab. Jarosław Górniak
Szacowanie przyczynowego wpływu interwencji: funkcje, walory, ograniczenia oraz relacje z innymi podejściami w ewaluacji prof.drhab.JarosławGórniak UniwersytetJagielloński IIIMiędzyregionalnaKonferencjaEwaluacyjna Nowewyzwaniadlaewaluacjiprogramówoperacyjnychwperspektywie2014-2020 Toruń,21-22czerwca2016 Dwa kluczowe podejścia do ewaluacji • Ewaluacjaopartaoteorięprogramu(wtymewaluacjarealistyczna) • Programmożebyćtraktowanyjakohipoteza,żeokreślonychwarunkach wdrożenieokreślonegozestawuprzedsięwzięćwoparciuozałożonezasoby przyniesiezaplanowaneefekty • Celemewaluacjijestobserwacjaiwyjaśnieniezmianywkategoriachzałożeń (częstonieujawnianychwprogramie)dotyczącychwykorzystania właściwychzasobówwwłaściwiedobranychdziałańzmierzającychdo założonychefektów • Odtworzenieteoriiprogramu–jegomodelulogicznego,awewaluacji realistycznej:mechanizmugenerującegoefektywdanychwarunkach–jest podstawątrafnościewaluacjiiużytecznościtakżedlainnychprogramów • Ewaluacjaefektów • Jaknajlepszypomiarefektów:trafny,rzetelnyobiektywny • Pomiartozestawobserwacji,którezmniejszająniepewnośćiktóremożnawyrazić jakoliczbę • Ustalenieefektunetto,czyliwielkościzmianywywołanejprzyczynowoprzez program:różnicamiędzyuzyskanymwynikiem,aoszacowanymdlasytuacji, gdybyniepodjętodziałania–przykład:edukacyjnawartośćdodana • Obecniegłównynurtteoriiewaluacjiopowiadasięzasyntezątych podejść–alejaktakasyntezapowinnawyglądać? Ewaluacja oparta o teorię programu • Istotąpodejściaopartegooteorięprogramubyłoodtworzeniezałożonegoprzez decydentówmodeluzależnościzaplanowanychefektówoddobranychinstrumentów działania. • Rekonstrukcjateoriiprogramuiteoriiwdrożeniapozwalanazrozumienieprzebiegu interwencjipoprzezodczytaniemotywówdecyzji. • Ewaluacjapodążazaprocesemwdrożeniainterwencjidostarczająclepszego zrozumieniauwarunkowańpowodzeniainiepowodzeniawrealizacjiprogramuoraz określeniaużytecznościuzyskanychwyników. • TBEdajedobrywglądwzłożonośćwarunkówrealizacjiisukcesubądźporażki programuorazwpowiązaniapomiędzyczynnikamiskładającymisięnatewarunki. • ProblememTBEjestsłabeoddzielenieefektówprogramuodefektówoddziaływania innychczynnikówwotoczeniuistądzakłócenieobrazuwielkościefektu,którymożna przypisaćinterwencjioraznajczęściejjakościowycharakterwyników. Trzy problemy, przed którymi staje ewaluacja James Heckmann • Ewaluacjiwpływu(przyczynowego)przeszłychinterwencjina obserwowaneefekty,wtymwichwpływnadobrobytosób,naktóre interwencjajestukierunkowana. • Przewidywaniewpływuinterwencjijużwdrożonychwjednym środowiskuwinnychśrodowiskach,zuwzględnieniemdobrobytu. • Przewidywanieefektówinterwencjinigdyniewprowadzanychw nowychwarunkachśrodowiskowych,zuwzględnieniemskutkówdla dobrobytu (Heckmann2005,s.8) Poza eksperyment • „Złotymstandardem”badaniaprzyczynowegojesteksperyment randomizowany • Wewaluacjiograniczonesąmożliwościopieraniasięna eksperymentach • Szacowanieefektunettowoparciuometodydającezbliżonyefektdo: • Planurandomizowanego–propensityscorematching • Randomizowanegoplanublokowego–corsendexactmatching • Wynikieksperymentuiekwiwalentnychplanówkontrfaktycznychmają ograniczonewalorypoznawcze: • Otrzymujemyoszacowanieefektu • Niemamywgląduwmechanizmspołecznywramachktóregoprogramdziała Problemy z randomizowanym planem eksperymentalnym Ograniczenia planu randomizowanego • Może wystąpić tzw. „obciążenie randomizacyjne” oszacowań (Heckman i Smith, 1995): mierzony jest raczej efekt zamiaru uczestnictwa niż efekt uczestnictwa w programie (uczestnicy mogą odpaść, a nie-uczestnicy mogą znaleźć substytuty) • Także badania eksperymentalne mogą prowadzić do błędnych wniosków • Badania skoncentrowane jedynie na ustaleniu wielkości efektu netto mają ograniczone walory dla procesu uczenia się decydentów publicznych • Konieczne jest zrozumienie wpływu przyczynowego programu w szerszym kontekście jego działania. prosty eksperyment X–bodziec(randomizacja) Y–wynikpomiaruefektu η1,η2–zmiennelatentne(np. potrzebadomknięciaiskłonność douprzedzeń) Problemy: - Jaksilniebodziecdziałanaη1? - Jakdobryjestpomiarefektu? - Jeślisłabo–wynikmożebyć nieistotnynawetgdywpływ jestsilny KennethA.BolleniJudeaPerl,2012 Inny mechanizm przyczynowy? - Xdziałanainną zmienną,która wpływanalatentną zmiennązależną - XiYpozostająw istotnejstatystycznie zależności Inny mechanizm 2 - ZależnośćmiędzyXa Yjestistotna - η1niewpływanaη2 - Bodziecwpływana innązmienną-η4, którawpływanaη2 W kierunku syntezy Wielkość efektu a rozliczalność wydatków publicznych • Misjąewaluacjijestwsparcierozliczalności/odpowiedzialności (accountability)instytucjipublicznychwobecobywateli. • Presjapolitycznanadowodyracjonalnościwzakresiewydatków publicznychioczekiwaniekoncentracjiprogramówiewaluacjina efektach(Barcaiin.2011) • Roladowodówzewaluacjiwprocesieuzasadnieniadecyzjiw politykachpublicznych:czydowodytemająznaczenie? • Wynikiewaluacjijakowkładdodecyzyjnego„koszanaśmieci”(Cohen, March,Olsen):pozateorięprogramu White’a theory based impact evaluation (2009) 1. Nakreśl(mapout)łańcuchprzyczynowy(teorięprogramu) 2. Zrozumkontekst 3. Antycypujheterogeniczność 4. Rygorystycznaewaluacjawpływuzużyciemwiarygodnego podejściakontrfaktycznego • 5. Rygorystycznaanalizastanufaktycznego • 6. Używajmetodmieszanych • • • • Jak powiązać podejście oparte o teorię programu z badaniem wpływu przyczynowego interwencji • WynikiemfazyTBEpowinienbyćmodelmechanizmuprzyczynowegowramach któregointerwencjaprowadzidooczekiwanejzmiany. • NależywykorzystaćjęzykAcyklicznychGrafówUkierunkowanych(ADG)do opisumodelutegomechanizmuzkoncentracjąnainterwencjijakobodźcu (exposure)izałożonejzmianiejakoefekcie. • Należyustalićminimalnyzestawcech,którychkontrolajestniezbędnadla wyeliminowaniazakłóceniaobrazuzależnościmiędzyinterwencjąaefektem przeztzw.„tylnedrzwi” • Natejpodstawienależyzaplanowaćprocespomiaruilościowego zoperacjonalizowanychzmiennychchodzącychwskładminimalnegozestawu • Wreszcie,należydokonaćoszacowaniaefektuprzyczynowegowwarunkach kontrolipotencjalnychzmiennychzakłócających. Skierowany graf acykliczny (Pearl 2000) Co muszę zmierzyć, by wiedzieć, jak X wpływa na Y? Z1 Z3 Z2 Z4 Z6 Z5 Z7 Z8 Z9 Z11 Y Z10 X 33 Jak zbudować DAG 1. Ustalićcojestinterwencją,acowynikiem 2. Przeprowadzićgłównąścieżkę/iprzyczynowegooddziaływaniainterwencjina efektuwzględniającwszystkiepotencjalnemediatory. 3. Należydodaćdomodeluwszystkiezmienne,któremogąprzyczynowo wpływaćnawynikinterwencji. 4. Wskazaćoddziaływaniaprzyczynowepomiędzywszystkimizmiennymi wpływającyminawynikinterwencjiainterwencją. 5. Ustalić,czywystępująjeszczejakiekolwiekzależnościprzyczynowepomiędzy którymikolwiekzmiennymiuwzględnionymiwmodeluiuwzględnić reprezentującejestrzałkiwmodelu. 6. Ustalićdlakażdejparyzmiennych,czyistniejąjakiekolwiekzmienne,które wpływająprzyczynowonaparę. • TalistakrokówzostałasporządzonanapodstawieznakomitegowykładuScottaVennersa umieszczonegowyoutube.com:https://www.youtube.com/watch?v=pJhU4fimHBQ Proponowane kroki w ewaluacji 1. Najpierwdziałamywramachpodejściaewaluacjiopartejnateoriiprogramu, najlepiejwbardziejzaawansowanymwydaniu,zbliżonymdoewaluacji realistycznej. 2. Woparciuoustaleniaetapu1.konstruujemyukierunkowanygrafacykliczny(DAG) lubpanelSWIGreprezentującyścieżkędziałaniainterwencjinaefektiustalamy minimalnyzestawzmiennychpodlegającychkontroli,bymożnabyłobezzakłócenia przeztzw.„tylnedrzwi”oszacowaćzależnośćprzyczynową. 3. ProjektujemyplangromadzeniadanychzgodniezwynikamianalizyDAGz uwzględnieniemwymogówpomiaru,m.in.ilustrowanychwyżej. 4. Realizujemystaranniebadanie. 5. Szacujemyparametrymodeluprzyczynowego. 6. Podsumowujemywynikiewaluacjiopisującmechanizmdziałającyupodstaw programuorazprzedstawiającwielkośćefektuwywołanegoprzezinterwencję.