Procedury badań ewaluacyjnych I, II

A. Informacje ogólne
(wypełnia koordynator
przedmiotu z wyjątkiem pól
Kod przedmiotu,
Przyporządkowanie do
grupy przedmiotów). Nazwa
pola
Nazwa przedmiotu
Jednostka prowadząca
Jednostka, dla której przedmiot
jest oferowany
Kod przedmiotu
Kod ERASMUS
Przyporządkowanie do grupy
przedmiotów
Cykl dydaktyczny, w którym
przedmiot jest realizowany
Skrócony opis przedmiotu
Forma(y)/typ(y) zajęć
Komentarz
Procedury badań ewaluacyjnych I, II
Wydział Stosowanych Nauk Społecznych i Resocjalizacji /
Instytut Stosowanych Nauk Społecznych
<nadawany przez administrację według wzoru ustalonego dla UW,
pole wypełnia pełnomocnik ds. wdrażania USOS/koordynator ds.
USOS>
(do 20 znaków)
14000
Należy zdefiniować, do jakiej grupy przedmiotów przedmiot należy
(np. minimum programowe dla kierunku x; przedmiot do wolnego
wyboru dla wszystkich kierunków; przedmioty ogólnouniwersyteckie
humanistyczne; przedmioty obowiązkowe dla I roku studiów I stopnia
na kierunku x itp.) według informacji podanych w polu Rodzaj
przedmiotu.
<pole wypełnia pełnomocnik ds. wdrażania USOS/koordynator ds.
USOS>
semestr zimowy/letni, rok akademicki 2011/2012.
Celem zajęć jest dostarczenie wiedzy i nabycie podstawowych
umiejętności umożliwiających ewaluację polityki, projektów i
programów publicznych, zarówno w fazie przygotowywania jak i oceny
przebiegu i efektów ich realizacji.
W pierwszej części zajęć przedstawione zostaną: definicje ewaluacji,
historia badań ewaluacyjnych, dominujące podejścia teoretyczne oraz
rola ewaluacji w procesie tworzenia polityk publicznych (policy
process). Omówione zostaną modele badań ewaluacyjnych,
wykorzystywanych do oceny skuteczności i efektywności działań
publicznych.
Druga część zajęć poświęcona będzie metodom badań surveyowych i
ich zastosowaniu w ewaluacji. Przedmiotem zajęć będzie przegląd
stosowanych w ewaluacji socjologicznych surveyowych (ankietowych)
technik badawczych oraz podstawowe zasady przygotowania narzędzi
badawczych i realizacji badań przy ich zastosowaniu (wywiad oraz
rożne rodzaje ankiet samodzielnie wypełnianych przez osoby badane).
Trzecia część poświęcona zostanie wykorzystaniu ewaluacji do
tworzenia polityki edukacyjnej zarówno na poziomie UE, kraju, jak i
szkoły. Mowa będzie m.in. o mierzeniu wyników nauczania, ocenie
efektywności funkcjonowania szkoły. Przedstawione zostaną
wskaźniki pozwalające ocenić jakość kształcenia i wyrównywanie
dostępu do edukacji.
Przedmiot realizowany jest w formie konwersatorium, obejmującego
wykłady i ćwiczenia praktyczne - 60 godzin zajęć
1
Pełny opis przedmiotu
W ostatnich latach badania ewaluacyjne, rozumiane jako ocena
przedsięwzięć prowadzonych przez władze publiczne, stały się jednym
z najszybciej rozwijających się dyscyplin naukowych. Rosnące
zainteresowanie badaniami ewaluacyjnymi jest efektem zarówno
coraz większych możliwości poznawania i wyjaśniania rzeczywistości
przez nauki społeczne, jak też wynika z powszechnie artykułowanych
oczekiwań dotyczących praktycznych funkcji nauk społecznych.
W Polsce, zainteresowanie ewaluacją jest w znaczącym stopniu
konsekwencją akcesji Polski do Unii Europejskiej. Przepisy Unii
Europejskiej wymagają prowadzenia ewaluacji wszystkich programów
i projektów unijnych. Stąd też, różne formy badań ewaluacyjnych stały
się istotnym elementem cyklu zarządzania funduszami europejskimi.
Prowadzenie ewaluacji wymaga wykształcenia licznej grupy
ekspertów-ewaluatorów zatrudnianych zarówno w administracji
publicznej, jak i w ośrodkach naukowych i firmach badawczych
oceniających efekty działań publicznych.
Celem zajęć jest przekazanie wiedzy i nabycie podstawowych
umiejętności wykorzystywanych przy ocenie planowania, przebiegu i
efektów działań publicznych.
W pierwszej części zajęć przedstawione zostaną definicje i rodzaje
ewaluacji, historia badań ewaluacyjnych, dominujące podejścia
teoretyczne oraz rola ewaluacji w procesie tworzenia polityk
publicznych (policy process). Zaprezentowane zostaną kluczowe
elementy ewaluacji: procedury diagnostyczne (m.in. diagnoza
warunków społecznych i potrzeb, identyfikacja problemów,
identyfikacja przedmiotów interwencji), metody określania adresatów,
monitorowania działań publicznych (m.in. monitorowanie zasięgu
działania programów i ich realizacji), metody oceny skuteczności
(metody badań ilościowych i jakościowych), metody oceny
efektywności (cost effectivness analysis, metoda cost benefit
analysis), a także społeczne i organizacyjne aspekty zamawiania i
prowadzenia ewaluacji.
Druga część zajęć poświęcona zostanie metodom badań surveyowych
w ewaluacji: Celem zajęć będzie dostarczenie podstawowej,
osadzonej w praktyce badawczej wiedzy w zakresie technik
surveyowych (ankietowych) stosowanych w ewaluacji. Obejmą one
etap konceptualizacji badania, podstawowe zasady przygotowania
kwestionariusza/ankiety i pozostałych narzędzi badawczych oraz
realizacji terenowej badania. Przedmiotem zajęć będą następujące
techniki badawcze: wywiad osobisty (kwestionariuszowy i
wspomagany komputerowo-CAPI), telefoniczny, ankieta pocztowa,
pod kontrolą, roznoszona, internetowa oraz audytoryjna
Część trzecia zaprezentuje wykorzystanie ewaluacji w polityce
edukacyjnej i w edukacji. Celem polityki edukacyjnej [a także innych
polityk] jest jakość, efektywność i równość w dostępie do kształcenia.
Ewaluacja instytucji edukacyjnych powinna wspomagać osiąganie tych
celów. Przedstawione zostaną podstawowe pojęcia i wskaźniki
charakteryzujące funkcjonowanie edukacji i kształcenie: kompetencje,
testy, krajowe ramy kwalifikacji, wartość dodana.
Zajęcia obejmować będą zarówno wykłady przekazujące wiedzę na
tematy omawiane w trakcie zajęć, uzupełnione o wybrane przykłady
badań ewaluacyjnych, jak i praktyczne ćwiczenia kształtujące
umiejętności niezbędne do prowadzenia ewaluacji.
2
Wymagania
wstępne
Wymagania
formalne
Studenci studiów II stopnia prowadzonych w Instytucie Stosowanych
Nauk Społecznych
Założenia
wstępne
Efekty uczenia się
Po ukończeniu zajęć student:
rozumie mechanizmy tworzenia i realizacji projektów i
programów publicznych
posiada wiedzę o rodzajach badań ewaluacyjnych i ich
wykorzystaniu w poszczególnych fazach zarządzania
projektami i programami publicznymi
nabywa podstawowej wiedzy na temat zastosowań
podstawowych technik surveyowych wykorzystywanych w
procesie ewaluacji
potrafi zaprojektować badanie ewaluacyjne wybranego
projektu
rozumie proces tworzenia polityki edukacyjnej; w tym rolę
interesów, partnerów, rolę Unii Europejskiej i debaty;
przekłada problemy polityki na pytania badawcze;
potrafi analizować i interpretować wyniki badań rozróżniając
związki przyczynowe i korelacje statystyczne;
Punkty ECTS
7 punktów
Metody i kryteria oceniania
Egzamin – sprawdzający wiedzę nabytą w trakcie zajęć
Ćwiczenia praktyczne – ocena analizy danych i projektów narzędzi
ewaluacyjnych przedstawianych w trakcie zajęć
Ocena aktywności w trakcie zajęć
Sposób zaliczenia
Rodzaj przedmiotu
Zaliczenie/egzamin.
Nowy przedmiot w programie nauczania. Przedmiot obowiązkowy,
Studia II stopnia, realizowany na II roku studiów w Instytucie
Stosowanych Nauk Społecznych
studia stacjonarne
Sposób realizacji przedmiotu
Przedmiot jest realizowany w sali dydaktycznej
Język wykładowy
Polski
Literatura
Literatura wymagana i zalecana
Heywood. A. 2007. „Politologia”. Rozdział: „Proces polityczny i
działanie systemu”. Wydawnictwo Naukowe PWN
Shadish W., Cook T., Leviton L. 1991) „Foundation of
Program Evalution”. SAGE. London
Rossi, P., Lipsey M. Freeman H. 2004. „Evaluation. A
Systematic Approach”.7th Edition. London, Sage
Haber A. red. 2007. „Ewaluacja Ex-post. Teoria i praktyka
badawcza”. PARP. Warszawa
„Podręcznik zarządzania cyklem projektu”. 2007. Komisja
Europejska.
„Ewaluacja programów wydatków Unii Europejskiej”. 1997.
Dyrekcja Generalna XIX – Budżet, Komisja Europejska.
Sobiech R. 2008. „Ewaluacja a rozliczalność władz
publicznych” w: „Ewaluacja jako standard zarządzania w
3
sektorze publicznym”. B. Pietras-Goc (red.) Wyższa Szkoła
Europejska im. ks. J. Tischera. Kraków
Babbie E. 2004. Badania społeczne w praktyce. Warszawa:
Wydawnictwo Naukowe PWN
De Leeuw E., J. J. Hox, D. A. Dillman (eds). 2008.
International Handbook of Survey Methodology. New York:
Lawrence Erlbaum Associates
Domański H, R. Markowski, Z. Sawiński, P. B. Sztabiński.
2010. Ocena metodologii i rezultatów badań poprzedzających
I i II turę wyborów prezydenckich w 2010 roku, PTBRiO
Mangione T. M. 1999. Ankietowanie pocztowe w badaniach
marketingowych i socjologicznych. Warszawa: PWN
Sztabiński P. B. 2000. Czy ufać wynikom sondaży? Res
Publica Nowa 7 (142)
Sztabiński P. B., Sawiński, Z., F. Sztabiński (red.). 2005.
Fieldwork jest sztuką, Warszawa: Wyd. IFiS PAN
Bernstein, Basil, 1977. "Social Class, Language and
Socialization." [in] J.Karabel and A. H. Halsey [[eds.] Power
and Ideology in Education, New York: Oxford University Press
Bourdieu, Pierre, and Passeron, Jean-Claude, 1970. La
reproduction: elements pour une theorie du systeme
d'enseignements, Paris, Les Editions de Minuit.
Białecki I. Dwa cele kształcenia. (w:) "Nauka i Szkolnictwo
Wyższe." nr 1/93; s.11, Warszawa: IFiS PAN;
Białecki I. 1998. Alfabetyzm funkcjonalny. Kultura tworzenia i
wykorzystywania informacji. [w:] Edukacja językowa Polaków,
Miodunka W. [pod red.], Upowszechnianie Nauki- Oświata,
Kraków, s.13-36
Mare, R. D. 1981. Change and stability in educational
stratification. American Sociological Review 46: 72-87.
Boudon, R. 1974. Education, Opportunity and Social
Inequality. New York: Wiley.
Breen, R. i J. O. Jonsson 2005. Inequality of Opportunity in
Comparative Perspective: Recent Research on Educational
Attainment and Social Mobility. Annual Review of Sociology
2006: 223-243.
R. Dolata, Szkoła-segregacje-nierówności, UW 2008,
Warszawa
Białecki I .,Pojęcie kompetencji: polityka wobec edukacji i
rynku pracy . Nauka i Szkolnictwo Wyższe, 2/28/2006,
Centrum Badań Polityki Naukowej i Szkolnictwa Wyższego;
Białecki Ireneusz, Blumsztajn Anna, Cyngot Dorota ,PISA –
Program Międzynarodowej Oceny Umiejętności Uczniów,
(współautorzy:, Ośrodek Usług Pedagogicznych i Socjalnych,
ZNP, Warszawa 2003, s. 5-53 [wysyłałem]
Białecki I., Międzynarodowe badania, debata i polityka
edukacyjna; Nauka i Szkolnictwo Wyższe, 1/31/2008,
Centrum Badań Polityki Naukowej i Szkolnictwa Wyższego;
s.22-34
Białecki I., Nierówności edukacyjne, badania, polityka [w:]
Wartości, polityka, społeczeństwo [pod red. Marty Zahorskiej i
Ewy Nassalskiej, wyd. naukowe Scholar, Warszawa 2009 s.
293-310 [wysyłałem]
Boudon, Raymond, Education, Opportunity and Social
Inequality, New York, John Wiley and Son, Inc 1973,
Rychen, D. S., & Salganik, L. H. (Eds.). (2003). Key
competencies for a successful life and a well-functioning
4
society. Göttingen, Germany: Hogrefe & Huber
Breen Richard, Luijk Ruud., Müller Walter and Pollak
Reinhard, Non-Persistent Inequality in Educational
Attainment: Evidence from eight European Countries; referat
na konferencję 2005
Lektury dodatkowe, rozszerzające treści podawane podczas
odpowiednich zajęć:
Dillman Don. A. 2000. Mail and Internet Surveys. The Tailored
Design Method. New York: John Wiley & Sons
Groves R. M., R. L. Kahn. 1979. Surveys by Telephone, New
York: Academic Press.
Sztabiński F. 1997. Ankieta pocztowa i wywiad
kwestionariuszowy. Warszawa: Wyd. IFiS PAN
Sztabiński P.B. 1997. Ankieterzy i ich respondenci,
Warszawa: Wyd. IFiS PAN.
Sztabiński P. B., Sztabiński F., Sawiński Z. (red.). 2004. Nowe
metody, nowe podejścia badawcze w naukach społecznych,
Warszawa: Wyd. IFiS PAN
Sztabiński P.B. 2001. Wywiad osobisty ze wspomaganiem
komputerowym (CAPI): czy rzeczywiście idealna technika?
ASK 10.
Sztabiński P. B. 2006. Dlaczego respondenci uczestniczą lub
nie uczestniczą w badaniach ? Porównanie 1994 – 2004, ASK
15
Sztabiński P. B., Sztabiński F. 1997. Wartość odpowiedzi w
wywiadzie telefonicznym ze wspomaganiem komputerowym
(CATI), ASK 1-2
Praktyki zawodowe w ramach
przedmiotu
Przedmiot nie obejmuje praktyk zawodowych
Imię i nazwisko koordynatora przedmiotu Dr Robert Sobiech
Prowadzący zajęcia
Należy zamieścić listę wszystkich osób prowadzących przedmiot (lub
jego poszczególne formy dydaktyczne).
Prof. Ireneusz Białecki
Prof. Paweł B. Sztabiński
Dr Robert Sobiech
Uwagi
Imię i nazwisko wykładowcy (prowadzącego zajęcia/grupę zajęciową) Ireneusz Białecki, Robert
Sobiech, Paweł B. Sztabiński
Stopień/tytuł naukowy prof./dr/prof.
Forma dydaktyczna zajęć
Zajęcia są w formie:
– konwersatorium
Efekty uczenia się
zdefiniowane dla danej formy
dydaktycznej zajęć w ramach
przedmiotu
Po ukończeniu zajęć student:
rozumie mechanizmy tworzenia i realizacji projektów i
programów publicznych
posiada wiedzę o rodzajach badań ewaluacyjnych i ich
wykorzystaniu w poszczególnych fazach zarządzania
projektami i programami publicznymi
nabywa podstawowej wiedzy na temat zastosowań
podstawowych technik surveyowych w procesie ewaluacji
potrafi zaprojektować badanie ewaluacyjne wybranego
5
Metody i kryteria oceniania dla
danej formy dydaktycznej
zajęć w ramach przedmiotu*
Sposób zaliczenia dla danej
formy dydaktycznej zajęć w
ramach przedmiotu
Zakres tematów
projektu
potrafi oceniać jakość i efektywność polityki edukacyjnej i
funkcjonowania systemu kształcenia
potrafi konstruować i interpretować wskaźniki
charakteryzujące kształcenie
Egzamin – sprawdzający wiedzę nabytą w trakcie zajęć
Ćwiczenia praktyczne – ocena analizy danych i projektów narzędzi
ewaluacyjnych przedstawianych w trakcie zajęć
Ocena aktywności w trakcie zajęć
Wykład - egzamin
Ćwiczenia - zaliczenie
Pełny spis kolejnych tematów.
1. Planowanie i realizacja polityk publicznych. Ewaluacja –
historia, definicje, typologie, podejścia teoretyczne
2. Definicja problemu, Procedury diagnostyczne. Definicja
adresatów (wskaźniki, grupy, zasięg)
3. Model wpływu – drzewo problemu i drzewo celów
4. Model wpływu – matryca logiczna
5. Monitorng
6. Ocena skuteczności – podejścia badawcze
7. Ocena efektywności (metoda cost effectivenss i metoda cost
benefit)
8. Społeczne otoczenie ewaluacji – zamawianie i realizacja
projektu ewaluacji
9. Na jakie pytania odpowiadają badania ilościowe? Założenia i
ograniczenia badań ilościowych.
10. Aktualna sytuacja społeczna badań i jej konsekwencje dla
przygotowania narzędzi badawczych i realizacji badania.
11. Konceptualizacja badania. Co badać (przygotowanie
koncepcja badania), kogo badać (wybór populacji) i jak badać
(przegląd technik badawczych, wybór techniki)?
12. Podstawowe techniki badań surveyowych w procesie
ewaluacji. Zalety i ograniczenia omawianych technik.
13. Mixed mode research design (stosowanie kilku technik
badawczych w tym samym badaniu).
14. Zastosowanie technik surveyowych w procesie ewaluacji.
15. Pojęcie kompetencji
16. Accountability [rozliczanie];
17. Wartość dodana;
18. Ewaluacja;
19. Wskaźniki;
20. PISA [ jako przykład badania dającego wiedzę dla debaty i
robienia polityki]
21. PISA i nierówności edukacyjne [mieszanie uczniów o różnym
pochodzeniu społecznym i różnych wynikach w nauczaniu]
22. Przedszkole;
23. UE i systemy edukacji;
24. Polityka edukacyjna i jej aspekty
25. Centralizacja/ decentralizacja/ autonomia [nauczyciel-dyrektor
szkoły /rektor- władze gminy, administracja centralna]
26. Debata i polityka;
Metody dydaktyczne
Wykład z elementami ćwiczeń praktycznych. Podczas wykładu
możliwe są pytania i komentarze dotyczące poruszanych zagadnień,
6
Literatura
także odwołujące się do doświadczeń badawczych studentów. Wykład
uwzględnia elementy ćwiczeń, pokazujących praktyczne zastosowanie
omawianych zagadnień. Analiza badań ewaluacyjnych. Analiza
danych i projektowanie narzędzi badawczych
-
Limit miejsc w grupie
Terminy odbywania zajęć
15 osób
Konwersatorium raz w tygodniu
Miejsce odbywania zajęć
Instytut Stosowanych Nauk Społecznych Nowy Świat 69
Metody oceny pracy studenta
ocena ciągła (bieżące przygotowanie do zajęć i aktywność)
śródsemestralne pisemne testy kontrolne
śródsemestralne ustne kolokwia
końcowe zaliczenie pisemne
końcowe zaliczenie ustne
egzamin pisemny
egzamin ustny
kontrola obecności
praca semestralna/roczna
projekt
portfolio
inne
Liczba punktów/udział w ocenie końcowej
10%
50%
15%
25%
7