PROTOKÓŁ OCENY OFERT na przeprowadzenie ewaluacji

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego
PROTOKÓŁ OCENY OFERT
na przeprowadzenie ewaluacji zewnętrznej w ramach projektu „Zostać przedsiębiorczym - program edukacyjny z multimedialnym pakietem dydaktycznym dla
gimnazjum”.
Kod zamówienia w zgodzie z kodami CPV to CPV: 73110000-6 – usługi badawcze.
OCENA OFERT EWALUACYJNYCH
doświadczenie w badaniach
ewaluacyjnych
doświadczenie w badaniach społ.
dot. problematyki edukacyjnej ze
szczególnym uwzględnieniem
badań nauczycieli
wstępna koncepcja
badań
cena
Razem
Maksymalna liczba
punktów
20
25
25
30
100
Grupa Gumułka
20
20
12
30
82
FPBiIS Stocznia
15
25
16
28
84
Question Mark
15
25
23
25
88
Kryteria oceny
BIOSTAT
Ewa Tkacz – Piszczek
Oferta nie spełnia kryteriów zawartych w zaproszeniu do udziału w konkursie (zgodnie z protokołem oceny ofert i uzasadnieniem).
Tym samym została odrzucona.
Pracowania badań
„SOMA”
Monika Kwiecińska –
Zdrenka
Oferta nie spełnia kryteriów zawartych w zaproszeniu do udziału w konkursie (zgodnie z protokołem oceny ofert i uzasadnieniem).
Tym samym została odrzucona.
Uzasadnienie punktacji
1. doświadczenie w badaniach ewaluacyjnych:
Grupa Gumułka +
Stocznia: znacząco niższa (poniżej 10) w stosunku do Oferenta legitymującego się największą liczbą zrealizowanych badań ewaluacyjnych (powyżej 40) liczba zrealizowanych
badań o charakterze ewaluacyjnym, w zaprezentowanych badaniach wykorzystane głównie techniki jakościowe, małe zróżnicowanie stosowanych technik ilościowych (wyłącznie
CAWI) – (-5 pkt.)
Question Mark: znacząco niższa (poniżej 10) w stosunku do Oferenta legitymującego się największą liczbą zrealizowanych badań ewaluacyjnych (powyżej 40) liczba
zrealizowanych badań o charakterze ewaluacyjnym (- 5 pkt.)
2. doświadczenie w badaniach społ. dot. problematyki edukacyjnej ze szczególnym uwzględnieniem badań nauczycieli
Grupa Gumułka: kilka zrealizowanych badań z zakresu problematyki edukacyjnej, brak badań na grupie nauczycieli (-5pkt.)
Stocznia: kilka zrealizowanych badań z zakresu problematyki edukacyjnej, w tym badania na grupie nauczycieli
Question Mark: kilka zrealizowanych badań z zakresu problematyki edukacyjnej, w tym badania na grupie nauczycieli
3. wstępna koncepcja badań:
Elementy poddane ocenie
OFERENCI
Grupa
Gumułka:
(-13 pkt)
Stocznia:
(-9 pkt)
Problematyka badawcza uwzględniająca wszystkie
punkty zaproszenia do udziału w konkursie (analizę
zmian zachowań i umiejętności uczniów i
Dobór prób do badań ilościowych (preferowana próba wyczerpująca)
nauczycieli, analizę atrakcyjności programu na
oraz do badań jakościowych (pogłębiających i uzupełniających informacje od obu grup uczestników)
oraz sposobów realizacji badania gwarantujących jego realizację na założonej próbie (20pkt)
rynku edukacyjnym) wraz ze wskazaniem źródeł
informacji i metod pozwalających na rozstrzygnięcie
postawionych problemów (5pkt)
Na obniżenie oceny wpływa zaproponowany sposób doboru uczniów do badania ankietowego. Oferent ogranicza
się do przesłania do Dyrektora szkoły pakietu ankiet do wypełnienia i w żaden sposób nie nadzoruje realizacji
badania Zgodnie z zaproponowaną procedurą faktycznego doboru (poprzez rozdysponowanie ankiet) ma dokonać
Na obniżenie oceny wpływa brak opisu badań (źródeł,
Dyrektor szkoły, do którego zostaną przesłane kwestionariusze (on też ma zadbać o nadanie uczniom kodów,
technik) umożliwiających przeprowadzenie analizy
atrakcyjności programu ZP na tle innych programów tego które wykorzystają oni także w drugiej fazie badania, zebrać kwestionariusze i odesłać do ewaluatora). Wątpliwa
wydaje się możliwość uzyskania próby wyczerpującej lub choćby reprezentatywnej (brak kontroli badacza nad tym
typu na rynku edukacyjnym (ze względu na
kto i w jakich warunkach wypełnia kwestionariusz). Brak ewaluatora zewnętrznego podczas realizacji całego
kompleksowość pakietu dydaktycznego, możliwość
autoanalizy mocnych i słabych stron uczniów, oferowane badania i scedowanie go w całości na szkołę rodzi ryzyko niestarannego lub przeciwnie nazbyt poprawnego (pod
nadzorem nauczyciela) wypełnienia ankiet, stoi też w sprzeczności do idei ewaluacji zewnętrznej.
narzędzia dla nauczyciela w zakresie analizy
odnotowanych zachowań uczniów oraz kontroli nad
Uściślenia wymaga dobór próby nauczycieli do badania CATI. Oferent pisze także, iż obejmie badaniem CATI
prowadzeniem dokumentacji projektu edukacyjnego,
wszystkich nauczycieli biorących udział w projekcie, wskazując jednocześnie, ze będzie to 40 osób – po dwie z
możliwość przechowywania informacji w formie
każdej szkoły (podczas gdy liczba nauczycieli realizujących projekt w roku szkolnym 2012/2013 wynosi 70 osób
elektronicznej i upubliczniania przykładów dobrych
(+20 liderów) i jest różna w różnych szkołach. Realizacja projektu w bieżącym roku obejmie też nie dwa, ale
praktyk, przygotowanie nauczycieli do korzystania z
wszystkie województwa.
pakietu w formie e-learningowej). Oferent wprawdzie
uwzględnił ten punkt w problematyce badawczej
Założony dobór próby do badań jakościowych nie uwzględnia w ogóle pogłębienia perspektywy uczniów –
pomijając jednak w dalszej części koncepcji opis jego
sytuacja ucznia ma być rozpatrywana wyłącznie z perspektywy nauczyciela. Oferent proponuje zastosowanie
rozwiązania (-2 pkt)
techniki IDI na próbie 6 nauczycieli przy zastosowaniu doboru losowego, według klucza terytorialnego i o
charakterze „dogodnościowym” nie uściślając jakiego typu „dogodność” ma na myśli i w jaki sposób wpływa ona
na założoną wcześniej losowość doboru. (-11 pkt)
BRAK UWAG
Question Mark:
BRAK UWAG
(-2 pkt)
Na obniżenie oceny wpływa zaproponowany sposób realizacji badania ilościowego wśród uczniów i nauczycieli
metodą wywiadu z wykorzystaniem strony www. Realizacja programu ujawniła liczne problemy wynikające z
utrudnionego dostępu do Internetu oraz związane z brakiem potrzebnych kompetencji w zakresie wykorzystania
narzędzi i zasobów internetowych w przypadku wielu uczniów. Fundacja nie dysponuje adresami mailowymi
uczniów, wielu z nich korzysta z Internetu tylko w szkole, pod nadzorem nauczyciela. Wątpliwa wydaje się zatem
możliwość uzyskania nie tylko próby wyczerpującej ale nawet próby reprezentatywnej dla ogółu uczestników
programu, wątpliwości budzi także rzetelność uzyskanych danych (całkowity brak kontroli badacza nad tym kto i
w jakich warunkach wypełnia kwestionariusz - ze względu na zastosowaną technikę badawczą dobór próby
będzie miał charakter samorzutny – w badaniu wezmą udział ci uczniowie i nauczyciele, którzy będą mieli dostęp
do Internetu i ochotę na wypełnienie kwestionariusza w okresie realizacji badania). (-9 pkt)
Na obniżenie oceny wpływa brak badania ilościowego na grupie nauczycieli. Oferent poddaje tę grupę tylko
badaniom przy pomocy wywiadu pogłębionego. Nie ograniczając jednak ściśle liczby badanych i pozostawiając tę
kwestię uzgodnieniom z Zamawiającym stwarza możliwość realizacji tego badania na próbie wyczerpującej. (-2pkt)
4. Cena – punktacja proporcjonalna (najniższa cena = 30 punktów)
Grupa Gumułka – 28290zł;
Stocznia – 30750; (-2 pkt)
Question Mark – 33900 (-5 pkt)
5. Oferty odrzucone.
a. SOMA – TORUŃ
Oferta nie spełniła kryteriów zawartych w zaproszeniu do udziału w konkursie ponieważ w żadnym z punktów zaprezentowanej koncepcji badawczej nie uwzględniono jednego z
istotnych punktów zawartych w zaproszeniu do udziału w konkursie: analizy i oceny atrakcyjności programu na tle innych programów tego typu funkcjonujących na rynku
edukacyjnym (ze względu na kompleksowość pakietu dydaktycznego, możliwość autoanalizy mocnych i słabych stron uczniów, oferowane narzędzia dla nauczyciela w zakresie
analizy odnotowanych zachowań uczniów oraz kontroli nad prowadzeniem dokumentacji projektu edukacyjnego, możliwość przechowywania informacji w formie elektronicznej i
upubliczniania przykładów dobrych praktyk, przygotowanie nauczycieli do korzystania z pakietu w formie e-learningowej).
Na ocenę oferty wpływa także zaproponowany sposób realizacji badania nie gwarantujący jego realizacji na rekomendowanej przez Zleceniodawcę próbie wyczerpującej.
Zaproponowana metodologia (i odpowiadający jej kosztorys badania) zakłada jego realizację na terenie 20 szkół z dwu województw (czyli na obszarze, na którym projekt
realizowany był w I edycji testu), podczas gdy w roku szkolnym 2012/2013 program będzie realizowany w 30 – 34 szkołach zlokalizowanych na terenie co najmniej kilku innych
(poza łódzkim i świętokrzyskim) województw.
Ponadto Oferent zakłada realizację tylko 2 wizyt w każdej z 20 szkół, a podczas każdej z nich przeprowadzenie badania audytoryjnego w 7-8 klasach, wywiadów
kwestionariuszowych z 10 nauczycielami oraz wywiadu pogłębionego z koordynatorem. Wcześniejsze doświadczenia Zleceniodawcy w realizacji projektów i towarzyszących im
badań, prowadzonych na terenie placówek edukacyjnych wskazują, iż skoordynowanie terminów spotkań/badań wszystkich wymienionych grup w tym samym dniu nie jest
możliwe w przypadku zdecydowanej większości szkół.
b. BIOSTAT – Rybnik
Oferta nie spełniła kryteriów zawartych w zaproszeniu do udziału w konkursie ponieważ:
- w problematyce badawczej w ogóle nie uwzględniono oceny poziomu realizacji części założonych celów (tj. trzech celów związanych z wykorzystywaniem przez uczniów narzędzi
opracowanych w ramach programu oraz kształtowaniem ich umiejętności w zakresie samoanalizy i planowania/dokumentowania własnych działań, a także umiejętności
realizowania projektów uczniowskich),
- zaproponowana próba badawcza nie ma charakteru wyczerpującego - badaniem objęto wyłącznie nauczycieli, pomijając uczniów (w przypadku próby nauczycieli brak
szczegółowego opisu sposobu ich doboru do badania i uzasadnienia założonej liczebności – założono zbadanie 40 nauczycieli z 20 szkół uczestniczących w programie metodą
wywiadu telefonicznego + 10 nauczycieli metodą wywiadu indywidualnego (podczas gdy program realizuje 70 nauczycieli),
- analizę i ocenę atrakcyjności programu na tle innych programów tego typu funkcjonujących na rynku edukacyjnym ograniczono do opinii nauczycieli (nie uwzględniając
wszystkich wymiarów oceny wskazanych przez Zleceniodawcę).
Oferta zawiera także istotne błędy merytoryczne – na str.8 Oferent pisze o rzetelności gromadzonych danych wskazując jednocześnie, iż badania realizowane będą „na próbie
pracowników naukowych oraz na próbie przedstawicieli przedsiębiorstw”, podczas gdy takich grup projekt „Zostać Przedsiębiorczym” w żaden sposób nie obejmuje.