Badania ilościowe i jakościowe w środowisku elektronicznym

Badania publikacji
elektronicznych
Rodzaje i metody badań
Dr hab. Marek Nahotko
1
Rodzaje badań
• Badania ilościowe: mają na celu zgromadzenie
danych, które można poddać obróbce
statystycznej. Dąży się do nadania miar zjawiskom
i uogólnienia wyników wobec całej badanej
grupy;
• Badania jakościowe: zwykle poprzedzają lub
uzupełniają ilościowe. Zbieranie informacji
dotyczących motywów, postaw i preferencji.
Wyjaśniają analizowane zjawiska, których nie da
się potwierdzić statystycznie;
• Metodologia mieszana.
2
Cele badań naukowych
• Badania teoretyczne: podejmowane dla
wyjaśnienia zjawisk oraz opracowania nowych
teorii;
• Badania stosowane: służące wykorzystaniu
badań teoretycznych w praktyce;
• Badania wdrożeniowe: przeniesienie wyników
badań stosowanych z obszaru nauki w obszar
techniki i produkcji. Wiążą się z innowacjami
wdrażanymi w przedsiębiorstwach.
3
Rodzaje badań
• Badania porównawcze: analiza cech badanych
przedmiotów i zjawisk pod kątem ustalenia
podobieństw i różnic (odmienności). Warunkiem ich
stosowania jest porównywalność przedmiotów badań
ze względu na ich istotę, gatunek, kategorię lub formę;
• Badania statystyczne: proces pozyskiwania danych na
temat rozkładu cechy statystycznej w populacji;
• Badania funkcjonalne: badanie sposobu
funkcjonowania układu bez możliwości poznania jego
wewnętrznej budowy.
4
Przedmiot badania
Rodzaj badań
ilościowe/jakościowe
Teoretyczne
Stosowane
Wdrożeniowe
Przedmiot badań
e-źródła
interfejsy
użytkownicy
Porównawcze
Analiza odesłań
Skale ocen
Kwestionariusze
Statystyczne
Webometria
Site/server
centric
User centric
Funkcjonalne
Personalizacja,
marketing
Architektura
informacji,
heurystyki
Analiza zapytań
czynnych,
usability
wg M. Karciarz EBIB 2007
5
Badania ilościowe
• Badania ilościowe, inaczej nazwane
„pozytywistycznymi" stanowią nurt badań
wywodzący się z badań przyrodniczych i przez
wiele lat dominowały jako jedyny sposób
uprawiania badań społecznych.
6
Badania ilościowe
• Analiza struktur i ich dynamiki
– Poszukiwanie regularności - dozwolone
przewidywania;
• Zrozumienie wzorców
– Porządkowanie chaosu,
– Weryfikacja modeli, założeń;
• Podstawa dla polityki i projektowania.
7
Badania ilościowe
• Przeprowadzanie dowodów poszukiwań badawczych
jest weryfikowaniem, sprawdzaniem tezy założonej na
początku, badacz ilościowy dostarcza dowody, że teoria
przez niego przyjęta ma w danych potwierdzenie;
• Wyniki badania przedstawiane są poprzez wyliczanie.
Polega ten proces na tym, że wyniki zostaną
przedstawione w postaci systematycznego wyliczania,
lub zliczania założonej tezy;
• Obejmują takie cechy przedmiotów i zjawisk, które dają
się określić za pomocą liczby, np. liczebność, objętość,
prędkość, natężenie.
8
Techniki badań ilościowych
• Porównywanie rzeczy;
• Liczenie rzeczy;
• Badanie ludzi w sprawie rzeczy.
9
Techniki badań ilościowych
•
•
•
•
•
•
Badania kwestionariuszowe - możemy wyróżnić ankietę audytoryjną (skierowaną do
szerszego gremium) oraz ankietę pocztową (formularze ankiety przesyłane są pocztą).
CATI (Computer Assisted Telephone Interview) - wywiad telefoniczny wspomagany
komputerowo. Ankieterzy kontaktują się z badanymi za pośrednictwem telefonu. Zadają
pytania, które są widoczne na monitorze komputera a następnie zaznaczają w systemie
odpowiedzi badanych. System ten pozwala na bieżące kontrolowanie pracy ankieterów a tym
samym postępu badania zarówno przez firmę badawczą jak i przez samych Klientów.
Odpowiedzi respondentów zostają zapisane w systemie i są dostępne do analizy natychmiast
po przeprowadzonym badaniu.
CAWI (Computer Assisted Web Interviewing) - badania online. Ankieta internetowa, którą
badany wypełnia samodzielnie bądź z pomocą ankietera.
CASI (Computer Assisted Self-Interviewing) - badania online. Ankieta internetowa, którą
osoba badana wypełnia samodzielnie przy użyciu komputera. Respondent samodzielnie
odczytuje treść pytań i samodzielnie udziela na nie odpowiedzi.
CAPI (Computer Assisted Personal Interviewing) - metoda polegająca na przeprowadzeniu
wywiadu przy użyciu komputera, laptopa. Stosowana najczęściej podczas badań w domu
respondenta bądź jako technika wspomagająca inne.
PAPI - metoda polegająca na przeprowadzeniu wywiadu przy użyciu jego wersji papierowej,
drukowanej.
10
Badania porównawcze
• Grupy eksperymentalne i kontrolne;
• Metodologie instruktażowe;
• Ocena programów stosująca analizę artykułów
naukowych przed i po testowaniu;
• Testy przed i po badaniu;
• Miary i skale (np. skala lęków bibliotecznych).
11
Badania statystyczne
• Analizy cytowań
bibliometria
– Impact Factor i inne wskaźniki
IF= B/C gdzie
B – to łączna lista cytowań które nastąpiły w danym roku kalendarzowym;
C – to liczba cytowalnych publikacji (zwykle nie są brane pod uwagę takie publikacje jak np. listy
do redakcji), które ukazały się w danym czasopiśmie, w ciągu ostatnich dwóch lat.
• Webometria
– Web Impact Factor
Ilość stron Web w dokumencie Web otrzymujących linki z innych dokumentów Web podzielona
przez ilość stron Web opublikowanych w dokumencie, które dostępne są dla wyszukiwarki.
A – ogólna suma linków na stronie (wszystkie linki przychodzące i własne);
D – ilość stron Web opublikowanych w dokumencie Web, które są indeksowane przez wyszukiwarkę;
WIF= A/D = Web Impact Factor
12
Webometria
• Czym jest Webometria?
– Gromadzenie, przetwarzanie i analiza wielkich
zasobów danych z Webu (stron Web, hiperlinków,
blogów, Webu 2.0) dla różnych celów, w tym
komunikacji online, szczególnie dla komunikacji
naukowej.
13
Zalety badań ilościowych
• Metody jakościowe często zależą od twierdzeń
„autorytatywnych”, pojedynczych
przypadków;
• Nauka poszukuje regularności zjawisk;
• Sukces metod statystycznych w naukach
społecznych;
• Potrzeba uzasadnień i podstaw do decyzji;
• Coś może być policzone – coś wspaniałego.
14
Problemy z badaniami ilościowymi
• Statystyka zawsze jest sposobem na
streszczenie złożonej informacji w stosunkowo
prostych liczbach;
• W jaki sposób badacze zdobywają te liczby?
• Kto tworzy liczby i jaki jest ich margines
błędu?
• W jaki sposób definiuje się podstawowe
terminy i na ile sposobów jest to możliwe?
15
Problemy z badaniami ilościowymi
• W jaki sposób dobrano miary?
• Jak dobrano próbę i jak to wpłynęło na
wyniki?
• Czy wynik statystyczny jest poprawnie
interpretowany?
• Jeżeli dokonywano porównań, czy są one
odpowiednie?
• Czy istnieją konkurencyjne statystyki?
16
Badania jakościowe
• Znacznie młodsze (od lat 80. XX wieku);
• Opisowe i interpretatywne;
• Badania jakościowe rodowód swój czerpią z
badań etnograficznych. Etnografia jako model
badawczy jest zakorzeniona w antropologii;
• W niektórych opracowaniach badania jakościowe
są opisywane jako etnografia: termin ten odnosi
się głównie do metody, albo do zestawu metod.
Etnografia stanowi jakby matrycę dla badań
jakościowych, jako podstawowa forma badań
społecznych, np. etnografia Internetu.
17
Badania jakościowe
• W badaniu jakościowym na podstawie baz
danych dokonuje się odkrywanie teorii;
• w badaniu jakościowym prezentowanie wyników
odbywa się poprzez konstruowanie kategorii
pojęciowych na podstawie zgromadzonych
danych;
• dotyczą całokształtu cech, wskazujących czym jest
przedmiot badań (zjawisko) i czym różni się od
innych, czyli ukazują specyfikę przedmiotu lub
zjawiska.
18
Techniki w badaniach jakościowych
• Analiza treści (np. instrukcji online);
• Analiza dyskursu;
• Grupy fokusowe (np. wykorzystanie Internetu
przez studentów): co uczestnicy myślą o
zadaniu, którego aktualnie nie realizują;
• Wywiady (np. badanie użytkowników książki
elektronicznej);
• Obserwacje (np. studentów wyszukujących
online);
19
Techniki w badaniach jakościowych
• Protokoły z myślenia na głos (np. badania
nawigacji studentów w bibliotecznych
stronach Web);
• Testy użyteczności (np. badanie modeli
mentalnych studentów używających
podręczników online).
20
Techniki c.d.
•
•
•
•
•
IDI - indywidualny wywiad pogłębiony, przeprowadzany z jedną osobą. Metoda polegająca na
uzyskaniu interesujących nas danych w trakcie indywidualnej i bezpośredniej rozmowy z
respondentem. Jest to rodzaj wywiadu pogłębionego, w trakcie którego ankieter zadaje
określony rodzaj pytań, by uzyskać interesujące go informacje. Metoda ta pozwala na pewną
swobodę wypowiedzi. Celem jest poznanie postaw, wrażeń, motywów kierujących
działaniami respondenta. Ma znacznie dłuższy czas trwania niż wywiady ankietowe, jednak
pozwala na uzyskanie bardziej pogłębionych odpowiedzi;
FGI - zogniskowany wywiad grupowy, tzw. fokus. Przeprowadzany jednocześnie z kilkoma
osobami przy użyciu technik projekcyjnych. Polega na przeprowadzeniu wywiadu według
określonego scenariusza, z większą liczbą osób. Zazwyczaj liczba osób wynosi 6-12. Jednak
wyróżnia się zogniskowane wywiady grupowe z mniejszymi grupami (m.in. diady, wywiady
rodzinne, triady). W wywiadach zogniskowanych stosuje się szeroko pojęte techniki
projekcyjne, których wykorzystanie ma pomóc w pełniejszym zebraniu interesujących danych.
Zogniskowane wywiady grupowe mają zastosowanie dla badań wizerunku marki, zachowań
konsumenckich oraz skuteczności reklamy;
Eksperyment - badanie w warunkach pozwalających na stałą kontrolę jego przebiegu;
Obserwacja - obserwowanie występowania danego zjawiska;
Desk Research - analiza materiałów zastanych, dokumentów, stron www, materiałów
archiwalnych. Metoda stosowana dla określenia m.in.: analizy potencjału rynku oraz analizy
21
konkurencji.
Kiedy stosować?
• Badania ilościowe charakteryzuje dedukcyjny
sposób badania, oznacza to, że poszukuje
danych potwierdzających teorię.
• Badacz jakościowy poprzez indukcję, czyli
poprzez przechodzenie od tego, co konkretne,
do tego, co ogólne do odkrywa prawidłowości
i poszukuje teorii która wyjaśni posiadane
przez niego dane.
22
Kiedy stosować? c.d.
• Badania ilościowe: możliwe stworzenie
ilościowych miar, można sformułować i
potwierdzić hipotezy, można uogólnić wnioski
z próbki na całą populację;
• Badania jakościowe: badanie złożonych
problemów, natury socjologicznej, nie
dających się przedstawić liczbowo.
23
Kiedy stosować?
Badania ilościowe
• Struktura danych
• Wskaźniki funkcjonowania
• Liczba użytkowników
• Wskaźniki efektywności
Badania jakościowe
• Kim są użytkownicy serwisu
Web?
• Przedmiotowe aspekty
motywacji użytkowników
• Potrzeby użytkowników
• Percepcja użytkowników
jakości serwisu
• Wymagania użytkowników
24
Porównanie
Ilościowe - założenia
• Fakty społeczne istnieją w
obiektywnej rzeczywistości
• Nadrzędność metody
• Możliwość identyfikacji
zmiennych i zmierzenia
relacji
• Punkt widzenia z zewnątrz
Jakościowe - założenia
• Rzeczywistość jest
konstruktem społecznym
• Nadrzędność problemu
• Zmienne są złożone,
poprzeplatane i trudne do
zmierzenia
• Punkt widzenia z wewnątrz
25
Porównanie
Ilościowe – cel
• Uogólnienie (generalizacja)
• Przewidywania
• Wyjaśnienie przypadków
Jakościowe - cel
• Kontekstualizacja
• Interpretacja
• Zrozumienie perspektywy
aktora
26
Porównanie
Ilościowe - podejście
• Rozpoczynanie od hipotezy lub
teorii
• Manipulacja i kontrola
• Stosowanie narzędzi
formalnych
• Eksperymenty
• Dedukcja
• Analiza składników
• Poszukiwanie konsensusu
• Redukcja danych do
wskaźników liczbowych
Jakościowe - podejście
• Kończenie na hipotezie
• Ukazanie i portretowanie
• Badacz jako narzędzie
• Naturalistyczne
• Indukcja
• Poszukiwanie wzorców
• Poszukiwanie pluralizmu,
złożoności
• Minimalne wykorzystanie
wskaźników liczbowych
27
Metodologia mieszana
• Metodologia mieszana nazywana jest we
współczesnym piśmiennictwie trzecim
podstawowym podejściem albo
paradygmatem badawczym, obok ilościowego
(kwantytatywnego) i jakościowego
(kwalitatywnego).
28
Definicja badań mieszanych
• Są to dociekania, w ramach których badacz
zbiera i analizuje dane, integruje wyniki i
wyciąga wnioski używając jednocześnie
jakościowych i ilościowych podejść lub metod
w pojedynczym projekcie lub programie
badawczym;
• Triangulacja: wykorzystanie różnych metod dla
zwiększenia zrozumienia zjawisk.
29
Badania mieszane
• Metodologia mieszana w ścisłym sensie – nie
wystarczy, by w badaniach współwystępowały
metody o charakterze ilościowym i jakościowym,
powinny one dodatkowo być zintegrowane, tzn.
odpowiadać na to samo pytanie badawcze,
wzajemnie się uzupełniać i współkształtować.
– Jest tak na przykład, gdy procedury jakościowe prowadzą
do sformułowania hipotezy, którą następnie testuje się na
sposób ilościowy, albo gdy za pomocą metod jakościowych
interpretuje się zgromadzone wcześniej ilościowe dane
empiryczne.
30
Sposoby łączenia obu metod
•
•
•
•
•
•
•
•
•
•
triangulacja, która ma na celu uwiarygodnienie wyników,
wspieranie jednego podejścia przez drugie,
łączenie w celu uzyskania szerszego horyzontu badawczego,
badanie cech strukturalnych danego zjawiska metodami ilościowymi, a
aspekty procesualne – metodami jakościowymi,
przedstawienie punktu widzenia badanych – metody jakościowe, a
badaczy – metody ilościowe,
wyniki badań jakościowych można uzupełnić o wyniki badań ilościowych,
co niweluje problem reprezentatywności,
można wykorzystać wyniki jakościowe do interpretacji relacji między
zmiennymi w zbiorach danych ilościowych,
łączenie podejścia jakościowego z ilościowym może ukazać relację między
poziomem mikro i makro badanego zagadnienia,
różne badania można stosować na różnych etapach procesu badawczego,
tworzenie form hybrydowych.
31
Korzyści z badań mieszanych
• Najważniejsza – sposobność uchwycenia
badanych ludzi, obiektów, procesów i zjawisk w
ich naturalnej wielowymiarowości, z różnych
punktów widzenia;
• Możliwość przekroczenia ograniczeń narzucanych
przez poszczególne procedury badawcze;
• Wyższy poziom kontroli zgromadzonych danych
empirycznych, ich selekcji oraz interpretacji,
dzięki triangulacji, czyli wzajemnemu
„sprawdzaniu się” metod badawczych o
odmiennej proweniencji.
32
Korzyści c.d.
• Szczególnie nadająca się do badań
użytkowników bibliotek i informacji;
• Może także być przydatna generalnie w nauce
o informacji, ponieważ przedmiot i pole
badawcze tej dyscypliny są niejednorodne i
obejmują byty o różnym statusie – materialne
(nośniki, sprzęt), psychiczne (potrzeby
informacyjne), idealne (informacja jako taka),
które należy badać na różne, komplementarne
wobec siebie i wzajemnie uzupełniające się
sposoby.
33