Czym jest wizualizacja danych?

Transkrypt

Wizualizacja danych
Proces wizualizacji danych
Metody filtrowania i odwzorowania danych
Witold Andrzejewski
Politechnika Poznańska, Instytut Informatyki
Człowiek – najlepsza inwestycja
Projekt nr POKL.04.03.00-00-131/12 „Inżynieria wiedzy dla inteligentnego rozwoju”
współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego
MATERIAŁY DYDAKTYCZNE I SZKOLENIOWE NA STUDIA PODYPLOMOWE I SZKOLENIA DYSTRYBUOWANE SĄ BEZPŁATNIE
Henning Scharsach: Advanced Raycasting for
Virtual Endoscopy on Consumer Graphics Hardware
http://www.business-intelligence-secrets.com/wpcontent/uploads/2011/05/1212912_38514992.jpg
str. 2
Zbiór metod tworzenia, analizy i
przekazywania informacji.
Może być oparta o różne zmysły.
Wzrok
Słuch
Dotyk
Zapach
Smak
str. 3
Wizualizacja
Transformuje reprezentację symboliczną w geometryczną.
Pozwala zobaczyć rzeczy normalnie niewidzialne.
Pozwala „przetwarzać” i przyswajać olbrzymie ilości
danych szybciej.
Jest techniką eksploracji danych, która pozwala badaczowi
uzyskać zrozumienie i intuicję reguł rządzących danymi.
Wizualizacją można nazwać odwzorowanie danych w ich
reprezentację w formacie, który człowiek jest w stanie
postrzegać różnymi zmysłami (najczęściej wzrokiem).
Cele wizualizacji (1/2)
Wspomaganie analizy i zrozumienia danych:
wybranie interesujących danych,
pokazanie ukrytych zależności i charakterystyk w
danych,
analizowanie danych za pomocą środków wizualnych.
Komunikacja
przekazanie skomplikowanych informacji w
zrozumiałej postaci,
wskazanie ekspertom dalszych kierunków
badań/działań.
Cele wizualizacji (2/2)
Kontrola
Interaktywna wizualizacja pozwalająca na
dokładniejszą analizę wybranych właściwości
danych na podstawie przesłanek
zaobserwowanych wcześniej.
Użycie reprezentacji wizualnej w celu jak
najszybszego zrozumienia badanych zjawisk.
Powiązane dziedziny nauki
Przetwarzanie
sygnałów,
obrazów
Wizualizacja
Psychologia,
kognitywistyka
Wizualizacja a infografika (1/2)
Infografika
Tworzona ręcznie
Dla konkretnego zestawu
danych (trudno jest ją
odtworzyć dla nowych
danych)
Ładna wizualnie
Przedstawia niewiele danych
http://speckyboy.com/2010/11/12/12-inspirationally-designed-infographics-for-designers/
str. 8
Wizualizacja a infografika (2/2)
Wizualizacja
1,5
1
0,5
0
-40
-0,5
-1
60
160
260
360
Generowana algorytmicznie
Łatwa do odtworzenia dla
nowych danych
Estetyka nie jest celem, a co
najwyżej efektem ubocznym
Przedstawia duże zbiory
danych
-1,5
str. 9
Podział wizualizacji
Wizualizacje eksplorujące
Tworzone przez twórcę na własny użytek
Kiedy twórca chce poznać dane
Wizualizacje tłumaczące
Kiedy twórca wie co jest w danych i stara się to
przekazać innym
Może być częścią dłuższej prezentacji
str. 10
Trójca: Dane-Twórca-Odbiorca
Odbiorca
Informacja
Dane
Perswazja
Sztuka
Twórca
str. 11
Wizualizacja informacyjna
Neutralna prezentacja faktów
Ma przekazać wiedzę odbiorcy
http://www.tableausoftware.com/about/blog/2012/04/guest-post-future-data-visualization-16578
str. 12
Wizualizacja perswazyjna
Przekazać konkretny punkt widzenia
Dane są specjalnie wybrane aby osiągnąć cel
http://strata.oreilly.com/2010/08/visualization-as-journalism.html
str. 13
Wizualizacja - sztuka
Transformacja
jednokierunkowa
Transformacja danych
do postaci graficznej
http://planetary.bloom.io/
str. 14
Proces wizualizacji danych
Dane uzyskane z symulacji
Dane z baz danych
Dane z pomiarów
Pozyskanie danych
Surowe dane
Filtrowanie danych
Dane gotowe do wizualizacji
Dane do wizualizacji
Generowanie obrazów
Odwzorowanie
Zwizualizowane dane
Pozyskanie danych - źródła
Pozyskanie danych
Dane uzyskane z symulacji
Dane z baz danych
Surowe dane
Dane z pomiarów
Świat rzeczywisty
pomiary i obserwacja
Świat teoretyczny
…
Nieraz olbrzymie
rozmiary
danych do
przeanalizowania!
modele matematyczne i techniczne
Świat sztuczny
dane „generowane” przez człowieka
Dane rzeczywiste
• Obrazowanie medyczne
• Systemy informacji geograficznej (GIS)
• Mikroskopia elektronowa
• Meteorologiczne dane satelitarne
• Dane sejsmiczne
• Krystalografia
• Fizyka wysokich energii
• Astronomia (Teleskop Hubbla – 100MB dziennie)
• Dane systemów obronnych
Dane teoretyczne
Symulacje
Nauka
• Dynamika molekularna
• Chemia kwantowa
• Matematyka
•
•
•
•
Modelowanie molekularne
Fizyka obliczeniowa
Meteorologia
Obliczeniowa mechanika cieczy
Dane teoretyczne
Symulacje
Inżynieria
• Przeglądanie modeli architektonicznych
• Mechanika strukturalna
• Projektowanie samochodów
Aplikacje komercyjne
• Grafika biznesowa
• Modele ekonomiczne
• Modelowanie finansów
Dane teoretyczne
Systemy informatyczne
• Rynek papierów wartościowych (300 milionów
transakcji dziennie w Nowym Yorku)
• Analiza rynku i sprzedaży
• World Wide Web
Dane sztuczne
• Szkice
• Malarstwo
• Materiały publikowane
• TV (reklamówki, trailery)
• Filmy (animacje, efekty specjalne)
Źródła błędów w danych
Etap pozyskiwania danych
Dokładność i niezawodność urządzenia
pomiarowego.
Dokładność próbkowania (przestrzenna i
czasowa).
Czy zmiennoprzecinkowe typy są wystarczająco
dokładne z punktu widzenia mierzonych wartości.
Filtrowanie danych
Filtrowanie danych
Surowe dane
Dane do wizualizacji
Konwersja formatu
Obcinanie, kadrowanie, usuwanie szumu
Resampling
Interpolacja, aproksymacja
Klasyfikacja, segmentacja
Redukcja wymiarowości
Interpolacja/aproksymacja
4,5
Interpolacja
wielomianowa (n-1)D
4
3,5
3
Interpolacja „Nearest Neighbor” (0D)
2,5
2
1
2
3
4
5
Spline
D: EFG , FH I → K
FG , FH L FG , FM ∪ FM , FO ∪ ⋯ ∪ EFHQG, FH I
D F LR
SG 1F2
F ∈ EFG , FM I
F ∈ EFM , FO I
SM 1F2
⋮
⋮
SHQG 1F2 F ∈ EFHQG, FH I
∀WXY,…,k[1 S\QG=S\
W
W
http://scaledinnovation.com/analytics/splines/aboutSplines.html
str. 25
http://www.farfieldtechnology.com/products/toolbox/noisy/
Lokacja
Temperatura
Chicago
75
Detroit
79
Motreal
67
Pittsburgh
68
Toronto
72
Washington
75
…
…
http://www.intellicast.com/Local/WxMap.aspx
Usuwanie szumu
http://www.mathworks.com/matlabcentral/fx_files/34743/2/expsmooth.png
http://www.theoildrum.com/uploads/12/eia_iea_ma_jun06.jpg
Usuwanie szumu/wygładzanie
Moving average
Savitzky-Golay
Kernel smoother
Laplacian smoothing
Low-pass filter
Local regression
Smoothing spline
Ramer-DouglasPeucker
Exponential
smoothing
Kolmogorov-Zurbenko
str. 29
Moving average (1/2)
1,2
1,2
1
1
0,8
0,8
0,6
0,6
0,4
0,4
0,2
0,2
0
0
0
5
10
15
20
25
1,2
0
5
10
15
20
25
0
5
10
15
20
25
1,2
1
1
0,8
0,8
0,6
0,6
0,4
0,4
0,2
0,2
0
0
0
5
10
15
20
25
str. 30
Moving average (2/2)
Najprostszy wariant
`\ =
1
a
H/M
b
WXQ H/M
c\dW
Wariant z wagami
`\ =
A co z danymi próbkowanymi w
nierównomiernych odstępach
czasu?
H/M
1
b fW c\dW
H/M
∑WXQ
H/M fW WXQ H/M
str. 31
Savitsky-Golay filter (1/2)
Idea: zamiast średniej - aproksymacja za
pomocą funkcji wielomianowej
1,2
1,2
1
1
0,8
0,8
0,6
0,6
0,4
0,4
0,2
0,2
0
0
0
5
10
15
20
25
30
0
5
10
15
20
25
30
str. 32
Savitsky-Golay filter (2/2)
Podstawowy pomysł – bardzo kosztowny
Przy założeniu stałej częstotliwości
próbkowania sprowadza się do średniej
kroczącej z wagami
Można również obliczać pochodne
str. 33
Local regression
Podobne do idei Savitskiego-Golaya
Używana jest ważona metoda najmniejszych
kwadratów
Do regresji wykorzystywanych jest n
najbliższych sąsiadów
Wagi są obliczane na podstawie odległości
Brak optymalizacji, ale i założenia o stałej
częstotliwości próbkowania.
str. 34
Laplacian Smoothing (1/2)
Wygładzanie modeli 3D
Każdy wierzchołek jest średnią ważoną
topologicznie sąsiednich wierzchołków.
Wagi =1 lub na podstawie odległości/pól
sąsiadów
S=
k
1
b f\ S\
j
\XG
str. 35
Laplacian Smoothing (2/2)
http://graphics.stanford.edu/courses/cs468-12-spring/LectureSlides/06_smoothing.pdf
str. 36
Low-pass filter (1/2)
Przepuszcza sygnały o niskiej częstotliwości
Osłabia sygnały o wysokiej częstotliwości
W wersji idealnej można go zrealizować
mnożąc sygnał razy funkcję prostokątną w
dziedzinie częstotliwości
Pozwala uniknąć aliasingu przy próbkowaniu
sygnałów
str. 37
Low-pass filter (2/2)
1,5
70
1
0,9
60
1
0,8
50
0,7
0,5
0,6
40
0,5
0
-40
10
60
110
160
210
260
310
30
360
0,4
0,3
20
-0,5
0,2
10
-1
0,1
0
-80
-1,5
-60
-40
-20
0
0
20
40
60
80
str. 38
Kolmogorov-Zurbenko (1/2)
Wielokrotne wykonanie średniej kroczącej.
Aby uniknąć wielokrotnego wygładzania, można skorzystać ze
wzoru:
lmn,o =
o nQG
M
b
qXQ
o nQG
M
pqn,o
s F+`
ro
Gdzie m to szerokość okna (liczba nieparzysta), k to liczba
powtórzeń a pqn,o to współczynniki wielomianu:
1 + u + ⋯ + u nQG o
str. 39
Kolmogorov-Zurbenko (2/2)
Uzyskany w ten sposób filtr jest filtrem
dolnoprzepustowym o częstotliwości
odcięcia:
vY ≈
6 1 − (1/2)G/Mo
y rM − (1/2)G/Mo
Gdzie z ∈ (0,1) jest predefiniowaną wartością
str. 40
Smoothing spline (1/4)
(xi,yi) - zbiór punktów/obserwacji, c\ = } ~\ + •\
•\ - ciąg niezależnych zmiennych losowych o wariancji
V •\ = •\M
Funkcja S(x) - dowolny spline złożony z funkcji
dwukrotnie różniczkowalnych, minimalizująca:
H
c\ − D(~\ )
‚ = vb
•\
M
\XY
†‡
+ (1 − v) ƒ D′′(~) M …~
†ˆ
... jest splinem wygładzającym
str. 41
Smoothing Spline (2/4)
H
‚ = vb
\XY
c\ − D(~\ )
•\
M
†‡
+ (1 − v) ƒ D′′(~) M …~
†ˆ
v – określa wagę każdego z dwóch członów
‰ Q‹(† ) M
Człon ∑H\XY Š Œ Š
to kryterium
Š
najmniejszych kwadratów – jakość dopasowania
spline do punktów pomiarowych.
Dla v = 1 mamy zwykły spline.
str. 42
H
‚ = vb
Człon
†‡
•†
ˆ
Intuicja:
\XY
c\ − D(~\ )
•\
M
M
†‡
+ (1 − v) ƒ D′′(~) M …~
†ˆ
D′′(~) …~ określa krzywiznę.
funkcja liniowa jest gładka, D ŽŽ ~ = 0
D ŽŽ ~ ≠ 0: funkcja jest wklęsła/wypukła
str. 43
http://support.sas.com/documentation/cdl/en/imlug/65547/HTML/default/images/splineplota.png
str. 44
Ramer-Douglas-Peucker (1/2)
Algorytm upraszcza krzywą złożoną z
odcinków poprzez usuwanie punktów:
http://en.wikipedia.org/wiki/Ramer%E2%80%93Douglas%E2%80%93Peucker_algorithm
str. 45
Ramer-Douglas-Peucker (2/2)
Tolerancja:
1
2
3
4
str. 46
Exponential smoothing (1/2)
Wygładzanie danych w postaci serii
czasowych (i nie tylko).
Niech yi oznacza kolejne próbkowane
wartości (stała częstotliwość próbkowania)
W najprostszej wersji (wygładzanie Browna)
`Y = cY
`\ = vc\ + (1 − v)`\QG
str. 47
Exponential smoothing (2/2)
1,5
1
0,5
Bez zmian
Lambda=0,2
0
Lambda=0,07
0
50
100
150
200
250
300
350
Lambda=0,03
Lambda=0,01
-0,5
-1
-1,5
str. 48
Resampling
http://t3.gstatic.com/images?q=tbn:ANd9GcSe16wH7HVvUwWjYiX00i
u_5-Aq6xr1lKFiTIk9-Yrc-ORg4UU&t=1
http://www.omatrix.com/sptmanual/ex_resample.gif
http://t0.gstatic.com/images?q=tbn:ANd9GcRs82c2OsSn
CTOcSnEvFsrMPoWxIByggR0QhKkxIVUpAQQKlA&t=1
Klasyfikacja/segmentacja
https://monk.library.illinois.edu/cic/public/analytics/decision_tree.png
http://cdn2.business2community.com/wp-content/uploads/2012/06/customer-segmentation-image.jpg

Czym jest wizualizacja danych?

Transkrypt

Podobne dokumenty

Redukcja wymiarowości Feature selection Feature extraction

pobierz

MS Outlook

Lista rankingowa (2012-04-25)