Trendy i scenariusze rozwoju systemów wizyjnych i ich

Praca zrealizowana w ramach projektu:
„Scenariusze i trendy rozwojowe wybranych technologii społeczeństwa informacyjnego”
współfinansowanego ze środków EFRR
Trendy i scenariusze rozwoju
systemów wizyjnych i ich
neurokognitywnych następców
do roku 2025
Ryszard Tadeusiewicz
AGH University of Science and Technology
Kraków, 14 marca 2013
Ogólny plan referatu:
• Potrzeby tworzenia i wykorzystywania systemów wizyjnych
w procesie rozwoju społeczeństwa informacyjnego
• Przykłady zastosowań systemów wizyjnych najszybciej
rozwijające się obecnie i najlepiej rokujące na przyszłość
• Dziedziny w których systemy wizyjne będą się głównie
rozwijać
• Definicja i przyszłościowe znaczenie neuro-kognitywistyki
• Systemy automatycznego rozumienia obrazów jako
systemy neuro-kognitywne
2
©Ryszard Tadeusiewicz - AGH
Uzasadnienie celowości podjęcia badań:
Człowiek będąc wzrokowcem (ponad 90% informacji o otaczającym świecie
pobieramy oczami) tak zorganizował swoje stanowiska pracy oraz miejsca, w
których żyje, że do skutecznego wspomagania go w pracy oraz do
efektywnego angażowania środków nowoczesnej elektroniki, automatyki,
informatyki i telekomunikacji w domach i w innych sytuacjach życia
codziennego – konieczne jest wyposażenie systemów technicznych
(informatycznych, telekomunikacyjnych, związanych z automatyką i robotyką)
w możliwości operowania informacją obrazową.
This research has been supported by the ERDF-financed foresight project „Scenarios and Development Trends of Selected IST until 2025” carried out
by the Progress & Business Foundation during the period of 2010-2013
3
©Ryszard Tadeusiewicz - AGH
Systemy wizyjne rozwijają się od niedawna,
ale prezentują najszybsze tempo wzrostu
Wynika to z faktu, że coraz więcej informacji gromadzi się
obecnie właśnie w formie obrazowej.
Niekiedy formułowana jest teza, że cywilizacja oparta na
słowie (na tekstach pisanych i czytanych, na słownych
przekazach itp. wypierana jest przez cywilizację opartą na
obrazach.
Ludzie preferują obrazy gdy mają pozyskiwać nowe
informacje lub interpretować stare.
4
©Ryszard Tadeusiewicz - AGH
Przechodzenie od tekstu do obrazu
Jeden obraz to więcej niż
tysiąc słów
5
©Ryszard Tadeusiewicz - AGH
Przechodzenie od tekstu do obrazu
6
©Ryszard Tadeusiewicz - AGH
Przechodzenie od tekstu do obrazu obserwuje
się na przykład w zasobach gromadzonych
w Internecie i w innych bazach danych
Porównanie zawartości rekordu pacjenta
w medycznej bazie danych dawniej i dziś
8
Potrzebne są więc narzędzia wyszukiwania
danych ukierunkowane na znajdowanie
potrzebnych obrazów
9
Obecnie wyszukiwanie takie realizowane jest
w oparciu o towarzyszące obrazom teksty
Images with text
annotations
10
Text annotations only
To jest mało efektywne i prowadzi do błędów
11
„Bengal tiger”
Potrzebne są nowe narzędzia do operowania
informacją wizyjną i do jej wyszukiwania
I takie narzędzia
będą się rozwijały!
12
Wiele zasobów w cyberprzestrzeni ma
limitowany dostęp. Przy upewnianiu się, że
osoba zgłaszająca zapotrzebowanie na jakieś
informacje lub usługi jest tą, za którą się
podaje, bardzo przydatne są systemy wizyjne
oparte na cechach biometrycznych
13
Rozpoznawanie odcisków palców, kształtu dłoni,
tęczówki oka – to dziś częste zatrudnienie dla
systemów wizyjnych
14
Najbardziej ambitne jest rozpoznawanie twarzy
15
Również systemy bezpieczeństwa budynków
wykorzystują obecnie systemy wizyjne
16
Systemy te mogą automatycznie wykrywać
źródła zagrożeń
a
17
b
c
System wizyjny może automatycznie śledzić ludzi
ignorując wszystkie inne widoczne obiekty
18
Dziedziną, w której systemy wizyjne odgrywać
będą rosnącą rolę jest medycyna
19
Różne rodzaje informacji diagnostycznych dostarczane
przez współczesne techniki obrazowania medycznego
Jak jest
zbudowany
badany
narząd?
Jak jest
zdeformowany
przez chorobę?
System obrazowania
medycznego
20
Jak
zlokalizować
miejsce
choroby?
Własności obrazów na
tle innych form
informacji medycznej
21
Główne działy diagnostyki obrazowej
22
Komputerowe systemy wizyjne są bardzo potrzebne
także do automatyzacji wielu prac, ponieważ człowiek
na odpowiednich stanowiskach pracy większość
informacji pozyskuje właśnie za pomocą wzroku.
Działanie
Obraz
Świat zewnętrzny
23
©Ryszard Tadeusiewicz - AGH
Czowiek
Wizyjna kontrola wyrobów w zrobotyzowanej
fabryce
24
System wizyjny w nawigacji mobilnego robota
25
Te systemy wizyjne są używane obecnie
i dobrze się sprawdzają w praktyce.
• Ku czemu jednak to wszystko będzie
zmierzać w perspektywie najbliższych lat
oraz w horyzoncie czasowym do 2025
roku?
• Przyszłość będzie (zapewne) należeć do
systemów automatycznego rozumienia
obrazów (neuro-kognitywnych)
26
Do rozwiązywania wielu problemów
związanych z systemami wizyjnymi konieczne
jest ROZUMIENIE obrazów
27
Na przykład gdy wymagamy, żeby komputer
policzył, ile krzeseł jest na tym obrazie
28
Bywa, że automatyczne rozumienie obrazu
jest konieczne dla realizacji innego zadania
Wyobraźmy sobie, że mamy za zadanie
odkryć regułę, według której wybrane zostały
z bazy danych przykładowe obrazy, po to,
żeby wybrać potem z tej bazy inne obrazki na
ten sam temat.
Oto przykładowe obrazy:
29
Co się stanie za chwilę?
30
Co się stanie za chwilę?
31
Co się stało przed chwilą?
32
Jak znaleźć klucz, według którego dobierano
te obrazy?
• Znaleźć na obrazach występujące na nich
obiekty
• Rozpoznać te obiekty
• Wyszukać z bazy danych obrazy, na których
występują te sam obiekty.
• No to zróbmy to!
33
Object number 2:
features: ...
Recognition = Vehicle
Object number 1:
features: ...
Recognition
= Women
34
Object number 2:
features: ...
Recognition = Vehicle
Object number 3:
features: ...
Recognition
= Man
Object number 1:
features: ...
Recognition = Women
Object
number 2:
features: ...
Recognition
= Vehicle
Object
number 3:
features: ...
Recognition
= Man
Object number 4:
features: ...
Recognition
= Man
Object
number 1:
features: ...
Recognition
=
Women
Na wszystkich obiektach były kobiety i pojazdy.
Na niektórych także mężczyźni, ale nie na
wszystkich, więc to kryterium można pominąć
• Oto synteza kryterium wyszukiwania:
A oto wynik wyszukiwania:
38
Tymczasem do wybranej klasy obrazów należy także ten, chociaż
nie ma na nim żadnego pojazdu
39
Poprawne kryterium wyszukiwania otrzymuje
się, gdy się zrozumie sens tych obrazków:
• Now we can see, why
(and because of who)
the men’s life can be
so often shortened!
40
To był oczywiście tylko żart, ale problem jako
taki jest poważny.
• Potrzebujemy już i będziemy w coraz
większym stopniu potrzebować w przyszłości
systemów zdolnych do rozumienia obrazów.
• Takie systemy wzorowane są na procesach
zachodzących w naszym mózgu, więc
nazywamy je systemami neuro-kognitywnymi
41
Obecne systemy wizyjne na przykład w medycynie
działają zgodnie z takim schematem:
Taking of the image (reception)
Object
Analysis
X=3,75
y=2,54
z=-8,72
.....
......
Medical image
42
Image
features
Recognition
Diagnosis:
narrowing
of left
coronary
artery!
Decision
Natomiast system neuro-kognitywny
wzorowany jest na funkcjonowaniu
ludzkiego mózgu i działa tak,
jak pokazano na następnym slajdzie
43
Demands are kind of postulates, describing
desired values of some (selected) features of
Demands about
image merit content
the image. The selected parameters of the image
under consideration must have desired values when
some assumption about semantic interpretation
of the image content can be validated as true.
Cognitive
resonance
Image
acquisition
Object
44
Analysis
Medical image
X=3,75
y=2,54
z=-8,72
.....
......
Image features
Linguistic
description
Ξαψβνσδ
δϕωευϕπσϕεω
µϕλσδ
Description of image
merit content
Knowledge
about
images
Understanding
of image
content
Ta zasada działania sprawdziła się w przypadku prób
automatycznego rozumienia obrazów medycznych
ERCP image
of pancreas
Urography of
kidney and
ureter
Coronarograhpy of
heart arteries
Zapewne taki będzie kierunek
rozwoju systemów wizyjnych
ewoluujących w kierunku
systemów neuro-kognitywnych