Krystyna Malik

Krystyna Malik
Politechnika Śląska,
[email protected]
Detekcja i rozpoznawanie mikroekspresji mimicznych
W ramach pracy doktorskiej prowadzone są badania z zakresu detekcji i rozpoznawania
ekspresji mimicznych, czyli krótkich, nieświadomych i niekontrolowanych wyrazów
mimicznych odzwierciedlających nasilenie emocji doznawanych przez człowieka. Jako efekt
badań prowadzony w ramach pracy doktorskiej spodziewane jest opracowanie systemu
wizyjnego, który umożliwi automatyczne rozpoznawanie stanów emocjonalnych.
Realizacja celów badawczych odbywa się w oparciu o informację wizyjną pozyskaną za
pomocą kamery o dużej szybkości akwizycji, która pozwala na rejestrację mikroekspresji
mimicznych twarzy.
Proces automatycznej analizy ekspresji mimicznych można podzielić na trzy fazy.
Pierwszym etapem jest dobranie i zaimplementowanie algorytmów segmentacji obszaru
twarzy i śledzenia jej położenia w sekwencjach wideo. Następnie przeprowadzana jest
ekstrakcja cech twarzy i detekcja punktów charakterystycznych oraz obserwacja ich dynamiki
czasowej. Ostatnim, najważniejszym etapem, jest rozpoznanie ekspresji twarzy.
Od strony algorytmicznej, wizyjne aspekty rozpoznawania mikroekspresji są ściśle powiązane
z
badaniami
prowadzonymi
w
zakresie
automatycznej
analizy
obrazu
twarzy,
a w szczególności z detekcją punktów charakterystycznych i rozpoznawaniem świadomych
ruchów mimicznych twarzy.
Projektowany system opierać się będzie głównie na analizie dynamiki zmian położenia
punktów charakterystycznych twarzy, takich jak kąciki ust, wargi czy brwi, ale będzie także
dokonywał rejestracji subtelnych zmian napięcia mięśni twarzowych za pomocą metod
opartych na przepływie optycznym.
W ramach prowadzonych badań realizowane są również zadania związane z poprawą jakości
obrazów cyfrowych i ich sekwencji. Zagadnienie to jest szczególnie istotne w procesie
przetwarzania informacji wizyjnej pozyskiwanej w warunkach niedostatecznego oświetlenia
i krótkich czasów ekspozycji. Tego typu warunki występują podczas akwizycji wideo za
pomocą kamer szybkoklatkowych, służących do analizy zjawisk krótkotrwałych. Rezultatem
prowadzonych w tym zakresie badań są dwie publikacje, zamieszczone w materiałach
konferencyjnych.
Wymiernym efektem prowadzonych prac badawczych będzie opracowanie komputerowego
systemu wizyjnego, który poprzez analizę relacji geometrycznych pomiędzy punktami
charakterystycznymi twarzy, a także zaawansowane modele ekstrakcji i klasyfikacji ekspresji
mimicznych, umożliwi automatyczne rozpoznanie stanów emocjonalnych. Stworzony system
będzie unikalnym narzędziem, o dużym potencjale komercyjnym, które może zostać
zastosowane do weryfikacji prawdomówności pracowników i klientów wielkich korporacji
przemysłowych, banków i towarzystw ubezpieczeniowych. Stosowane obecnie przez te
instytucje systemy badania wiarygodności osób są oparte na analizie głosu, a dodanie
warstwy wizyjnej na pewno pozwoli na poprawę ich skuteczności. Proponowany system
może zostać także wykorzystany przez służby porządku publicznego, upatrujące
w inteligentnych systemach monitoringu efektywnego narzędzia do walki z przestępczością.
Uzyskane rezultaty przyczyną się nie tylko do rozwijania nowych technologii z zakresu
ochrony
i
bezpieczeństwa,
lecz
również
pozwolą
na
nawiązanie
współpracy
z przedstawicielami prężnie rozwijającej się branży informatycznej, co przyczyni się do
podnoszenia
innowacyjności
gospodarki
Województwa
Śląskiego
oraz
zwiększy
konkurencyjność produktów oferowanych przez regionalne przedsiębiorstwa dzięki
wdrożeniu nowoczesnych technologii.