Moduł sterowania gestami i rozpoznawania użytkownika Domatiq NIU

Moduł sterowania gestami i rozpoznawania użytkownika Domatiq NIU
Podstawowa charakterystyka
Moduł sterowania gestami i rozpoznawania użytkownika Domatiq NIU składa się z urządzeń obrazujących (sensory NIU oparte
natechnologii PrimeSense) oraz jednostki sterującej, na której uruchomiona została usługa NIU. Pojedyncza instancja usługi
NIU monitoruje jedno pomieszczenie w obszarze obejmowanym przez pole widzenia sensorów rozmieszczonych w konkretnych
i niezmiennych pozycjach w danym pomieszczeniu. Konfiguracja pomieszczenia i rozmieszczenie w nim sensorów NIU
oraz modułów Domatiq są definiowane w Konfiguratorze Domatiq. Efektem działania systemu jest możliwość dokładnego
określenia położenia osób w zdefiniowanym pomieszczeniu. System jest w stanie zidentyfikować osoby dodane do bazy
użytkowników podczas konfiguracji na podstawie analizy twarzy, śledzić je i wykrywać gesty wykonywane przez użytkowników.
System rozróżnia dokładnie 4 zdarzenia:
• pojawienie się osoby w zasięgu widzenia sensora NIU
• zniknięcia osoby z pola widzenia
• rozpoznania/identyfikacji osoby jako znanego użytkownika
• wykrycia/rozpoznania gestu przez konkretną osobę
Moduł komunikacji NIU z systemem Domatiq wykorzystując panel Domatiq jest w stanie odwzorowywać zdarzenia NIU
na odpowiednie funkcje systemu Domatiq.
Instalacja
Moduł sterowania gestami i rozpoznawania użytkownika Domatiq NIU działa pod kontrolą systemu MS Windows Vista/7/8.
Dla poprawnego działania system NIU3D wymagane jest zainstalowanie środowiska OpenNI + NiTE (openni-win32-1.5.4.0-dev.
msi oraz nite-win32-1.5.2.21-dev.msi) w wersji 32-bitowej. Pełne działanie systemu wymaga podłączenia przynajmniej jednego
sensora MS Kinect lub Asus Xtion. W przypadku dwóch lub więcej sensorów muszą one być podłączone do różnych kontrolerów
USB 2.0 lub do kontrolera USB 3.0, aby zapewnić wystarczającą przepustowość magistrali.
Diagram komponentów systemu sterowania gestami i rozpoznawania użytkownika
domatiQ | Spółka Inżynierów SIM Sp. z o.o. | www.sim.com.pl | www.domatiQ.pl
Moduł sterowania gestami i rozpoznawania użytkownika Domatiq NIU
Konfiguracja systemu
Konfiguracja systemu składa się z trzech zasadniczych kroków:
• konfiguracja połączenia z panelem Domatiq
• zdefiniowanie użytkowników systemu
• zdefiniowanie możliwych akcji
Czynności konfiguracyjne przeprowadzana są na trzech głównych zakładkach aplikacji.
Uwagi instalacyjne dla sensorów
System opiera się na sensorach wykorzystujących technologię Primesense, który analizuje siatkę punktów emitowanych
w bliskiej podczerwieni przez układ wbudowany w sensor. Zasięg widzenia tego układu obejmuje pole w odległości od ok.
0,5 m do ok. 4 metrów dla kątów widzenia odpowiednio 57,5 stopnia w poziomie i 43,5 stopnia w pionie. Dodatkowym
sensorem jest klasyczna kamera RGB. Identyfikacja użytkownika jest dokonywana na podstawie analizy obrazów RGB
twarzy, a do tego celu wyższa wartość natężenia oświetlenia jest bardziej pożądana. Jeżeli w jednym pomieszczeniu zostaną
umieszczone dwa sensory, powinny one być tak rozmieszczone, żeby rzutowane przez nie punkty podczerwieni nie trafiały
w pole obserwacji drugiego sensora oraz nie świeciły bezpośrednio w drugi sensor. Należy unikać kierowania sensora na silne
źródła światła (np. okno).
Najlepsze rezultaty będą uzyskiwanie dla sensorów umieszczonych na wysokości 1,5 m – 2,5 m w rogu pomieszczenia, skierowanych
lekko do dołu, tak aby w ich polu widzenia mieściła się cała sylwetka człowieka. Każdy sensor ma przypisany stopień pochylenia
od poziomu. Wartość ta jest liczbą wyskalowaną w stopniach przyjmując płaszczyznę poziomą za zero. Wartości dodatnie
oznaczają ustawienie kierunku patrzenia sensora do dołu.
Zdefiniowane gesty
Wszystkie gesty można wykonywać zarówno za pomocą lewej, jak i prawej ręki. Wykonując gest, należy upewnić się,
że użytkownik znajduje się w polu widzenia sensora, oraz uważać, aby ruch dłoni nie był przesłonięty przez żadne przeszkody.
Podane prędkości wykonywania ruchów są podane orientacyjnie.
Należy mieć na uwadze, że zbyt szybkie wykonanie ruchu może zostać niezarejestrowane przez sensor z powodu prędkości
przechwytywania obrazu. Poszczególne gesty zaleca się wykonywać w odstępach czasowych wynoszących co najmniej 1 sekundę.
Sterowanie gestami
Po uruchomieniu sensorów tryb wydawania komend dla śledzonego użytkownika aktywowany jest gestem włącz/ wyłącz tryb
wydawania rozkazów. Przejście do trybu komend sygnalizowane jest sygnałem dźwiękowym oraz zmianą Statusu Tryb rozkazów
w Menu głównym NIU Konfiguratora.
W zależności od typu zdefiniowanej akcji możliwe są dwa sposoby wydawania komend gestami:
• w przypadku akcji typu Punkt po aktywacji trybu komend należy wskazać punkt, dla którego będzie wydawana komenda.
Położenie punktu jest zdefiniowane na planie XML z Domatiq Konfiguratora. Dany punkt jest wskazywany gestem Wskazanie punktu.
Przy poprawnym wyborze punktu na planie Domatiq podświetlona zostanie ikona tego punktu, status Wybrany punkt
w Menu głównym aplikacji zostanie ustawiony na nazwę tego punktu. Dodatkowo wybór ten zostanie potwierdzony sygnałem
dźwiękowym. Następnie, system przez 7 sekund oczekuje na wykonanie gestu działania. W przypadku rozpoznania takiego gestu
wybrany punkt jest odznaczany a system przyporządkowuje gest do akcji i wykonuje ją potwierdzając sygnałem dźwiękowym.
• w przypadku akcji typu Scenariusz wymagany jest jedynie gest działania. Po wykryciu takiego gestu, system przyporządkowuje
go do akcji i wykonuje ją potwierdzając sygnałem dźwiękowym.
domatiQ | Spółka Inżynierów SIM Sp. z o.o. | www.sim.com.pl | www.domatiQ.pl