PO/X. 1. Smartphone jako uniwersalny kontroler (myszka/gamepad

PO/X. 1. Smartphone jako uniwersalny kontroler (myszka/gamepad

Kraków, 2012
PO/X. 1. Smartphone jako uniwersalny kontroler
(myszka/gamepad/pistolet/3d)
opiekun projektu: mgr inż. Patryk Orzechowski
Skład grupy:
Daniel Jagielski
Tomasz Kmiecik
Marcin Marzyński
Cel projektu
Naszym zadaniem było stworzenie oprogramowania, dzięki któremu komórka z systemem
Android staje się uniwersalnym, bezprzewodowym( dzięki technologii WI-FI) kontrolerem do
komputera/laptopa. Pod nazwą uniwersalny kontroler kryją się takie urządzenia jak: myszka,
klawiatura, pad do gier, pistolet 3d, a także pilot. Pistolet 3d ma symulować działanie prawdziwego
pistoletu i zapewniać w ten sposób nowe doznania płynące z rozgrywki elektronicznej. Pilot
natomiast ma ułatwiać posługiwanie się programami użytkowymi oraz oglądanie filmów na ekranie
komputera (nie wyklucza się też użycia go w grach).
Technologie
Projekt wykonany został przy użyciu technologii Javowych. Serwer bazuje na JavieSE i
wykorzystuje sockety do komunikacji. Aplikacja na telefon przeznaczona jest dla systemu Android i
również za pomocą socketów łączy się z serwerem (preferowane wifi ze względu na szybkość
transmisji). Dysponowaliśmy urządzeniami z systemem Android 2.1 dlatego zakładaliśmy
uruchamianie aplikacji właśnie na tej wersji platformy (lub nowszej).
Narzędzia
•
•
•
•
W stworzeniu projektu pomocne były następujące narzędzia:
Eclipse IDE z wtyczką ADT
zainstalowane Android SDK oraz
JavaSDK
TortoiseSVN
Te narzędzia posłużyły nam do stworzenia kodu, kompilowania, synchronizacji oraz przesyłu
na urządzenie oraz debuggowania bezpośrednio na komórce z Androidem.
Wymagania
Klient:
•
Urządzenie działające na systemie operacyjnym Android
Serwer:
•
Urządzenie działające na systemie operacyjnym Android
•
Windows/Linux
•
JRE
•
Serwer musi być widoczny w sieci tzn. musi mieć publiczne IP lub musi być w tej samej sieci
co klient
Opis komunikacji
Pomiędzy urządzeniami przesyłane są pakiety zawierające następujące informacje:
Type (int)
Content (int)
Parameters (LinkedList)
Dostępne typy wiadomości są następujące:
•
T_FAIL - wysyłana w razie niepowodzenia zidentyfikowania urządzenia przez serwer
•
T_HELLO – wysyłana na początku komunikacji przez klienta
•
T_ACCEPT - wysyłana przez serwer, gdy przyjął połączenie od klienta
•
T_IDENTIFY – identyfikacja typu urządzenia klienta (pilot, gamepad, pistolet)
•
T_READY – wysyłana gdy serwer jest gotowy do odbierania wiadomości
•
T_EVENT – polecenie wykonania akcji przysłane od klienta
•
T_BYE – klient wysyła tą wiadomość gdy kończy połączenie
Dostępne typy urządzeń to:
•
DEV_KEYBOARD
•
DEV_MOUSE
•
DEV_GAMEPAD
•
DEV_PISTOL
Poniższy diagram przedstawia schemat komunikacji pomiędzy serwerem i klientem:
Mapowanie
Serwer trzyma hashMapę mapującą przysyłane eventy na rzeczywiste akcje. Do
implementacji akcji stworzyliśmy uniwersalny interfejs ExecutionHelper, który pozwala na
mapowanie podanych eventów na akcję wykonywane przez javową klasę Robot. Takie podejście
pozwala na wykonywanie akcji typowych dla klawiatury i myszki.
Dostępne są następujące ExecutionHelpery:
•
KeyPressExHelper - naciska i trzyma podany klawisz. W konstruktorze podawany klawisz.
PARAMS=[]
•
KeyReleaseExHelper - zwalnia podany klawisz. W konstruktorze podawany klawisz.
PARAMS=[]
•
MouseMoveExHelper - zaczyna ruszać mysz z podaną prędkością. W konstruktorze podana
oś w której przesuwa. PARAMS = [int speed], speed wyrażony jako ilość procent długości lub
szerokości ekranu (odpowiednio dla osi Y lub osi X)
•
MousePointExHelper - przesuwa kursor na podane współrzędne. W konstruktorze podana
rozdzielczość Width x Height. PARAMS = [float x% float y%] gdzie x i y to odległość od środka
ekranu do odpowiedniej krawędzi. Jeśli x lub y >=0 to bierzemy odpowiednio prawą lub dolną
krawędź, w przeciwnym wypadku lewą lub górną
•
MousePointMoveExHelper - cały czas przesuwa kursor na podane współrzędne. W
konstruktorze podana rozdzielczość Width x Height. PARAMS = [float x% float y%] gdzie x i y to
odległość od środka ekranu do odpowiedniej krawędzi. Jeśli x lub y >=0 to bierzemy odpowiednio
prawą lub dolną krawędź, w przeciwnym wypadku lewą lub górną
•
MouseReleaseExHelper - zwalnia podany przycisk. W konstruktorze podany przycisk
PARAMS = []
•
MousePressExHelper - naciska i trzyma podany przycisk. W konstruktorze podawany
klawisz. PARAMS=[]
•
NbuttonPressExHelper - naciska podany przycisk. PARAMS=[static int]
•
NbuttonReleaseExHelper - zwalnia podany przycisk. PARAMS = [static int]
•
KeyHoldExHelper - naciska i trzyma przyciski podane w konstruktorze.. PARAMS = []
•
KeyReleaseHoldExHelper - zwalnia trzymanie przycisków podanych jako parametry
konstruktora.. PARAMS = []
Przy implementacji powyższych klas wsparliśmy się pomocniczą klasą
ContinuousEventRobot, która umożliwia na przytrzymanie klawiszy, bądź kontynuowanie akcji.
Możliwe typy zdarzeń przesyłanych przez klienta są następujące:
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
EVENT_STICK1_DOWN
EVENT_STICK1_LEFT
EVENT_STICK1_RIGHT
EVENT_STICK1_UR
EVENT_STICK1_UL
EVENT_STICK1_DL
EVENT_STICK1_DR
EVENT_STICK1_CENTER
EVENT_STICK2_UP
EVENT_STICK2_DOWN
EVENT_STICK2_LEFT
EVENT_STICK2_RIGHT
EVENT_STICK2_UR
EVENT_STICK2_UL
EVENT_STICK2_DL
EVENT_STICK2_DR
EVENT_STICK2_CENTER
EVENT_BTN1_PRESS
EVENT_BTN1_DOWN
EVENT_BTN1_RELEASE
EVENT_BTN2_PRESS
EVENT_BTN2_DOWN
EVENT_BTN2_RELEASE
EVENT_BTN3_PRESS
EVENT_BTN3_DOWN
EVENT_BTN3_RELEASE
EVENT_BTN4_PRESS
EVENT_BTN4_DOWN
EVENT_BTN4_RELEASE
EVENT_BTN5_PRESS
EVENT_BTN5_DOWN
EVENT_BTN5_RELEASE
EVENT_BTN6_PRESS
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
EVENT_BTN6_DOWN
EVENT_BTN6_RELEASE
EVENT_BTN7_PRESS
EVENT_BTN7_DOWN
EVENT_BTN7_RELEASE
EVENT_MOVE_UP_START
EVENT_MOVE_DOWN_START
EVENT_MOVE_LEFT_START
EVENT_MOVE_RIGHT_START
EVENT_MOVE_X_STOP
EVENT_MOVE_Y_STOP
EVENT_SET_X
EVENT_SET_Y
EVENT_TWIST_RIGHT
EVENT_TWIST_LEFT
EVENT_SET_POINT
Instrukcja obsługi klienta
Główne okno aplikacji pozwala wybrać kontroler który chcemy używać. Pod przyciskiem menu
mamy dostęp do konfiguracji ustawień wifi.
Okno konfiguracji połączenia. Podajemy IP serwera (serwer musi mieć publiczne IP lub musi być w
tej samej sieci lokalnej co klient). Okno to wyskakuje automatycznie przy pierwszym uruchomieniu.
Okno nawiązywania połączenia. Połączenie nawiązywane jest gdy uruchamiamy konkretny
kontroler.
Widok pistoletu. Pistolet wykorzystuje cztery przyciski oraz ruch. Na początku należy go
skalibrować. Kalibracji dokonujemy w następujący sposób:
1.
Celujemy w środek ekranu i naciskamy Button1
2.
Celujemy w prawą krawędź ekranu (lepiej trochę za nią) i naciskamy Button1
3.
Celujemy w lewą krawędź ekranu (lepiej trochę za nią) i naciskamy Button1
4.
Celujemy w górną krawędź ekranu (lepiej trochę za nią) i naciskamy Button1
5.
Celujemy w dolną krawędź ekranu (lepiej trochę za nią) i naciskamy Button1
6.
Przycisk powinien zmienić etykietę. Pistolet jest gotowy do użycia. Aby go aktywować
celujemy w środek ekranu i naciskamy Button1
Gamepad posiada dwa przyciski zwykłe (małe) oraz dwie manetki (duże) obsługiwane jak w
zwykłym gamepadzie przez przesuwanie na bok. Również przyciski głośności służą jako klawisze,
głośność w dół to Button3 a pogłośnienie to Button4.
W menu gamepada znajduje się opcja pozwalająca obrócić wyświetlanie gamepada. Przydatne gdy
przyciski regulacji głośności znajdują się po drugiej stronie obudowy.
Widok myszy i klawiatury. Tak jak w innych modułach, przy inicjalizacji kontrolera myszy i
klawiatury ustanawiane jest połączenie z serwerem. Jeśli połączenie powiodło się, włączany jest
akcelerometr, którego odczyty z osi X oraz Y telefonu służą do poruszania wskaźnika myszy.
Najwygodniej i najprecyzyjniej steruje się telefonem obracając go, zamiast przemieszczania. Wynika
to ze specyfiki wartości zwracanych przez akcelerometr. Wartości te są w zależności od wychylenia
odpowiednio skalowane i przekształcane na prędkość wskaźnika w danej osi. Prędkość można
regulować poprzez suwak na ekranie.
Oprócz konfiguracji prędkości mamy, podobnie jak w niektórych grach komputerowych, możliwość
odwrócenia orientacji osi Y, ze względu na różne preferencje użytkowników. Dodatkowo do obsługi
na ekranie mamy przyciski takie jak Pokaż klawiaturę - wywołuje systemową klawiaturę systemu
Android. Wpisane przez nas znaki będą przesyłane do serwera na komputerze. Oprócz tego mamy
możliwość używania najpopularniejszych klawiszy z klawiatury komputera, a mianowicie: Escape,
Caps Lock, Delete, Page Up, Page Down,Control, Alt, Shift, strzałki - wszystkie kierunki, oraz Enter.
Backspace jest wbudowany w klawiaturę. Są tam 2 rodzaje przycisków: zwykły, oraz przycisk
stanowy, który imituje ciągłe naciskanie danego klawisza. Np. chcąć przetrzymać Control, klikamy
na niego, następnie wykonujemy żadaną ekcję, i po skończeniu naszej akcji zwalniamy przycisk,
również klikając na niego. Dwa duże pola na środku ekranu oznaczają odpowiednio lewy i prawy
przycisk myszy.
Linki
Przy tworzeniu projektu bardzo pomocnymi okazały się oficjalne dokumentacje Androida http://developer.android.com oraz Javy http://docs.oracle.com/javase/6/docs/ . Często też swoje
problemy rozwiązywaliśmy czytając forum http://stackoverflow.com/