System Rozproszonego Pomiaru Jakości Usług

System Rozproszonego Pomiaru Jakości Usług

System rozproszonego pomiaru jakości usług
Autor: Piotr Łukawski
Warszawa, 22 listopada 2012
Podstawowe parametry
jakościowe usług IP
Podstawowe parametry usług IP
Podstawowym parametrem definiującym jakość jest przepływność
Przepływność mierzy się w bitach na sekundę
(b/s) lub bajtach na sekundę (B/s = 8 b/s) i ich
krotnościach (kb/s, Mb/s, Gb/s, kB/s, MB/s itd.).
Historycznie używane są prefiksy binarne (k =
1024, M = 1 048 576) jednak operatorzy coraz
częściej ze względów marketingowych używają
prefiksów dziesiętnych (k = 1000, M = 1 000 000)
wprowadzając de facto klienta w błąd odnośnie
parametrów usługi.
Poprzez przepływność w górę (ang. uplink) należy
rozumieć przepływność od klienta do serwera,
natomiast
w
dół
(downlink)
oznacza
przepływność
od
serwera
do
klienta.
Przepływności
te
na
typowych
łączach
asymetrycznych (np. neostrada) mogą się różnić
nawet w stosunku 1:10.
Przepływność (ang. bitrate) – prędkość z jaką sygnał cyfrowy przepływa przez
kanał łączności. Jest ona podstawowym parametrem usługi użytkownika, mając
istotny wpływ na wszystkie realizowane przez użytkownika działania.
Przepływności nie należy mylić z przepustowością,
która oznacza fizyczną prędkość kanału łączności,
np. łącze DSL może mieć przepustowość 3Mbps i
jednocześnie może być na nim świadczona usługa
o przepływności maksymalnej 2Mbps
CIR (ang. Committed Information Rate)
jest przepływnością jaką usługodawca gwarantuje
klientowi
przy
zachowaniu
parametrów
jakościowych. Jest on uśredniany w czasie,
ponieważ klient najczęściej wysyła do dostawcy
usługi z prędkością interfejsu a nie z prędkością
ustaloną przez CIR. Wartość parametru równa
zeru oznacza usługę niegwarantowaną.
Podstawowe parametry usług IP
Opóźnienie – ważny parametr dla aplikacji interaktywnych
RTD (ang. round-trip delay time)
zwany także RTT (ang. round-trip time) – czas
przesłania pakietu w obu kierunkach, tzn. od
wysłania pakietu przez nadawcę do otrzymania
odpowiedzi zwrotnej. Ze względu na fakt, że
pomiar ten odbywa się wyłącznie ze strony
nadawcy jest to najczęstszy sposób mierzenia
opóźnienia.
W celu uzyskania wiarygodnego pomiaru
przeprowadza się go co najmniej kilkukrotnie i
podaje wartości minimalną, maksymalną oraz
średnią.
W
większości
systemów
komputerowych do pomiaru tego parametru
pomiędzy komputerem użytkownika a
serwerem używa się komendy PING adresserwera.
Opóźnienie (ang. delay) – czas jaki upłynie pomiędzy wysłaniem pakietu
przez nadawcę a jego dotarciem do odbiorcy. Czas ten w sieciach
teleinformatycznych mierzy się w milisekundach [ms].
Na wartość opóźnienia mają wpływ liczne (w
tym chwilowe) parametry transmisji, takie jak
np. wielkość pakietu, obciążenie łącza i
routerów,
odległość,
ilość
routerów
uczestniczących w transmisji, zastosowany
protokół transmisji czy obciążenie serwera
docelowego.
Opóźnienie ma istotny wpływ na wszelkie
aplikacje stosujące protokoły z potwierdzeniem
(np. TCP) lub dla komunikacji głosowej (VoIP),
natomiast minimalnie wpływa na jakość takich
usług streamingowych np, Video on Demand.
Podstawowe parametry usług IP
Jitter – wyzwanie dla VoIP
Obecność jittera wynika ze zmian obciążenia
sieci oraz z przesyłania pakietów należących do
jednej transmisji różnymi drogami w sieci.
Obecność jittera może powodować, iż pakiet
wysłany później dotrze do odbiorcy przed
pakietem wysłanym wcześniej
powodując
zakłócenie interpretacji strumienia danych przez
odbiorcę.
Jitter – jest to w sieciach IP maksymalna różnica czasu opóźnienia między
pakietami IP przepływającymi w jednostce czasu przez łącze. Czas ten mierzy się
w milisekundach [ms].
Szczególnie negatywny wpływ ma obecność
jittera na usługi czasu rzeczywistego takie jak
transmisje strumieniowe (audio, wideo) oraz na
dwustronną komunikację VoIP oraz wideo. Jitter
ma z kolei minimalny wpływ na usługi nie
wymagające stałej przepływności np. ftp, http,
p2p
W celu zminimalizowania wpływu jittera stosuje
się bufory wejściowe, których zadaniem jest
ustabilizowanie transmisji po stronie odbiorcy.
Efektem ubocznym stosowania buforów jest
zwiększenia opóźnienia transmisji.
Podstawowe parametry usług IP
Utrata pakietów – przeciążenie lub problemy z łączem
Utrata pakietów może wynikać z problemów z
łączem lub z przepełnienia sieci.
Utrata pakietów może powodować, w
zależności od protokołu błędy w odbiorze lub
konieczność retransmisji pakietów, a co za tym
idzie dalsze opóźnienia w transmisji.
Utrata pakietów (ang. packet loss) – liczba pakietów, które zostały nadane a
nie dotarły do odbiorcy w trakcie trwania pomiaru. Parametr ten podaje się
jako liczbę lub procent utraconych pakietów.
Duży procent utraty pakietów, może
praktycznie uniemożliwić korzystanie z usług
bezpołączeniowych lub znacznie obniżyć ich
jakość.
W celu zminimalizowania wpływu utraty
pakietów na transmisję stosuje się kody
kontrolne i retransmisję utraconych pakietów.
Mierniki prędkości w Internecie
Mierniki prędkości w Internecie
Popularne aplikacje są głównie wspierane przez OOKLA
Mierniki prędkości w Internecie
Mierniki eksperymentalne na przykładzie M-LAB - infrastruktura
Measurement Lab został ufundowany
przez New America Foundation ‘s Open
technology Insitute, PlanetLab
Consortium, Google Inc. oraz naukowców
akademickich.
Jest zarządzany kolektywnie przez
komitet sterujący mający na celu rozwój
organizacji i platformy M-Lab
M-lab jest otwartą platformą
zawierającą aplikacje do
pomiaru prędkości w
Internecie dystrybuowane
na zasadzie open-source.
Aktualnie M-lab zawiera w swojej
infrastrukturze 48 serwerów w 16
lokalizacjach w USA, Europie i Australii
Średnio jest przeprowadzanych około
250tys. testów dziennie.
W sumie dotychczas przeprowadzono
ponad 100 mln testów.
Mierniki prędkości w Internecie
Mierniki eksperymentalne na przykładzie M-LAB – aplikacje pomiarowe
NDT (Network Diagnostic
Tool)
Glasnost
NPAD (Network Path &
Application Diagnostics)
Pathload2
ShaperProbe
BISmark
• testuje prędkość połączenia i diagnozuje problemy mające na nią
wpływ
• testuje czy pewne aplikacje lub rodzaje ruchu są blokowane lub
ograniczane przez dostawcę Internetu
• diagnozuje typowe problemy wpływające na „ostatnią milę”
• pokazuje jaka jest przepustowość łącza
• sprawdza czy dostawca Internetu stosuje traffic shaping
• oprogramowanie na router użytkownika sprawdzające jakość
połączenia w sposób ciągły
WindRider
• sprawdza czy dostawca Internetu stosuje rozróżnienie ruchu dla
różnych aplikacji lub usług
SideStream
• zbiera statystki na temat połączeń na protokole TCP używane przez
oprogramowanie pomiarowe pracujące na platformie M-Lab
Neubot
• podejmuje okresowe testy mierzące wydajność sieci i sprawdzające
ograniczenia na ruch powodowany przez specyficzne aplikacje
Mierniki prędkości w Internecie
Aktualny miernik na stronie http://www.polskaszerokopasmowa.pl - wygląd
Mierniki prędkości w Internecie
Aktualny miernik na stronie http://www.polskaszerokopasmowa.pl - możliwości
Pomiar przepływności w górę
Pomiar przepływności w dół
Pomiar maksymalnego, średniego i minimalnego
czasu odpowiedzi na ping
Pomiar jittera
Pomiary są przeprowadzane pomiędzy aplikacją w komputerze użytkownika, a
serwerem w infrastrukturze UKE.
Potencjalnie aplikacja posiada dodatkowo możliwości zapamiętywania pomiarów i
podanych w formularzu przez użytkownika danych dodatkowych.
Problemy związane z pomiarami
Problemy związane z pomiarami
„Popularne” aplikacje:
Aplikacje eksperymentalne:
• ograniczenie ilości
mierzonych parametrów
• niedostosowanie
lokalizacji serwerów do
topologii sieci
• brak wsparcia operatorów
• wynik pomiaru
niezrozumiały dla
typowego użytkownika
• konieczność instalacji
nieznanych i
niepodpisanych aplikacji
• bardzo limitowane
wsparcie w Polsce
• brak wsparcia operatorów
Memorandum w sprawie
współpracy na rzecz podnoszenia
jakości usług dostępnych na
rynku telekomunikacyjnym
Memorandum
Podpisanie
26 października z inicjatywy Prezes Urzędu
Komunikacji Elektronicznej Magdaleny Gaj
podpisano Memorandum w sprawie współpracy
na rzecz podnoszenia jakości usług dostępnych
na rynku telekomunikacyjnym. Porozumienie
oprócz Prezes UKE podpisali przedsiębiorcy
działający na rynku telekomunikacyjnym,
przedstawiciele branżowych izb gospodarczych
oraz instytucji naukowych.
Memorandum
Sygnatariusze
Podpisy pod tekstem Memorandum o jakości usług złożyli: Prezes
UKE, przedsiębiorcy działający na rynku telekomunikacyjnym:
Exatel S.A., INEA S.A., Interkam s.c., Netia S.A., Niezależny Operator
Międzystrefowy Sp. z o.o., P4 Sp. z o.o., Polkomtel Sp. z o.o., Polska
Telefonia Cyfrowa S.A., Polska Telefonia Komórkowa Centertel Sp. z
o.o., PSTD Sp. z o.o., Systemics PAB Sp. z o.o., Telefonia Dialog Sp. z
o.o., Telekomunikacja Polska S.A., TK Telekom Sp. z o.o. i UPC
Polska Sp. z o.o., oraz Polska Izba Komunikacji Elektronicznej,
Krajowa Izba Gospodarcza Elektroniki i Telekomunikacji, a także
Politechnika Łódzka, Politechnika Warszawska, Politechnika
Wrocławska, Instytut Łączności, Instytut Chemii Bioorganicznej PAN
- Poznańskie Centrum Superkomputerowo-Sieciowe.
Memorandum
Cele – wspólne działania
podnoszenie poziomu jakości usług telekomunikacyjnych;
udostępnienie użytkownikom publicznych sieci telekomunikacyjnych wiarygodnych, rzetelnych,
porównywalnych, aktualnych oraz w pełni zrozumiałych dla każdego konsumenta informacji o jakości usług
telekomunikacyjnych;
zwiększenie poziomu świadomości użytkowników w zakresie technicznych możliwości oraz ograniczeń w
realizacji usług telekomunikacyjnych;
zunifikowanie wymagań dotyczących jakości usług oraz zapewnienie jasnych i zrozumiałych reguł działania
na rynku telekomunikacyjnych; i zapewnienie przejrzystej i transparentnej informacji o warunkach
świadczenia usług;
poprawę świadomości konsumentów w zakresie przysługujących im uprawnień wynikających
z obowiązujących przepisów dotyczących regulaminów, cenników i wymogów dot. jakości usług
telekomunikacyjnych;
tworzenie przez Inicjatora – Urząd Komunikacji Elektronicznej przyjaznego dla przedsiębiorców
telekomunikacyjnych środowiska regulacyjnego promującego możliwość współregulacji rynku usług
telekomunikacyjnych.
Memorandum
Zespół Roboczy
Powołanie Zespołu Roboczego złożonego z
przedstawicieli Sygnatariuszy Memorandum,
którego zadaniem będzie wytypowanie listy
wskaźników jakości usług oraz uzgodnionych
wspólnie metodyk ich pomiaru i obliczania,
tak aby konsumenci zyskali dostęp do pełnej i
porównywalnej informacji na temat jakości
usług telekomunikacyjnych.
Memorandum
Otwarta inicjatywa
Memorandum w sprawie współpracy na rzecz
podnoszenia jakości usług dostępnych na rynku
telekomunikacyjnym to inicjatywa o charakterze
otwartym. Urząd Komunikacji Elektronicznej
zachęca do włączenia się w podejmowane
działania wszystkich, którym zależy na
podnoszeniu jakości usług dostępnych na
polskim rynku telekomunikacyjnym.
Platforma - System
rozproszonego pomiaru jakości
usług planowany w UKE - SPPI
SPPI
Koncepcja systemu
System SPPI ma umożliwić użytkownikom Internetu
przeprowadzenie pomiarów jakości podłączenia do
Internetu wraz z automatycznym raportowaniem
wyników do regulatora. System ma być realizowany
w ramach Zadania nr 7 Budowa i utrzymanie portalu
Polska Szerokopasmowa, projektu nr POIG.07.01.0000-01/09 (System Informacyjny o infrastrukturze
szerokopasmowej i portal Polska Szerokopasmowa”).
SPPI
Pomiary
W założeniach system ma być tak
zaprojektowany aby mierzyć parametry
jakościowe sieci w odniesieniu do różnych
protokołów sieciowych w celu dostarczenia
pełnego obrazu jakości połączenia dla
wszystkich branych pod uwagę usług oraz
aby wykryć nieautoryzowane działania (np.
limitowanie pasma dla usług p2p).
SPPI
Założenia pomiarowe
• Pomiar ma być przeprowadzany dla różnych protokołów
(http, https, ftp, p2p, telnet, ssh, protokoły streamingowe
itp.)
• Mierzone będą różne wartości w zależności od protokołu (np.
przepływność, opóźnienie i jitter dla VoIP i wideotelfonii, czas
odpowiedzi i ładowania strony dla HTTP itp.)
• Mierzone będą zarówno wartości parametrów transmisji w
górę jak i w dół.
SPPI
Założenia dodatkowe
• Testy mają być przeprowadzane do wszystkich lub wskazanych serwerów
z listy utrzymywanej na serwerze głównym.
• System ma mierzyć także inne parametry związane z jakością połączenia,
takie jak czas odpowiedzi DNSów, czy efektywność wybranych proxy w
celu wykrycia potencjalnych problemów powodowanych przez te
elementy.
Po przeprowadzeniu pomiarów i przeanalizowaniu ich
wyników użytkownik powinien otrzymać informację
w postaci graficznej o przewidywanej jakości usług
internetowych.
System rozproszonego pomiaru
jakości usług – SPPI Architektura
SPPI
Architektura systemu
System ma się składać z 3 podstawowych
warstw logicznych:
Aplikacja
Pomiarowa
(AP)
Serwery
Testowe (ST)
Główny
Serwer
Systemowy
(GSS)
SPPI
Architektura systemu – GSS (Główny Serwer Systemowy)
Wymienia dane z Serwerami
Testowymi (ST) i Aplikacjami
Pomiarowymi(AP), zawiera i
zarządza Listę Serwerów Testowych
(LST) zawierającą adresy IP, adresy
fizyczne, geolokalizacje oraz
informacje o właścicielach
Serwerów Testowych
Dostarcza interfejsu do pobierania
zebranych danych pomiarowych i
przechowuje rezultaty testów w
swojej bazie danych, tworzy
statystyki i raporty dotyczące
zebranych danych
Dostarcza interfejsu graficznego dla
Aplikacji Pomiarowej
Jest źródłem aktualizacji dla
oprogramowania Serwerów
Testowych
SPPI
Architektura systemu – TS (Serwery Testowe)
Serwery o ustandaryzowanych
parametrach należące do
zaproszonych do programu testów
operatorów oraz do dostawców
treści (portale itp.) i zlokalizowane
w ich sieciach.
Zawierające oprogramowanie
dostarczone i podpisane przez
zarządzającego SPPI.
Zainstalowane oprogramowanie
zawierać będzie ustalone i
zestandaryzowane dane testowe
umożliwiające użytkownikom SPPI
przeprowadzenie identycznych
testów do każdego serwera
zarejestrowanego w programie.
Oprogramowanie ST będzie
zabezpieczone przeciw
nieautoryzowanym modyfikacjom.
SPPI
Architektura systemu – AP (Aplikacja Pomiarowa)
Aplikacja Pomiarowa to aplikacja
ładowana na komputer użytkownika z
Głównego Serwera Systemowego
poprzez Portal Polska
Szerokopasmowa
AP w trakcie pomiarów będzie
wymieniać dane z GSS oraz
Serwerami Testowymi z listy.
Będzie ona mierzyć zdefiniowane
parametry połączenia do wszystkich
lub wybranych ST zarejestrowanych w
GSS.
Rezultaty pomiarów zostaną
przesłane do GSS i zwizualizowane w
przeglądarce Internetowej oraz
zapisane w bazie danych GSS.
Spodziewane efekty
Pomiary są potrzebne użytkownikom w celu umożliwienia im
realnej oceny jakości świadczonych usług Internetowych oraz
wybrania dostawców odpowiadających ich potrzebom.
Istniejące na rynku aplikacje umożliwiają podstawowe pomiary, ze
względu jednak na ich fragmentaryczność i zależność od miejsca
lokalizacji serwerów zapewniają wyniki niepełne i obarczone
dużymi błędami pomiarowymi.
Planowany system pomiarowy ma zapewnić użytkownikom
możliwość podjęcia świadomego wyboru dostawcy, a dostawcom
prowadzić walkę konkurencyjną bazującą na rzeczywistych
parametrach jakościowych potwierdzonych w rzetelny sposób.
Działania takie mogą podnieść konkurencyjność rynku i zapewnić
lepszą ofertę użytkownikom Internetu.
Platforma współpracy
iq.polskaszerokopasmowa.pl
IQ.POLSKASZEROKOPASMOWA.PL
Strona Projektu
W celu koordynacji wysiłków mających na
celu zarówno współpracę w ramach
Memorandum jak i udział w określeniu
dokładnego sposobu działania systemu SPPI
została utworzona platforma współpracy
http://iq.polskaszerokopasmowa.pl.
Serdecznie zapraszamy do rejestracji i do
wzięcia udziału w tych przedsięwzięciach.
Dziękuję za uwagę
34