case study - Future Processing

BRIDGE
bridgeca
sestudie
s
CASE STUDY
www.future-processing.pl
#1
O KLIENCIE
3
#2
O PROJEKCIE
4
#3
NASZA ROLA
5
#4
WYNIKI NASZEJ WSPÓŁPRACY
6
#5
PROBLEM BIZNESOWY,
KTÓRY ROZWIĄZALIŚMY
7
#6
WYZWANIA
8
#7
IDENTYFIKACJA WIZUALNA
9
#8
CZEGO SIĘ NAUCZYLIŚMY?
10
#9
PLANY NA PRZYSZŁOŚĆ
11
#10 REFERENCJE
www.future-processing.pl
12-13
bridgeca
sestudie
s
TABLE OF CONTENTS
2
Projekt Bridge (ang. Basic Registry of
Identified Global Entities) został
zrealizowany na zlecenie czterech
organizacji z sektora non-profit:
GlobalGiving, Guidestar, Foundation Center oraz TechSoup.
Prace sfinansowały fundacje Bill & Melinda Gates i William
and Flora Hewlett, a także Google.
www.future-processing.pl
bridgeca
sestudie
s
O KLIENCIE
3
Przedsięwzięcie miało na celu deduplikację
baz danych posiadanych przez cztery
organizacje charytatywne: Foundation
Center, Global Giving, GuideStar i TechSoup,
które gromadzą informacje na temat
milionów organizacji pozarządowych (NGO).
Dotychczas na międzynarodowym rynku usług charytatywnych
brakowało jasno określonych reguł dotyczących identyfikacji
organizacji non-profit. Niektóre z nich występowały nawet pod
wieloma nazwami, co wynikało np. z różnic w pisowni.
Celem projektu BRIDGE było stworzenie jednego uniwersalnego
identyfikatora, który usprawni przepływ informacji w całym sektorze
oraz pozwoli lepiej zrozumieć przepływ funduszy. Dzięki temu duże
organizacje pomocowe na całym świecie będą mogły efektywniej
rozdzielać otrzymane środki pomiędzy mniejsze, lokalne organizacje
pozarządowe, a darczyńcy będą mieli pewność, że przekazywane
przez nich fundusze zostaną odpowiednio wykorzystane.
www.future-processing.pl
bridgeca
sestudie
s
O PROJEKCIE
4
Zadaniem zespołu projektowego z Future
Processing było ujednolicenie baz danych,
należących do czterech organizacji
charytatywnych.
Zawierały one informacje na temat milionów NGO, w tym m.in.
ich historię, profil działalności, czy też dane teleadresowe. W
tym celu konieczna była deduplikacja ponad 3 milionów danych.
Inżynierowie z FP mieli stworzyć kompletne rozwiązanie —
od środowiska, przez oprogramowanie na nim działające,
po dokumentację opisującą system. Rozwiązanie to zostało
zintegrowane w chmurze Amazon AWS i jest w stanie
przechowywać i deduplikować dane milionów organizacji.
Należało również zadbać o takie kwestie jak wydajność,
bezpieczeństwo, tworzenie kopii zapasowych danych lub
odpowiednia redundancja serwerów i klastrów systemów
baz danych.
Byliśmy również odpowiedzialni za podejmowanie decyzji
technicznych i wyznaczanie kierunku rozwoju. Ze względu
na znany cel oraz wynikające z innowacyjnej charakterystyki
przedsięwzięcia, ewoluujące oraz zmieniające się wymagania,
zespół razem z klientami pracował zwinnie, zgodnie
z założeniami Scrum.
www.future-processing.pl
bridgeca
sestudie
s
NASZA ROLA
5
Pierwsza faza projektu trwała około 18 miesięcy. Future Processing
była odpowiedzialna za tworzenie kompletnego systemu, który
był w stanie deduplikować dane dotyczące około 3,3 miliona
organizacji pozarządowych.
W ramach projektu większości organizacji pozarządowych (97,4%) przypisano unikalny identyfikator:
BRIDGE ID.
W sumie zidentyfikowaliśmy około 540000 duplikatów, co dało
wynik 2.7 mln Identyfikatorów BRIDGE w systemie.
Ze względu na bardzo dużą ilość informacji przechowywanych
w systemie (początkowo kilka milionów organizacji, docelowo
– o rząd więcej), system opiera się na rozwiązaniach NoSQL
– MongoDB oraz nowoczesnym silniku wyszukiwania –
ElasticSearch.
ElasticSearch i MongoDB wspólnie obsługują system
i uzupełniają się wzajemnie, aby zapewnić jak najszybszą
reakcję, oraz bezpieczną warstwę przechowującą historię
wpisów (tzw. Bridge Entries).
Rea
Wewnątrz firmy projekt był wspierany przez doradcę
technicznego, którego głównym zadaniem było zapewnienie
wysokiej jakości procesu rozwoju i dostarczonych rozwiązań.
CZYTAJ WIĘCEJ
www.future-processing.pl
bridgeca
sestudie
s
WYNIKI NASZEJ
WSPÓŁPRACY
6
TECHNOLOGIE
System BRIDGE może odegrać znaczącą rolę w
łączeniu różnych źródeł danych oraz zwiększaniu
Języki programowania
dostępu do tych danych dla liderów organizacji
ffC#
non-profit.
ffJavaScript
BRIDGE ma usprawnić obieg informacji w
ffSQL
całym sektorze oraz pozwolić lepiej zrozumieć
Struktury i biblioteki
przepływ funduszy i efektywniej rozdzielać
ff.NET
środki przekazywane przez darczyńców.
framework
ffASP.NET
MVC
ffASP.NET
WebAPI
Inne technologie i narzędzia
ffIIS
ffElastic
Search
ffMongoDB
ffSQL
Server
ffCloud
computing (Amazon AWS)
ffJMeter
ffTelerik
testing framework
www.future-processing.pl
bridgeca
sestudie
s
PROBLEM BIZNESOWY,
KTÓRY ROZWIĄZALIŚMY
7
W ramach projektu BRIDGE stworzyliśmy innowacyjny system
mający umożliwić jednoznaczną identyfikację organizacji
dobroczynnych na całym świecie, poprzez przypisanie im
identyfikatora BRIDGE.
W ramach projektu BRIDGE stworzyliśmy innowacyjny system mający umożliwić jednoznaczną
identyfikację organizacji dobroczynnych na całym świecie, poprzez przypisanie im identyfikatora BRIDGE.
Wyzwaniem było jednak to, jak wykorzystać dostępne technologie do deduplikacji danych organizacji
pozarządowych.
Musieliśmy podejmować śmiałe decyzje, aby wyeliminować ryzyko i szybko przetestować potencjalne
rozwiązania. Już podczas pierwszego sprintu stworzyliśmy produkt w pełni funkcjonalny (o bardzo
ograniczonych funkcjach) na bazie Microsoft SQL. Następnie uznaliśmy, że warto przetestować
rozwiązania na bazie NoSQL. W rezultacie podczas drugiego przeglądu sprintu zaprezentowaliśmy
system oparty na MongoDB (nierelacyjna baza danych).
Kolejnym problemem była odległość dzieląca nas z Klientami — większość z nich przebywała
w Stanach Zjednoczonych. Było to dla nas duże wyzwanie, przede wszystkim ze względu na różnice
czasowe, które stanowiły znaczące utrudnienie w komunikacji.
www.future-processing.pl
bridgeca
sestudie
s
WYZWANIA
8
Zapoczątkowaliśmy starania, aby
logo produktu zostało stworzone od
podstaw. W projekt zaangażowaliśmy
członków naszego zespołu Design,
a także (w mniejszym stopniu) kilka
osób po stronie Klienta.
EWOLUCJA LOGO
pierwsza wersja
Chcieliśmy stworzyć logo kojarzące się ze stabilnością.
Stąd pomysł by przedstawiało ono most, czyli stabilną
i bezpieczną konstrukcję, a jednocześnie nawiązywało do
nazwy projektu. Łączy on ludzi, trzymających się za ręce,
co z kolei symbolizuje wzajemne wsparcie osób pracujących
nad systemem. Dlatego też zastosowaliśmy kolor niebieski
w logo, który kojarzy się z zaufaniem.
wersja finalna
www.future-processing.pl
bridgeca
sestudie
s
IDENTYFIKACJA
WIZUALNA
9
Praca z tak dużymi zbiorami danych była dla
nas nowym doświadczeniem.
Zaangażowanie Klientów w projekt pozwoliło nam zebrać informacje
zwrotne, które były regularnie analizowane przez cały zespół. Dzięki
ścisłej współpracy z Klientem oraz energii włożonej w tworzenie
i usprawnianie naszych własnych procesów, projekt zakończył
się sukcesem.
Praca nad systemem trwała wiele miesięcy. Na początku projektu wiele
funkcji deduplikacji nie było zidentyfikowanych, nie znaliśmy roli baz
NoSQL i charakteru zapytań lub reguł biznesowych określających,
kiedy dwie organizacje powinny być uznane za duplikat. Wszystkie
te niewiadome udało się zidentyfikować dzięki zaangażowaniu
zespołu i Klientów.
W celu zbadania alternatywnych sposobów podejścia do deduplikacji
organizacji pozarządowych przeprowadziliśmy kilka eksperymentów.
W relacjach z Klientami postawiliśmy na szczerość: nie ukrywaliśmy
żadnych problemów lub błędów, dzięki czemu zdobyliśmy ich zaufanie.
Na potrzeby projektu członkowie zespołu wzięli udział w szkoleniu
zewnętrznym w Oslo, dotyczącym ElasticSearch, co w rezultacie
zwiększyło jakość pracy, zmniejszyło ryzyko i przyspieszyło proces
tworzenia systemu.
www.future-processing.pl
bridgeca
sestudie
s
CZEGO SIĘ
NAUCZYLIŚMY?
10
System BRIDGE ma pozwolić zrozumieć,
w jaki sposób pieniądze przeznaczone
na cele charytatywne przepływają
pomiędzy darczyńcami, a organizacjami
pozarządowymi na całym świecie.
Ma także zwiększyć przejrzystość i efektywność działań podejmowanych w sektorze organizacji pozarządowych.
Jeżeli BRIDGE umożliwi organizacjom pozarządowym skuteczne
przekazywanie informacji, być może uda się zwiększyć jego zasięg i
zbliżyć się do wizji prawdziwie globalnego systemu.
www.future-processing.pl
bridgeca
sestudie
s
PLANY NA
PRZYSZŁOŚĆ
11
Chad Mc Evoy,
Global Giving
DLACZEGO WYBRALIŚCIE FUTURE PROCESSING?
Dobra jakość i dobra reputacja z poprzednich projektów.
CO WYRÓŻNIA NAS NA TLE KONKURENCJI?
Reputacja z poprzednich projektów i fakt, że wydawaliście
się najlepiej rozumieć zakres prac.
CZY JESTEŚCIE ZADOWOLENI ZE WSPÓŁPRACY Z NAMI?
Tak, współpraca z Future Processing była wspaniała.
CO PAŃSTWU PODOBA SIĘ NAJBARDZIEJ W FUTURE
PROCESSING?
Niezawodny i elastyczny [zespół] oraz znacznie niższy
koszt niż przy zatrudnieniu własnego zespołu.
JAK PAŃSTWO POSTRZEGAJĄ PRZYSZŁOŚĆ NASZEJ
WSPÓŁPRACY?
Będziemy korzystać z usług serwisowych i wsparcia
technicznego. Będziemy także zlecać okazjonalne prace
projektowe. W pewnym momencie będziemy także chcieli
wprowadzić pewne istotne zmiany do obecnej wersji.
www.future-processing.pl
bridgeca
sestudie
s
REFERENCJE
12
R
z FP są biegli technicznie, zaangażowani i otwarci na nowe pomysły. Zespół Future Processing
wykonał znakomitą pracę, zarządzając projektem, a produkt końcowy spełniał wszystkie nasze
oczekiwania. Zdecydowanie chcielibyśmy ponownie współpracować z Future Processing
i polecam tę firmę również innym.
Shane T. Ward,
GuideStar
Dobrze zarządzany projekt, odpowiedzialność za produkt i duża kreatywność. Dobre rezultaty
od strony technicznej. Duża otwartość działań i postęp w pracy nad produktem prowadzącym
nas tam, gdzie trzeba. Zaangażowanie zespołów CTM w różne cotygodniowe spotkania. Podobały
mi się prezentacje, konkretny postęp prac, otwartość na szukanie rozwiązań jak i nieszablonowe
działania.
Paul van Haver,
TechSoup Global
Future Processing jest firmą bardzo elastyczną, profesjonalną i szybko reagującą. Bardzo
zorganizowaną i każdy wydawał się poważnie traktować jakość pracy. Przez cały czas
utrzymywaliśmy właściwy kierunek działań, a zespół wniósł do projektu swoje zdolności
intelektualne i techniczne. Wydawało się, że Ty i Twój zespół autentycznie zaangażowaliście się w
projekt. Komunikacja była jedynym elementem, który mógłby ulec poprawie. Twój angielski był
świetny, ale ciągle mieliśmy kłopoty, zwłaszcza na początku, by znaleźć najlepszy sposób
przeprowadzania spotkań online. To mogłoby zostać poprawione. Współpraca z Wami była
prawdziwą przyjemnością i mam nadzieję, że będziemy mieli okazję pracować ponownie.
John Hecklinger,
Global Giving
Zespół był przykładem doskonałości w pracy z metodyką Agile: skupiony, zaangażowany
i elastyczny.
Mirosław Drozdzowski,
Foundation Centre
www.future-processing.pl
bridgeca
sestudie
s
Było nam bardzo miło pracować z zespołem Future Processing. Okazało się, że inżynierowie
13
ul. Bojkowska 37A
44-100 Gliwice
POLAND
+48 32 461 23 00
[email protected]
www.future-processing.pl
bridgeca
sestudie
s
Future Processing