Platforma Data Lake Foundation

Potrzebujesz platformy Data Lake Foundation? Nowości w ofercie EMC
Autor: Sam Grocott, wiceprezes EMC odpowiedzialny za dział Emerging Technology
Firma EMC prezentuje nowe produkty i rozwiązania wspierające Data Lake Foundation — infrastrukturę
pamięci masowej stanowiącą podstawę biznesowego repozytorium Data Lake. Repozytorium tego typu
łączy dane, aplikacje i analizy, a przy tym udostępnia użytkownikom narzędzia analityczne wszędzie tam,
gdzie są potrzebne.
Gdy rozmawiamy z klientami, często słyszymy o bezprecedensowym wzroście ilości danych i wyzwaniach
związanych z zarządzaniem „wysepkami” pamięci masowej. W ubiegłym roku przedstawiliśmy naszą
strategię dla platformy Data Lake Foundation; wprowadziliśmy na rynek takie produkty jak EMC Isilon
i EMC ECS (Elastic Cloud Storage), które mają pomóc klientom wyeliminować odseparowane zasoby
pamięci masowej i udostępnić prostsze sposoby przechowywania danych i zarządzania nimi. Dzięki takim
narzędziom firmy mogą w większym stopniu skoncentrować swoje starania na generowaniu analiz
i wydobywaniu wartości ze swoich danych.
Platforma Data Lake Foundation przynosi firmom wiele korzyści:

Wydajna pamięć masowa — eliminuje odseparowane zasoby pamięci masowej, upraszcza
zarządzanie i podwyższa stopień wykorzystania.

Olbrzymia skalowalność — skalowalna architektura umożliwia rozbudowę na wielką skalę
i zapewnia proste zarządzanie.

Większa elastyczność operacyjna — narzędzia dostosowane do wielu protokołów
i wykorzystujące funkcje nowej generacji umożliwiają obsługę tradycyjnych i innowacyjnych
aplikacji.

Atrybuty korporacyjne — rozwiązanie chroni dane dzięki wydajnym, elastycznym
mechanizmom tworzenia kopii zapasowych i usuwania skutków awarii oraz opcjom
zabezpieczeń.

Narzędzia do analizy wielkich zbiorów danych dostępne na miejscu — rozwiązanie
wykorzystuje współużytkowaną pamięć masową i obsługę takich protokołów jak HDFS, aby
zapewnić użytkownikom ekonomiczne, dostępne na miejscu narzędzia analityczne generujące
szybsze rezultaty.
W ofercie EMC można wskazać dwa produkty, które są w największym stopniu zgodne z atrybutami
platformy Data Lake Foundation — to system EMC Isilon i pamięć masowa EMC Elastic Cloud Storage
(ECS). EMC Isilon oferuje bazującą na plikach platformę Data Lake Foundation, która pozwala
uruchamiać tradycyjne obciążenia i aplikacje nowej generacji w całym przedsiębiorstwie. Natomiast ECS
to nasza obiektowa pamięć masowa, umożliwiająca stworzenie platformy Data Lake Foundation do
obsługi nowej generacji nowoczesnych aplikacji. Zaletą systemu Isilon jest znakomita równowaga między
wydajnością i pojemnością do obsługi obciążeń analitycznych, pamięć masowa ECS zapewnia natomiast
rozproszone geograficznie narzędzia analityczne o dużej pojemności. W rozwiązaniu ECS i nowych
funkcjach systemu Isilon klienci mają do dyspozycji wszystko, co jest potrzebne do przechowywania,
ochrony, zabezpieczenia, kontrolowania i analizowania wszelkich nieusystematyzowanych danych
zarówno dziś, jak i w przyszłości.
NOWA PLATFORMA
W ubiegłym roku poinformowaliśmy, że zamierzamy dwukrotnie poprawić naszą rekordową
w światowej skali wydajność, wprowadzając na rynek nową platformę Isilon S210. Dziś zapowiadamy
2,5-krotny wzrost pojemności, który przyniesie nowy system Isilon HD400 — umożliwi on klientom
rozbudowę platformy Data Lake Foundation do niezrównanych 50 PB w jednym klastrze. To idealne
rozwiązanie dla klientów, którzy potrzebują zaawansowanego, skalowalnego środowiska o dużej
pojemności do przechowywania od 2 PB do 50 PB. Taka pojemność doskonale sprawdza się w przypadku
archiwizacji danych, które prawdopodobnie nigdy nie będą już używane, lecz nie mogą zostać usunięte,
a także do odtwarzania danych i rozbudowy platformy Data Lake Foundation o dużej pojemności. Co
więcej, cechujący się wyjątkową gęstością upakowania (3,2 PB/stelaż) system HD400 pomaga obniżyć
wydatki operacyjne, w tym koszty zasilania, chłodzenia i powierzchni centrum przetwarzania danych
o 50%.
NOWE OPROGRAMOWANIE I NARZĘDZIA
Oprócz nowej macierzy prezentujemy też nowe funkcje, które pozwolą naszym klientom generować
zaawansowane analizy w oparciu o dane przechowywane w repozytorium Data Lake. Nowy system
operacyjny OneFS 7.2 będzie obsługiwał nowsze i bardziej aktualne wersje protokołów Hadoop, w tym
HDFS 2.3 i HDFS 2.4, co umożliwi szybsze przeprowadzanie analiz.
Zadbaliśmy też o zgodność z technologią OpenStack Swift, która pozwoli obsługiwać zarówno pliki, jak
i obiekty, czyli te typy danych nieusystematyzowanych, których ilość rośnie najszybciej.
NOWE ROZWIĄZANIA
Kluczem do wydobycia korzyści z danych na platformie Data Lake Foundation jest wykorzystanie
zaawansowanych narzędzi analitycznych dostarczanych przez współpracujących z EMC niezależnych
producentów oprogramowania, takich jak Cloudera i Pivotal. Aplikacje tych partnerów mają certyfikaty
poświadczające zgodność z platformą Isilon Data Lake Foundation. Dziś informujemy o certyfikacji
rozwiązań dla platformy Enterprise Hadoop oferowanych przez kolejnego lidera branży — firmę
Hortonworks. Certyfikacja ta jest ukoronowaniem naszych skoordynowanych prac inżynieryjnych,
których celem było stworzenie najwszechstronniejszego pakietu testowego Hadoop dla systemu Isilon
OneFS. W dalszym ciągu współpracujemy też ściśle z kilkoma innymi partnerami z branży narzędzi
analitycznych, aby zapewnić klientom zaawansowane rozwiązania Data Lake.
Mitch Ferguson, wiceprezes ds. rozwoju biznesowego w firmie Hortonworks, powiedział: „Dzięki
certyfikacji systemu EMC Isilon w środowisku Hortonworks Data Platform firmy mogą wykorzystać swoją
współużytkowaną pamięć masową do uruchamiania obciążeń analitycznych i korzystać z istniejących już
danych. Współpraca firm Hortonworks i EMC w obszarze inżynierii i integracji ze środowiskiem Apache
Ambari sprawia, że klienci obu przedsiębiorstw mogą teraz wdrożyć mechanizmy podziału na warstwy i
przyspieszyć generowanie analiz, a zarazem korzystać z dystrybucji platformy Hadoop, którą
najdokładniej przetestowano pod kątem systemu Isilon”.