Platforma Apache Storm dla usługi HDInsight

Uproszczone przetwarzanie strumienia w czasie rzeczywistym dla danych big data

Co to jest platforma Apache Storm?

Platforma Apache Storm to rozproszone i odporne na awarie rozwiązanie typu open-source obsługujące przetwarzanie zdarzeń w czasie rzeczywistym na potrzeby szybkich strumieni zawierających duże ilości danych. Platforma Storm będąca projektem organizacji Apache Software Foundation najpierw zyskała sławę w serwisie Twitter, w którym ta technologia była używana do obsługi ogromnych strumieni tweetów. Dzięki platformie Azure platformę Apache Storm można łatwo i niedrogo wdrożyć bez konieczności zakupu sprzętu ani konfigurowania oprogramowania, przy użyciu wybranych narzędzi programistycznych (Java lub C#) i z głęboką integracją z programem Visual Studio.

Obejrzyj krótkie omówienie >

Dane pochodzą z różnych źródeł (aplikacji, urządzeń, czujników, sieci Web, sieci społecznościowych) i są zbierane w chmurze za pośrednictwem interfejsów API sieci Web lub bram działających w terenie. Dane są umieszczane w usłudze kolejki, takiej jak Event Hubs, Kafka, RabbitMQ lub ActiveMQ, na potrzeby przetwarzania danych w czasie rzeczywistym za pomocą platformy Apache Storm w usłudze HDInsight. Dane są przenoszone do magazynu długoterminowego za pomocą programu Apache HBase w usłudze HDInsight, dzięki czemu można korzystać z pulpitów nawigacyjnych, zapytań i analiz w czasie rzeczywistym.

Przetwarzanie w czasie rzeczywistym dla wyzwań w czasie rzeczywistym

Dzisiejszy, połączony świat jest definiowany przez duże zestawy danych dostarczanych w czasie rzeczywistym. Platforma Storm jest rozwiązaniem idealnym do pokonywania wyzwań wynikających ze scenariuszy w czasie rzeczywistym, takich jak wykrywanie oszustw, analiza strumienia kliknięć, alerty finansowe, dane telemetryczne z czujników i urządzeń Internetu rzeczy (IoT, Internet of Things), analiza danych społecznościowych, zawsze dostępne potoki przetwarzania ETL i monitorowanie sieci. Jako źródeł tych zdarzeń w czasie rzeczywistym klienci mogą używać urządzeń, czujników, infrastruktury, aplikacji, witryn internetowych i danych.

Łatwa konfiguracja, szybkie uzyskiwanie wyników

Platforma Storm dla usługi HDInsight nie wymaga czasochłonnej instalacji ani konfiguracji. Zajmuje się tym system Azure. Umożliwia rozpoczęcie pracy w kilka minut i wdrożenie platformy Storm bez kupowania nowego sprzętu ani ponoszenia innych kosztów z góry.

Zintegrowanie środowisko tworzenia umożliwiające prostsze i szybsze uzyskiwanie wyników

Platforma Storm jest łatwa w użyciu i obsługuje dowolny język programowania, w tym Java i .NET. Wbudowana integracja ze środowiskiem IDE programu Visual Studio oznacza możliwość szybkiego i łatwego tworzenia, wdrażania oraz debugowania topologii platformy Storm. Można łączyć elementy spout napisane w różnych językach, co oznacza, że w topologii można wykorzystać różnorodne istniejące już elementy spout i bolt.

Elastyczna wydajność umożliwiająca obsługę dużej ilości danych

Platforma Storm dla usługi HDInsight wykorzystuje możliwości platformy Azure, ułatwiając tworzenie klastrów dowolnego rozmiaru w celu przetworzenia dowolnej ilości danych na żądanie. Opłaty są naliczane tylko za rzeczywiste użycie zasobów obliczeniowych i magazynowych.

Wysoka dostępność w celu zachowania ciągłości działania

Platforma Storm jest odporna na awarie i umożliwia automatyczne ponowne uruchamianie procesów roboczych w innych węzłach w przypadku awarii. Platforma Storm dla usługi HDInsight idzie nawet o krok dalej, zapewniając pracę klastrów Storm bez przestojów przez 99,9% czasu. Platforma Azure zapewnia również całodobową pomoc techniczną dla przedsiębiorstw oraz monitorowanie klastrów.

Wdróż swój pierwszy potok analizy Apache Storm

Wdrożenie klastra Apache Storm oraz uruchomienie pierwszego potoku analizy w czasie rzeczywistym można przeprowadzić w ciągu kilkunastu minut.

Użyj subskrypcji platformy Azure lub utwórz konto w wersji próbnej, aby zalogować się do witryny Azure Portal.

Nadaj nazwę klastrowi Storm, a następnie wybierz liczbę węzłów w celu zdefiniowania rozmiaru klastra. Możesz wdrożyć klaster Storm zawierający od jednego do nawet kilkuset węzłów. Umożliwiamy również skalowanie działającego klastra Storm w górę lub w dół.

Wdrożenie klastra Storm trwa przeważnie 15 minut. Po zakończeniu wdrażania kliknij pozycję PULPIT NAWIGACYJNY STORM w dolnej części strony, aby wdrożyć swoją pierwszą topologię Storm.

Podaj nazwę użytkownika i hasło, które zostały wybrane podczas tworzenia klastra.

Z listy rozwijanej wybierz jedną z przykładowych topologii lub załaduj nową topologię, która powinna być skompilowana do postaci pliku JAR.

Kliknij pozycję Prześlij, aby wdrożyć topologię WorkCount. Działanie tej topologii polega na liczeniu wyrazów w grupie zdań wprowadzanych jako dane wejściowe.

Po zakończeniu przesyłania możesz kliknąć pozycję Interfejs użytkownika platformy Storm, aby monitorować działającą topologię.

Topologie Storm można łatwo kompilować i wdrażać, a także zarządzać nimi, w środowisku programu Visual Studio. Zestaw Azure SDK jest również dostarczany z szablonami ułatwiającymi rozpoczynanie pracy z platformą Storm dla usługi HDInsight. Zintegrowane środowisko programu Visual Studio pozwala na zwiększanie produktywności oraz całościowe zarządzanie projektami z poziomu środowiska programu Visual Studio.

Wypróbuj bezpłatnie usługę HDInsight