Apache Storm für HDInsight

Streamverarbeitung in Echtzeit für Big Data leicht gemacht

Was ist Apache Storm?

Apache Storm ist eine verteilte fehlertolerante Open Source-Lösung zur Ereignisverarbeitung in Echtzeit für große und schnelle Datenstreams. Bekannt geworden ist die Lösung durch Twitter – das Unternehmen setzte die Technologie für seine riesigen Tweet-Streams ein. Storm ist ein Projekt der Apache Software Foundation. Dank Azure lässt sich Apache Storm einfach und kostengünstig bereitstellen: Sie müssen keine Hardware anschaffen, keine Software konfigurieren, können Ihre bevorzugten Entwicklungstools einsetzen (Java oder C#) und profitieren von der umfassenden Integration in Visual Studio.

Kurze Übersicht ansehen >

Daten gehen aus unterschiedlichen Quellen ein (Anwendungen, Geräte, Sensoren, Web, soziale Medien) und werden über Web-APIs oder Bereichsgateways in der Cloud gesammelt. Für die Datenverarbeitung in Echtzeit mit Apache Storm in HDInsight werden sie in Warteschlangendiensten wie Event Hubs, Kafka, RabbitMQ oder ActiveMQ platziert. Dann werden die Daten mit Apache HBase in HDInsight in Langzeitspeicher verschoben, wo Sie Ihre Dashboards, Abfragen und Analysen in Echtzeit ausführen können.

Echtzeitverarbeitung für Echtzeitszenarien

Big Data, die in Echtzeit zur Verfügung gestellt werden, spielen heutzutage eine immer größere Rolle. Storm eignet sich ideal für Echtzeitszenarien wie z.B. Betrugserkennung, Clickstreamanalysen, Warnungen bei Finanztransaktionen, Telemetriedaten von IoT-Sensoren und -Geräten, Analyse sozialer Medien, Always On-ETL-Pipelines sowie Netzwerküberwachung. Ihre Kunden können Geräte, Sensoren, Infrastrukturen, Anwendungen, Websites und Daten als Quelle dieser Echtzeitereignisse verwenden.

Problemlose Einrichtung, schnelle Ergebnisse

Mit Storm für HDInsight gehören zeitaufwendige Installations- oder Einrichtungsschritte der Vergangenheit an. Azure übernimmt all dies für Sie. Stellen Sie Storm innerhalb weniger Minuten bereit, ohne zu diesem Zweck neue Hardware erwerben oder vorab andere Investitionen tätigen zu müssen.

Eine integrierte Entwicklungsumgebung, mit der Sie einfacher und schneller Ergebnisse erzielen

Storm ist benutzerfreundlich und unterstützt sämtliche Programmiersprachen, einschließlich Java und .NET. Dank der standardmäßigen Integration in die Visual Studio-IDE können Sie Storm-Topologien schnell und problemlos entwickeln, bereitstellen und debuggen. Sie können Spouts mischen, die in unterschiedlichen Sprachen geschrieben wurden – so profitieren Sie von der ungeheuren Fülle an vorhandenen Spouts und Bolts als Teil Ihrer Topologie.

Elastische Kapazität für Big Data

Da Storm für HDInsight die leistungsstarken Azure-Funktionen nutzt, können Sie problemlos Cluster jeglicher Größenordnung erstellen, um nach Bedarf verschiedene Datenvolumen verarbeiten zu können. Wir stellen Ihnen nur die Computeleistung und Speicherkapazität in Rechnung, die Sie tatsächlich nutzen.

Hohe Verfügbarkeit für Geschäftskontinuität

Storm ist fehlertolerant und startet Worker auf Knoten nach Ausfällen automatisch neu. Storm für HDInsight geht noch einen Schritt weiter und bietet für Ihre Storm-Cluster eine Betriebszeit von 99,9 %. Darüber hinaus bietet Azure rund um die Uhr Unternehmenssupport und Clusterüberwachung.

Stellen Sie Ihre erste Apache Storm-Analysepipeline bereit

Sie können innerhalb weniger Minuten Apache Storm-Cluster bereitstellen und Ihre erste Pipeline für Echtzeitanalysen einrichten.

Verwenden Sie Ihr Azure-Abonnement, oder legen Sie ein Testkonto an, um sich am Azure-Portal anzumelden.

Benennen Sie den Storm-Cluster, und geben Sie die Anzahl von Knoten an, um die Clustergröße zu definieren. Bei der Bereitstellung eines Storm-Clusters können Sie zwischen einem und mehreren Hundert Knoten wählen. Darüber hinaus können Sie einen Cluster während der Ausführung Ihren Anforderungen entsprechend zentral hoch- oder herunterskalieren.

Die Bereitstellung eines Clusters dauert üblicherweise 15 Minuten. Klicken Sie nach der erfolgten Bereitstellung unten auf der Seite auf STORM DASHBOARD, um Ihre erste Storm-Topologie bereitzustellen.

Geben Sie den bei der Erstellung des Clusters gewählten Benutzernamen und das Kennwort ein.

Wählen Sie aus dem Dropdownmenü entweder eine der Beispieltopologien aus, oder laden Sie eine neue Topologie hoch, die als JAR-Datei kompiliert sein sollte.

Klicken Sie auf Senden, um die WorkCount-Topologie bereitzustellen. Diese Topologie zählt die Wörter, die in den Sätzen der Eingabe enthalten sind.

Sobald die Übermittlung abgeschlossen ist, können Sie auf Storm-UI klicken, um die ausgeführte Topologie zu überwachen.

Storm-Topologien lassen sich problemlos aus der Visual Studio-Umgebung erstellen, bereitstellen und verwalten. Das Azure SDK enthält Vorlagen für Storm in HDInsight, die Ihnen den Einstieg erleichtern. Dank der Integration in Visual Studio können Sie produktiver arbeiten und die gesamte Projektverwaltung aus der Visual Studio-Umgebung erledigen.

HDInsight kostenlos testen