Apache Storm for HDInsight

ビッグ データも簡単に扱えるリアルタイムのストリーム処理

Apache Storm とは

Apache Storm は、大量で高速のデータ ストリームに対してリアルタイムでイベント処理を行う、耐障害性を備えた分散型オープン ソース ソリューションです。Storm は The Apache Software Foundation のプロジェクトですが、Twitter が膨大なツイート ストリームに対してこのテクノロジを使用したことで最初に有名になりました。Azure では、ハードウェアを購入したり、ソフトウェアを構成したりすることなく、お好きな開発ツール (Java または C#) を使用して、Visual Studio と緊密に統合しながら、簡単かつ費用効果の高い方法で Apache Storm をデプロイできます。

概要をご覧ください>

さまざまなソース (アプリケーション、デバイス、センサー、Web、ソーシャル) からのデータが、Web API またはフィールド ゲートウェイを通してクラウドに収集されます。データは Event Hubs、Kafka、RabbitMQ、ActiveMQ などの Queue サービスに送信され、HDInsight の Apache Storm でリアルタイム データ処理が行われます。データは HDInsight の Apache HBase によって長期保存に移行されます。ここで、リアルタイム ダッシュボード、クエリ、分析を実行できます。

リアルタイムの課題のためのリアルタイム処理

現代のつながりの強い世界は、リアルタイムに届くビッグ データによって定義されています。Storm は、不正検出、クリック ストリーム分析、財務のアラート、モノのインターネット (IoT) のセンサーとデバイスからのテレメトリ、ソーシャル分析、常にオンの ETL パイプライン、ネットワーク監視など、リアルタイムでの高度な対応が求められるシナリオに最適なソリューションです。そのようなリアルタイム イベントは、顧客のデバイス、センサー、インフラストラクチャ、アプリケーション、Web サイト、データを元にして発生することがあります。

セットアップは簡単、結果はすぐに

Storm for HDInsight なら、時間のかかるインストールやセットアップは不要です。Azure により自動的に処理されます。数分で使用を開始でき、新しいハードウェアを購入したり他の初期費用をかけたりすることなく、Storm をデプロイできます。

統合開発環境で、結果をより簡単に、より迅速に

Storm は使用法がシンプルで、Java や .NET をはじめとするあらゆるプログラミング言語をサポートします。Visual Studio IDE に組み込み統合されているので、Storm トポロジは素早く、簡単に開発、デプロイ、そしてデバッグできます。他の言語で作成された複数のスパウトを混在させることもできます。つまり、既存の大量のスパウトとボルトをトポロジの一部として活用することができるのです。

ビッグ データに対するエラスティックな容量

Storm for HDInsight は、Azure の機能を生かしているため、あらゆるサイズのクラスターを容易に作成して、あらゆる量のデータをオンデマンドで処理できます。実際に使用したコンピューティングやストレージに対してのみ料金が発生します。

ビジネス継続性のための高い可用性

Storm は耐障害性を備え、障害の発生時には他のノードでワーカーを自動的に再起動します。Storm for HDInsight はこれをさらに進めたもので、Storm クラスターのアップタイムは 99.9% です。Azure はさらに、24 時間 365 日間のエンタープライズ サポートおよびクラスター監視を提供します。

初めての Apache Storm 分析パイプラインのデプロイ

Apache Storm クラスターのデプロイと、最初のリアルタイム分析パイプラインの実行を、わずか数分で完了できます。

Azure サブスクリプションを使用するか、試用版アカウントを作成して、Azure ポータルにログオンします。

Storm クラスターに名前を付け、ノードの数を選択してクラスターのサイズを定義します。Storm クラスターは、1 ノードから数百ノードまでデプロイできます。実行中の Storm クラスターをスケールアップまたはスケールダウンすることもできます。

Storm クラスターのデプロイには通常、15 分かかります。デプロイが完了したら、ページ下部にある [Storm ダッシュボード] をクリックして、最初の Storm トポロジをデプロイします。

クラスターを作成したときに選択したユーザー名とパスワードを入力します。

ドロップダウンからサンプル トポロジのいずれかを選択するか、JAR ファイルにコンパイルした新しいトポロジをアップロードすることができます。

[送信] をクリックして WorkCount トポロジをデプロイします。このトポロジは入力として入ってくる大量のセンテンスに存在するワード数をカウントします。

送信が完了すると、[Storm UI] をクリックして、実行中のトポロジを監視できます。

Storm トポロジの構築、デプロイ、そして管理はすべて Visual Studio 環境内で簡単に行うことができます。Azure SDK には、HDInsight の Storm ですぐに使用できる各種テンプレートも付属しています。Visual Studio の統合されたエクスペリエンスにより生産性が上がり、ユーザーは Visual Studio 環境内からすべてのプロジェクト管理を行うことができます。

HDInsight を無料で試す