Azure データ エクスプローラーの概要

2018年9月24日 に投稿済み

Group Program Manager, Azure Data Explorer

本日 Microsoft は、オーランドで開催された Microsoft Ignite で、Azure データ エクスプローラーのプレビューを 41 のリージョンを対象に発表しました。これは、データ探索用に最適化されたきわめて高速なサービスです。Azure データ エクスプローラーは、カスタム アプリケーションに埋め込んでほぼリアルタイムの分析機能を追加できる PaaS サービスです。このサービスは、組織がペタバイト規模の構造化データと非構造化データからすばやく分析情報を検出するのに役立ちます。Azure データ エクスプローラーを使ってストリーミング データを照会することで、パフォーマンスの分析、傾向と異常の特定、問題の診断につながる分析情報を瞬時に引き出すことができます。また、データ エンジニアがデータ分析の初期段階でデータを探索し、そのデータについての理解を深める目的で使うこともできます。Azure データ エクスプローラーは、数分前から数週間前、または数か月前までのデータを瞬時に可視化して分析できるようにすることで、最新のデータ ウェアハウスを強化します。

Azure データ エクスプローラーは、開発者チームが、問題のトラブルシューティングと解決を効率化するために、そのサービスのテレメトリ ストリームから来る大量のデータを把握する必要性に迫られて構築したものです。当時、必要とされていたのは、簡単にアドホック クエリを実行し、きわめて大規模なデータ セットを処理して、短時間で結果を返すことができるソリューションです。このサービスは、すぐに Microsoft 社内の一部の従業員とチームによって採用されました。今では、Azure データ エクスプローラーは 2 万 5,000 人を超える Microsoft の従業員によって日常的に使われています。

デジタル変革という長期的な構想に向けたデータの活用において、Azure データ エクスプローラーにはいくつかのベネフィットがあります。

生産性

Azure データ エクスプローラーの高速インデックス作成は、アドホック探索向けに最適化された強力で単純なクエリ言語と一体化されています。Azure データ エクスプローラーを使えば、10 億件のレコードを 1 秒未満で照会できるため、生産性が向上します。

拡張性

Azure データ エクスプローラーは、1 ノードあたり毎秒 200 MB を取り込め、最も要求の厳しいワークロードにも線形スケーリングを使って対応することができます。このサービスなら、データ インジェストとクエリの両方に対する効率的な処理により、数分以内に数百台のマシンにスケーリングすることができます。

シンプルさ

Azure データ エクスプローラーを使えば、データ探索がシンプルになります。Azure データ エクスプローラーには、スマートな IntelliSense とカラー コーディングを利用した最新のクエリ言語が使われているため、クエリを簡単に実行することができます。高速でメンテナンス不要のテキスト インデックス作成、カラム型ストレージ、時系列機能を融合する仕様となっているため、ソリューションのエンジニアリングに費やす時間を減らし、データに費やす時間を増やすことができます。

柔軟性

Azure データ エクスプローラーは、Azure Log AnalyticsAzure Application InsightsAzure Time Series InsightsWindows Defender Advanced Threat Protection など、大量のデータを扱う各種 Azure サービスのバックエンドとして使われてきた実績があります。新たに PaaS サービスとして提供されたことでその運用の幅が広がり、ほぼリアルタイムの分析を必要とするカスタム ソリューションの開発にご利用いただけるようになりました。

本日お知らせしたのはプレビューの提供についてですが、このサービスは安心してご利用いただけます。Azure データ エクスプローラーは既に Microsoft で大規模な負荷を処理しています。容量 200 PB のデータに対するクエリが可能であり、テーブルは 4 兆行にも達しています。Azure データ エクスプローラーは、テキスト、型指定された列、半構造化データを一貫して処理でき、あらゆるデータ型のインデックス作成と圧縮が自動的に行われます。Azure データ エクスプローラーは、データの取り込みに際して、強力な分析クエリ機能が利用できるようになっているうえ、次のような機能が独自に組み合わされています。

  • リレーショナル クエリ機能 (集計、フィルタリング、選択、結合、計算列、高度な分析関数と集計関数)。
  • フルテキスト インデックス作成とフルテキスト取得、正規表現評価、テキスト解析。
  • 時系列分析機能。

さらに、Azure データ エクスプローラーは、コネクテッド カー、デジタル広告およびマーケティング プラットフォーム、ディーゼル エンジン、チョコレート製造機、画像診断やデジタル イメージング、オンライン ドキュメント、信頼性サービスなど、厳選されたパートナーとお客様によっても実行されています。また、Azure データ エクスプローラーの用途は、このサービスを使って SaaS ソリューションを作成するソフトウェア企業を含め、石油、ガス、エネルギーなど、さまざまな業種にわたっています。

Azure データ エクスプローラーについて詳しくは、以下をご覧ください。