ソリューションのアーキテクチャ: 機械学習を用いた異常検出

現代の IT 部門で使用されるサービスでは、運用の状態、システム パフォーマンス、使用状況に関する分析情報、ビジネスの指標、アラートなどのさまざまな側面を追跡するために、膨大な量の利用統計情報が生成されています。しかし、これらすべてのデータの分析情報を監視したり収集したりする作業は、完全には自動化されていない場合が多く、エラーが発生しやすい傾向があります。そのため、特定の時点のシステムの状態を効果的に、かつ正確に判定することは困難です。

カスタマイズ可能なこの異常検出ソリューションでは、機械学習を使用して IT システムの高可用性を確保すると同時に、オンプレミスとクラウドのデータ ソースからデータを取り込み、異常なイベントをダウンストリームの監視システムやチケット システムにレポートする、エンド ツー エンドのパイプラインも提供しています。

本ソリューションを使用すれば、IT インフラストラクチャ (CPU、メモリなど)、サービス (タイムアウト、SLA のバリエーション、ブラウンアウトなど)、その他重要なパフォーマンス インジケーター (オーダーのバックログ、ログイン エラー、支払いエラーなど) から取得した基盤となる正常性メトリックに基づいて、問題の検出および修正を迅速に行えるようになります。

Azure へのデプロイ

次の事前構築済みのテンプレートを使用し、Azure にこのアーキテクチャをデプロイする

Azure へのデプロイ

デプロイしたソリューションを表示

GitHub で参照する

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

実装ガイダンス

製品/説明 ドキュメント

Event Hubs

パイプラインのエントリ ポイントです。時系列の生データを取り込みます。

Stream Analytics

Stream Analytics は、5 分間隔で集計を行い、生データ ポイントをメトリック名で集計します。

Storage

Azure Storage は、Stream Analytics のジョブによって集計されたデータを格納します。

Data Factory

Data Factory は、一定の間隔 (既定では 15 分ごと) で、Azure Storage 内のデータに Anomaly Detection API を呼び出します。結果は SQL データベースに格納されます。

SQL Database

SQL Database は、バイナリ検出や検出のスコアなど、Anomaly Detection API の結果を格納します。また、生データ ポイントと共に送信されるオプションのメタデータも格納されるため、より複雑なレポートが可能です。

Machine Learning Studio

Anomaly Detection API をホストします。API 自体はステートレスで、各 API 呼び出しでの送信には履歴データ ポイントが必要なことにご注意ください。

Service Bus

検出された異常はサービス バスのトピックに発行され、外部の監視サービスで使用できるようになります。

Application Insights

Application Insights は、パイプラインの監視を可能にします。

Power BI

Power BI では、生データや検出した異常をダッシュボードに表示できます。

関連ソリューションのアーキテクチャ