Архитектура решения: Обнаружение аномалий с помощью машинного обучения

Службы, используемые современными ИТ-отделами, создают большие объемы данных телеметрии для отслеживания различных аспектов работоспособности, производительности системы, сведений об использовании, бизнес-метрик, оповещений и многого другого. Однако часто мониторинг и сбор сведений из всех этих данных не полностью автоматизирован и может быть подвержен ошибкам, что затрудняет эффективное и точное определение состояния системы в любой момент времени.

Это настраиваемое решение для обнаружения аномалий использует машинное обучение для обеспечения высокого уровня доступности ИТ-систем и предоставляет полнофункциональный конвейер, который принимает данные из локальных и облачных источников данных и сообщает об аномальных событиях нисходящим системам мониторинга и отправки запросов.

С помощью этого решения вы быстро обнаружите и устраните проблемы с учетом базовых метрик работоспособности ИТ-инфраструктуры (ЦП, память и т. д.), служб (задержки, варианты соглашений об уровне обслуживания, перебои и т. д.) и других ключевых индикаторов производительности (порядок невыполненной работы, сбои входа и оплаты и т. д).

Развертывание в Azure

Разверните эту архитектуру в Azure с помощью следующего готового шаблона

Развертывание в Azure

Просмотр развернутого решения

Посмотрите на GitHub

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Руководство по реализации

Продукты и их описание Документация

Концентраторы событий

Это точка входа в конвейер, куда поступают необработанные временные данные.

Stream Analytics

Stream Analytics выполняет статистические вычисления с 5-минутными интервалами и вычисляет точки необработанных данных по имени метрики.

Хранилище

Служба хранилища Azure сохраняет данные, вычисленные заданием Stream Analytics.

Фабрика данных

Фабрика данных вызывает API обнаружения аномалий регулярно (по умолчанию каждые 15 минут) для обработки данных в службе хранилища Azure. Она сохраняет результаты в базе данных SQL.

База данных SQL

База данных SQL хранит результаты API обнаружения аномалий, включая обнаружения двоичных файлов и оценки обнаружения. Она также хранит дополнительные метаданные, отправленные с точками необработанных данных, чтобы обеспечить более подробную отчетность.

Студия машинного обучения

Здесь размещается API обнаружения аномалий. Обратите внимание, что в API не отслеживается состояние и он требует отправки исторических точек данных в каждом своем вызове.

Служебная шина

Обнаруженные аномалии публикуются в разделе служебной шины, чтобы внешние службы мониторинга могли использовать их.

Application Insights

Application Insights позволяет выполнять мониторинг контейнера.

Power BI

Power BI предоставляет информационные панели, содержащие необработанные данные и обнаруженные аномалии.

Дополнительные сведения

Связанные архитектуры решений

Azure SQL DW Machine Learning (Real time predictions) Power BI ALS test measurements (Telemetry) Event Hub Stream Analytics (Real time analytics) Dashboard of predictions/alerts Realtime data stats, Anomaliesand aggregates Realtime event and predictions

Предотвращение неполадок с помощью диагностического обслуживания

Узнайте о том, как выполнять упреждающее прогнозирование сбоев на основе данных сборочного контейнера в реальном времени с помощью службы "Машинное обучение Microsoft Azure".

Дополнительные сведения
Data Factory: Move data, orchestrate, schedule and monitor SQL Data Warehouse Machine Learning Machine Learning Power BI Event Hub Stream Analytics HDInsight Geography Data(Blob Storage) Vehicle Catalogue Diagnotic Events (Simulated)

Прогнозная аналитика с телематикой транспортного средства

Узнайте, как поставщики автомобилей, производители и страховые компании могут использовать Microsoft Azure для получения прогнозов о работоспособности автомобиля и условиях вождения.

Дополнительные сведения