Архитектура решения: Обнаружение аномалий с помощью машинного обучения

Службы, используемые современными ИТ-отделами, создают большие объемы данных телеметрии для отслеживания различных аспектов работоспособности, производительности системы, сведений об использовании, бизнес-метрик, оповещений и многого другого. Однако часто мониторинг и сбор сведений из всех этих данных не полностью автоматизирован и может быть подвержен ошибкам, что затрудняет эффективное и точное определение состояния системы в любой момент времени.

Это настраиваемое решение для обнаружения аномалий использует машинное обучение для обеспечения высокого уровня доступности ИТ-систем и предоставляет полнофункциональный конвейер, который принимает данные из локальных и облачных источников данных и сообщает об аномальных событиях нисходящим системам мониторинга и отправки запросов.

С помощью этого решения вы быстро обнаружите и устраните проблемы с учетом базовых метрик работоспособности ИТ-инфраструктуры (ЦП, память и т. д.), служб (задержки, варианты соглашений об уровне обслуживания, перебои и т. д.) и других ключевых индикаторов производительности (порядок невыполненной работы, сбои входа и оплаты и т. д).

Развертывание в Azure

Разверните эту архитектуру в Azure с помощью следующего готового шаблона

Развертывание в Azure

Посмотрите на GitHub

Обнаружение аномалий с помощью машинного обучения Схема с 10 соединенными значками. Слева вверху отображается значок для данных временных рядов. Справа, соединенный с помощью односторонней стрелки, находится концентратор событий, а еще правее — Stream Analytics. Односторонняя стрелка вправо и вниз ведет к базе данных SQL Azure, соединенной с помощью односторонней стрелки с Power BI в дальнем правом углу. От Stream Analytics односторонняя стрелка ведет к хранилищу таблиц, которое с помощью двухсторонней стрелки соединено с фабрикой данных внизу. Фабрика данных соединена с четырьмя другими значками. Слева, соединенное с помощью двухсторонней стрелки, находится машинное обучение для обнаружения аномалий. По односторонней стрелке вниз можно найти Visual Studio Application Insights для мониторинга и телеметрии, а по односторонней стрелке вверх и вправо — базу данных SQL Azure. Стрелка подписана как "Сохранение выходных данных машинного обучения". С помощью односторонней стрелки вправо соединены разделы служебной шины с возможностью публикации и подписки. Стрелка подписана как "Обнаружены аномалии публикации". Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stram Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Руководство по реализации

Продукты Документация

Концентраторы событий

Это точка входа в конвейер, куда поступают необработанные временные данные.

Stream Analytics

Stream Analytics выполняет статистические вычисления с 5-минутными интервалами и вычисляет точки необработанных данных по имени метрики.

Хранилище

Служба хранилища Azure сохраняет данные, вычисленные заданием Stream Analytics.

Фабрика данных

Фабрика данных вызывает API обнаружения аномалий регулярно (по умолчанию каждые 15 минут) для обработки данных в службе хранилища Azure. Она сохраняет результаты в базе данных SQL.

База данных SQL

База данных SQL хранит результаты API обнаружения аномалий, включая обнаружения двоичных файлов и оценки обнаружения. Она также хранит дополнительные метаданные, отправленные с точками необработанных данных, чтобы обеспечить более подробную отчетность.

Машинное обучение

Здесь размещается API обнаружения аномалий. Обратите внимание, что в API не отслеживается состояние и он требует отправки исторических точек данных в каждом своем вызове.

Служебная шина

Обнаруженные аномалии публикуются в разделе служебной шины, чтобы внешние службы мониторинга могли использовать их.

Application Insights

Application Insights позволяет выполнять мониторинг контейнера.

Power BI

Power BI предоставляет информационные панели, содержащие необработанные данные и обнаруженные аномалии.

Дополнительные сведения

Связанные архитектуры решений

Контроль качества производственных процессов Схема с 6 соединенными значками. В крайнем левом углу находится значок для тестовых измерений ALS со сбором данных телеметрии. С этим элементом с помощью односторонней стрелки вправо соединен концентратор событий, записывающий данные. Еще правее с помощью односторонней стрелки соединено решение Stream Analytics, обрабатывающее данные. Выше, соединенное с помощью двухсторонней стрелки, находится машинное обучение, создающее прогнозы на основе данных. Под Stream Analytics с помощью односторонней стрелки соединено хранилище данных SQL Azure, хранящее данные. В крайнем левом углу, соединенная односторонними стрелками с хранилищем данных SQL Azure и Stream Analytics, находится среда Power BI, визуализирующая данные на интерактивной информационной панели. Azure SQL DW Machine Learning(Real time predictions) Power BI ALS test measurements (Telemetry) Event Hub Stram Analytics(Real time analytics) Dashboard of predictions/alerts Realtime data stats, Anomaliesand aggregates Realtime event and predictions

Контроль качества производственных процессов

Узнайте, как система контроля качества Microsoft Azure помогает компаниям предотвратить дефекты во время процесса доставки товаров клиенту.

Дополнительные сведения
Прогнозная аналитика с телематикой транспортного средства Схема с 10 соединенными значками. Слева вверху показан значок компонента "Диагностические события". С ним с помощью односторонней стрелки соединен концентратор событий. Дальше вправо по односторонней стрелке можно найти Stream Analytics и машинное обучение. Двигаемся вправо и вниз. Односторонняя стрелка ведет к Power BI. Возвращаясь к Stream Analytics и машинному обучению, односторонняя стрелка ведет вниз к географическим данным в хранилище BLOB-объектов Azure. Кроме того, к географическим данным слева ведет односторонняя стрелка от каталога транспортных средств. От географических данных идет односторонняя стрелка вправо и вниз к хранилищу данных SQL. Хранилище данных SQL соединено с Power BI выше с помощью односторонней стрелки. Географические данные соединены с решением HDInsight двухсторонней стрелкой ниже, которое, в свою очередь, также соединено двухсторонними стрелками с машинным обучением слева и фабрикой данных ниже. Data Factory: Move data, orchestrate, schedule and monitor SQL Data Warehouse Machine Learning Machine Learning Power BI Event Hub Stram Analytics HDInsight Geography Data(Blob Storage) Vehicle Catalogue Diagnotic Events (Simulated)

Прогнозная аналитика с телематикой транспортного средства

Узнайте, как поставщики автомобилей, производители и страховые компании могут использовать Microsoft Azure для получения прогнозов о работоспособности автомобиля и условиях вождения.

Дополнительные сведения