Arquitectura de solución: Detección de anomalías con Machine Learning

Los servicios que usan los departamentos de TI modernos generan grandes volúmenes de datos de telemetría para hacer el seguimiento de diversos aspectos del estado de las operaciones, el rendimiento del sistema, la información de uso, las métricas empresariales y las alertas, entre muchos otros. Sin embargo, la supervisión y recopilación de información de todos estos datos suelen ser tareas que no están totalmente automatizadas y pueden ser propensas a errores, lo que dificulta la labor de determinar de manera eficaz y precisa el estado del sistema en un momento dado.

Esta solución de detección de anomalías se puede personalizar, usa el aprendizaje automático para garantizar una alta disponibilidad de los sistemas de TI y proporciona una canalización de un extremo a otro que ingiere datos tanto de orígenes locales como en la nube, y notifica eventos anómalos a los sistemas de control de vales y supervisión que siguen en la cadena.

Con esta solución, detectará rápidamente los problemas y los solucionará gracias a las métricas de estado subyacentes de la infraestructura de TI (CPU, memoria, etc.), a los servicios (tiempos de expiración, variaciones del contrato de nivel de servicio, caídas de tensión, etc.) y otros indicadores clave del rendimiento (pedidos pendientes, errores de inicio de sesión y en los pagos, etc.).

Implementar en Azure

Utilizar la siguiente plantilla predefinida para implementar esta arquitectura en Azure

Implementar en Azure

Explorar en GitHub

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Guía sobre la implementación

Productos Documentación

Event Hubs

Este es el punto de entrada de la canalización, donde se ingieren los datos sin procesar de la serie temporal.

Stream Analytics

Stream Analytics realiza la agregación a intervalos de 5 minutos y agrega puntos de datos sin procesar por nombre de métrica.

Storage

Azure Storage almacena los datos agregados por el trabajo de Stream Analytics.

Data Factory

Data Factory llama a la API de detección de anomalías a intervalos regulares (de manera predeterminada, cada 15 minutos) en los datos de Azure Storage. Almacena los resultados en una base de datos SQL.

SQL Database

SQL Database almacena los resultados de la API de detección de anomalías, que incluyen las detecciones de binarios y las puntuaciones de las detecciones. También almacena los metadatos opcionales que se envían con los puntos de datos sin procesar para poder generar informes más complicados.

Machine Learning Studio

Hospeda la API de detección de anomalías. Tenga en cuenta que la API en sí no tiene estado y requiere que se envíen puntos de datos del historial en cada llamada API.

Service Bus

Las anomalías detectadas se publican en un tema de Service Bus para habilitar el consumo por parte de los servicios de administración externos.

Application Insights

Application Insights permite supervisar la canalización.

Power BI

Power BI proporciona paneles que muestran los datos sin procesar, así como las anomalías detectadas.

Más información

Arquitecturas de soluciones relacionadas