Arquitetura da solução: Detecção de anomalias com aprendizado de máquina

Os serviços usados por departamentos de TI modernos geram grandes volumes de dados telemétricos para controlar vários aspectos de integridade operacional, desempenho do sistema, percepções de uso, métricas de negócios, alertas e muito mais. No entanto, muitas vezes, o monitoramento e a coleta de percepções de todos esses dados não são totalmente automáticos e podem estar sujeitos a erros, o que torna difícil determinar de forma eficaz e precisa a integridade do sistema em um dado momento.

Esta solução personalizável de detecção de anomalias usa o aprendizado de máquina para propiciar sistemas de TI de alta disponibilidade, oferecendo um pipeline de ponta a ponta que ingere dados de fontes de dados locais e na nuvem, informando sobre eventos anômalos a fim de realizar o downstream dos sistemas de monitoramento e tíquetes.

Com essa solução, a detecção e correção de problemas será rápida, com base nas métricas de integridade subjacentes da infraestrutura de TI (CPU, memória etc.), serviços (tempos limite, variações de SLA, semiapagões etc.) e outros indicadores-chave de desempenho (lista de pendências de pedido, logon e falhas de pagamento etc.).

Implantar no Azure

Use o modelo pré-compilado a seguir para implantar essa arquitetura no Azure

Implantar no Azure

Exibir solução implantada

Procurar no GitHub

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Diretrizes de implementação

Produtos/descrição Documentação

Hubs de Eventos

Este é o ponto de entrada do pipeline, em que os dados brutos da série temporal são ingeridos.

Stream Analytics

O Stream Analytics realiza agregação em intervalos de cinco minutos e agrega pontos de dados brutos por nome da métrica.

Armazenamento

O Armazenamento do Azure armazena dados agregados pelo trabalho do Stream Analytics.

Data Factory

O Data Factory faz uma chamada à API de Detecção de anomalias em intervalos regulares (a cada 15 minutos, por padrão) nos dados do Armazenamento do Azure. Ele armazena os resultados em um banco de dados SQL.

Banco de dados SQL

O Banco de Dados SQL armazena os resultados da API de Detecção de anomalias, incluindo detecções binárias e pontuações de detecção. Ele também armazena metadados opcionais enviados com os pontos de dados brutos, a fim de permitir relatórios mais complicados.

Estúdio de Machine Learning

Ele hospeda a API de Detecção de anomalias. Observe que a própria API é sem monitoração de estado e exige pontos de dados históricos para ser enviada em cada chamada à API.

Service Bus

As anomalias detectadas são publicadas em um tópico de barramento de serviço, a fim de habilitar o consumo por serviços de monitoramento externos.

Application Insights

O Application Insights permite monitorar o pipeline.

Power BI

O Power BI oferece painéis que mostram os dados brutos, bem como as anomalias detectadas.

Arquiteturas de solução relacionadas