Processo do detector de anomalias

Azure Databricks
Barramento de Serviço do Azure
Contas de Armazenamento do Azure

Esse artigo apresenta uma arquitetura para uma implementação quase em tempo real de um processo de detecção de anomalias.

Arquitetura

Diagram of the anomaly detector process architecture.

Baixe um Arquivo Visio dessa arquitetura.

Fluxo de dados

  1. Os dados de série temporal podem vir de várias fontes, como Banco de Dados do Azure para MySQL, Armazenamento de Blobs, Hubs de Eventos, Azure Cosmos DB, Banco de Dados SQL e Banco de Dados do Azure para PostgreSQL.
  2. Os dados são ingeridos na computação de várias fontes de armazenamento a serem monitorados pelo Detector de Anomalias.
  3. O Databricks ajuda a agregar, amostrar e calcular os dados brutos para gerar o tempo com os resultados detectados. O Databricks é capaz de processar dados estáticos e de fluxo. O Stream Analytics e o Azure Synapse podem ser alternativas com base nos requisitos.
  4. A API do detector de anomalias detecta anomalias e retorna os resultados para computação.
  5. Os metadados relacionados a anomalias são enfileirados.
  6. O Application Insights escolhe a mensagem da fila de mensagens com base nos metadados relacionados a anomalias e envia um alerta sobre a anomalia.
  7. Os resultados são armazenados no Azure Data Lake Service Gen2.
  8. Aplicativos Web e Power BI podem visualizar os resultados da detecção de anomalias.

Componentes

Principais tecnologias usadas para implementar essa arquitetura:

  • Barramento de Serviço: mensagens de nuvem como serviço (Maas) confiáveis e integração híbrida simples.
  • Azure Databricks: serviço analítico rápido, fácil e colaborativo baseado no Apache Spark.
  • Power BI: ferramentas interativas de BI de visualização de dados.
  • Contas de Armazenamento: armazenamento em nuvem durável, com alta disponibilidade e massivamente escalonável.
  • Serviços Cognitivos: serviços baseados em nuvem com APIs REST e SDKs de biblioteca cliente disponíveis para ajudá-lo a desenvolver inteligência cognitiva em seus aplicativos.
  • Aplicativos Lógicos: uma plataforma sem servidor para compilar fluxos de trabalho corporativos que integram aplicativos, dados e serviços. Nessa arquitetura, os aplicativos lógicos são disparados por solicitações HTTP.
  • Azure Data Lake Storage Gen2: o Azure Data Lake Storage Gen2 fornece semântica do sistema de arquivos, segurança em nível de arquivo e escala.
  • O Application Insights é um recurso do Azure Monitor que fornece gerenciamento extensível de desempenho de aplicativos (APM) e monitoramento para aplicativos Web dinâmicos.

Alternativas

  • Hubs de Eventos com Kafka: uma alternativa à execução de seu próprio cluster Kafka. Esse recurso de Hubs de Eventos fornece um ponto de extremidade compatível com APIs Kafka.
  • O Azure Synapse é um serviço de análise que reúne data warehouse empresarial e análise de Big Data.
  • Azure Machine Learning: crie, treine, implante e gerencie modelos personalizados de detecção de machine learning/anomalias em um ambiente baseado em nuvem.

Detalhes do cenário

A API do Detector de Anomalias dos Serviços Cognitivos do Azure permite monitorar e detectar anormalidades nos dados da série temporal sem precisar conhecer o aprendizado de máquina. Os algoritmos da API se adaptam identificando e aplicando automaticamente os modelos mais adequados aos dados, independentemente do setor, cenário ou volume de dados. Eles determinam limites para detecção de anomalias, valores esperados e pontos de dados anormais.

Possíveis casos de uso

Algumas áreas que a detecção de anomalias ajudam a monitorar:

  • Fraude bancária (setor financeiro)
  • Defeitos estruturais (indústria manufatureira)
  • Problemas médicos (setor de saúde)

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.

Escalabilidade

A maioria dos componentes usados neste cenário de exemplo são serviços gerenciados que serão dimensionados automaticamente.

Para obter diretrizes gerais sobre como criar soluções escalonáveis, confira a lista de verificação de eficiência de desempenho no Centro de Arquitetura do Azure.

Segurança

A segurança fornece garantias contra ataques deliberados e o abuso de seus dados e sistemas valiosos. Para saber mais, confira Visão geral do pilar de segurança.

As identidades de serviço gerenciadas para recursos do Azure são usadas para fornecer acesso a outros recursos internos para sua conta e, em seguida, atribuídas ao Azure Functions. Dê acesso apenas aos recursos necessários nessas identidades para fazer com que nada além seja exposto às funções (e, potencialmente, a seus clientes).

Confira orientações gerais sobre como criar soluções seguras na Documentação de Segurança do Azure.

Resiliência

Todos os componentes neste cenário são gerenciados e, portanto, em um nível regional, todos são resilientes automaticamente.

Para obter diretrizes gerais sobre como criar soluções resilientes, confira Projetando aplicativos resilientes para o Azure.

Otimização de custo

A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.

Para explorar o custo de execução desse cenário, consulte a calculadora pré-preenchida com todos os serviços. Para ver como o preço seria alterado para o seu uso específico altere as variáveis apropriadas para que eles sejam correspondentes ao tráfego esperada.

Fornecemos três perfis de custo de exemplo com base na quantidade de tráfego (presumimos que todas as imagens têm 100 KB de tamanho):

  • Calculadora de exemplo: esse exemplo de preço é uma calculadora com todos os serviços nessa arquitetura, exceto o Power BI e a solução de alertas personalizada.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Autor principal:

Para ver perfis não públicos do LinkedIn, entre no LinkedIn.

Próximas etapas