Editar

Processo de detetor de anomalias

Azure Databricks
Azure Service Bus
Azure Storage Accounts

Este artigo apresenta uma arquitetura para uma implementação quase em tempo real de um processo de deteção de anomalias.

Arquitetura

Diagrama da arquitetura do processo do detetor de anomalias.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de dados

  1. Os dados de séries cronológicas podem vir de várias fontes, como o Banco de Dados do Azure para MySQL, armazenamento de Blob, Hubs de Eventos, Azure Cosmos DB, Banco de Dados SQL e Banco de Dados do Azure para PostgreSQL.
  2. Os dados são ingeridos em computação de várias fontes de armazenamento para serem monitorados pelo Detetor de Anomalias.
  3. O Databricks ajuda a agregar, amostrar e calcular os dados brutos para gerar o tempo com os resultados detetados. O Databricks é capaz de processar dados estáticos e de fluxo. A análise de fluxo e o Azure Synapse podem ser alternativas com base nos requisitos.
  4. A API do detetor de anomalias deteta anomalias e retorna os resultados para a computação.
  5. Os metadados relacionados à anomalia são enfileirados.
  6. O Application Insights seleciona a mensagem da fila de mensagens com base nos metadados relacionados à anomalia e envia um alerta sobre a anomalia.
  7. Os resultados são armazenados no Azure Data Lake Service Gen2.
  8. Os aplicativos Web e o Power BI podem visualizar os resultados da deteção de anomalias.

Componentes

Principais tecnologias utilizadas para implementar esta arquitetura:

  • Service Bus: mensagens como serviço (MaaS) na nuvem confiáveis e integração híbrida simples.
  • Azure Databricks: serviço de análise rápido, fácil e colaborativo baseado no Apache Spark.
  • Power BI: Ferramentas interativas de BI de visualização de dados.
  • Contas de armazenamento: armazenamento em nuvem durável, altamente disponível e massivamente escalável.
  • Serviços cognitivos: serviços baseados em nuvem com APIs REST e SDKs de biblioteca de cliente disponíveis para ajudá-lo a criar inteligência cognitiva em seus aplicativos.
  • Aplicativos lógicos: plataforma sem servidor para criar fluxos de trabalho corporativos que integram aplicativos, dados e serviços. Nessa arquitetura, os aplicativos lógicos são acionados por solicitações HTTP.
  • Azure Data Lake Storage Gen2: O Azure Data Lake Storage Gen2 fornece semântica do sistema de arquivos, segurança em nível de arquivo e escala.
  • Application Insights: o Application Insights é um recurso do Azure Monitor que fornece gerenciamento extensível de desempenho de aplicativos (APM) e monitoramento para aplicativos Web ao vivo.

Alternativas

Detalhes do cenário

A API do Detetor de Anomalias dos Serviços Cognitivos do Azure permite-lhe monitorizar e detetar anomalias nos seus dados de séries cronológicas sem ter de conhecer a aprendizagem automática. Os algoritmos da API se adaptam identificando e aplicando automaticamente os modelos mais adequados aos seus dados de séries temporais, independentemente do setor, cenário ou volume de dados. Eles determinam limites para deteção de anomalias, valores esperados e pontos de dados anômalos.

Potenciais casos de utilização

Algumas áreas que a deteção de anomalias ajuda a monitorar:

  • Fraude bancária (setor financeiro)
  • Defeitos estruturais (indústria transformadora)
  • Problemas médicos (indústria dos cuidados de saúde)

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Escalabilidade

A maioria dos componentes usados neste cenário de exemplo são serviços gerenciados que serão dimensionados automaticamente.

Para obter orientações gerais sobre como projetar soluções escaláveis, consulte a lista de verificação de eficiência de desempenho no Centro de Arquitetura do Azure.

Segurança

A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Visão geral do pilar de segurança.

As identidades gerenciadas para recursos do Azure são usadas para fornecer acesso a outros recursos internos à sua conta e, em seguida, atribuídas ao seu Azure Functions. Permita que essas identidades acessem apenas os recursos necessários para garantir que nada extra seja exposto às suas funções (e, potencialmente, aos seus clientes).

Para obter orientações gerais sobre como criar soluções seguras, consulte a Documentação de Segurança do Azure.

Resiliência

Todos os componentes neste cenário são gerenciados, portanto, em nível regional, todos eles são resilientes automaticamente.

Para obter orientações gerais sobre como projetar soluções resilientes, consulte Projetando aplicativos resilientes para o Azure.

Otimização de custos

A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.

Para explorar o custo de execução desse cenário, consulte a calculadora pré-preenchida com todos os serviços. Para ver como o preço mudaria para o seu caso de uso específico, altere as variáveis apropriadas para corresponder aos volumes de tráfego/dados esperados.

Fornecemos três perfis de custo de amostra com base na quantidade de tráfego (assumimos que todas as imagens têm 100 kb de tamanho):

  • Exemplo de calculadora: este exemplo de preços é uma calculadora com todos os serviços nesta arquitetura, exceto o Power BI e a solução de alerta personalizada.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Autor principal:

Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.

Próximos passos