Editar

Análise em tempo real numa arquitetura de macrodados

Azure Analysis Services
Azure Event Hubs
Azure Synapse Analytics

Ideias de soluções

Este artigo é uma ideia de solução. Se você quiser que expandamos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações de implementação ou orientação de preços, informe-nos fornecendo feedback do GitHub.

Esta ideia de solução descreve como você pode obter insights de dados de transmissão ao vivo. Capture dados continuamente a partir de qualquer dispositivo IoT ou de registos de clickstreams de sites e processe-os quase em tempo real.

Arquitetura

Diagrama de uma solução de análise em tempo real em uma arquitetura de big data que usa o Azure Synapse Analytics com o Azure Data Lake Storage, Hubs de Eventos, Azure Analysis Services, Azure Cosmos DB e Power BI.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de dados

  1. Ingerir facilmente dados de transmissão em direto para uma aplicação, utilizando os Hubs de Eventos do Azure.
  2. Reúna todos os seus dados estruturados usando Synapse Pipelines para o Armazenamento de Blobs do Azure.
  3. Aproveite os pools do Apache Spark para limpar, transformar e analisar os dados de streaming e combiná-los com dados estruturados de bancos de dados operacionais ou data warehouses.
  4. Use técnicas escaláveis de aprendizado de máquina/aprendizado profundo para obter insights mais profundos a partir desses dados, usando Python, Scala ou .NET, com experiências de notebook em pools do Apache Spark.
  5. Aplique o pool do Apache Spark e o Synapse Pipelines no Azure Synapse Analytics para acessar e mover dados em escala.
  6. Crie painéis de análise e relatórios incorporados no pool SQL dedicado para compartilhar informações em sua organização e use o Azure Analysis Services para fornecer esses dados a milhares de usuários.
  7. Leve as informações dos pools do Apache Spark para o Azure Cosmos DB para torná-las acessíveis por meio de aplicativos em tempo real.

Componentes

  • O Azure Synapse Analytics é o armazém de dados na nuvem rápido, flexível e fiável que lhe permite dimensionar, calcular e armazenar de forma elástica e independente, com uma arquitetura de processamento paralelo massivo.
  • A documentação do Synapse Pipelines permite criar, programar e orquestrar seus fluxos de trabalho ETL/ELT.
  • Armazenamento Azure Data Lake: funcionalidade de data lake massivamente escalável e segura criada no Armazenamento de Blobs do Azure
  • Os pools do Azure Synapse Analytics Spark são uma plataforma de análise baseada no Apache Spark rápida, fácil e colaborativa.
  • A Documentação dos Hubs de Eventos do Azure Azure é uma plataforma de streaming de big data e um serviço de ingestão de eventos.
  • O Azure Cosmos DB é um serviço de banco de dados multimodelo distribuído globalmente. Em seguida, aprenda a replicar os seus dados por qualquer número de regiões do Azure e dimensione o seu débito independentemente do seu armazenamento.
  • O Azure Synapse Link for Azure Cosmos DB permite que você execute análises quase em tempo real sobre dados operacionais no Azure Cosmos DB, sem qualquer impacto de desempenho ou custo em sua carga de trabalho transacional, usando os dois mecanismos de análise disponíveis em seu espaço de trabalho do Azure Synapse: SQL Serverless e Spark Pools.
  • O Azure Analysis Services é uma análise como um serviço de nível empresarial que lhe permite governar, implementar, testar e fornecer a sua solução de BI com confiança.
  • O Power BI é um conjunto de ferramentas de análise de negócios que fornecem informações em toda a sua organização. Conecte-se a centenas de fontes de dados, simplifique a preparação de dados e conduza análises não planejadas. Produza magníficos relatórios e publique-os para a sua organização os consumir na Web e em dispositivos móveis.

Alternativas

  • O Synapse Link é a solução preferida da Microsoft para análises sobre os dados do Azure Cosmos DB.
  • O Hub IoT do Azure pode ser usado em vez dos Hubs de Eventos do Azure. O Hub IoT é um serviço gerenciado hospedado na nuvem que atua como um hub de mensagens central para comunicação entre um aplicativo IoT e seus dispositivos conectados. Você pode conectar milhões de dispositivos e suas soluções de back-end de forma confiável e segura. Quase qualquer dispositivo pode ser conectado a um hub IoT.

Detalhes do cenário

Este cenário ilustra como você pode obter informações de dados de transmissão ao vivo. Você pode capturar dados continuamente de qualquer dispositivo IoT ou logs de clickstreams de sites e processá-los quase em tempo real.

Potenciais casos de utilização

Esta solução é ideal para a indústria de mídia e entretenimento. O cenário é para a construção de análises a partir de dados de transmissão ao vivo.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Otimização de custos

A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.

Você pode usar a calculadora de preços do Azure para obter uma estimativa de preço personalizada.

Próximos passos