Hubs de Eventos do Azure – Uma plataforma de streaming de dados em tempo real com suporte nativo ao Apache Kafka

  • Artigo

Os Hubs de Eventos do Azure são um serviço de streaming de dados nativo da nuvem que pode transmitir milhões de eventos por segundo, com baixa latência, de qualquer origem para qualquer destino. Os Hubs de Eventos são compatíveis com o Apache Kafka e permitem executar cargas de trabalho Kafka existentes sem alterações de código.

Usando Hubs de Eventos para ingerir e armazenar dados de streaming, as empresas podem aproveitar o poder dos dados de streaming para obter informações valiosas, impulsionar análises em tempo real e responder a eventos à medida que eles acontecem, melhorando a eficiência geral e a experiência do cliente.

Diagram that shows how Azure Event Hubs fits in an event streaming platform.

Os Hubs de Eventos do Azure são a camada de ingestão de eventos preferida de qualquer solução de streaming de eventos que você cria sobre o Azure. Ele se integra perfeitamente aos serviços de dados e análise dentro e fora do Azure para criar seu pipeline completo de streaming de dados para atender aos seguintes casos de uso.

Principais capacidades

Apache Kafka nos Hubs de Eventos do Azure

Os Hubs de Eventos do Azure são um mecanismo de streaming de eventos multiprotocolo que suporta nativamente os protocolos AMQP, Apache Kafka e HTTPs. Como ele oferece suporte ao Apache Kafka, você traz cargas de trabalho do Kafka para os Hubs de Eventos do Azure sem fazer nenhuma alteração de código. Você não precisa configurar, configurar e gerenciar seus próprios clusters Kafka ou usar uma oferta Kafka-as-a-Service que não seja nativa do Azure.

Os Hubs de Eventos são criados desde o início como um mecanismo de corretor nativo da nuvem. Assim, você pode executar cargas de trabalho Kafka com melhor desempenho, melhor eficiência de custos e sem sobrecarga operacional.

Para obter mais informações, consulte Hubs de Eventos do Azure para Apache Kafka.

Registro de esquema nos Hubs de Eventos do Azure

O Registro de Esquema do Azure em Hubs de Eventos fornece um repositório centralizado para gerenciar esquemas de aplicativos de streaming de eventos. O Registro de Esquema do Azure vem gratuitamente com todos os namespaces de Hubs de Eventos e integra-se perfeitamente com seus aplicativos Kafka ou aplicativos baseados no SDK de Hubs de Eventos.

Diagram that shows Schema Registry and Azure Event Hubs integration.

Ele garante a compatibilidade e a consistência dos dados entre produtores e consumidores de eventos. O Registro de Esquema permite a evolução, validação e governança contínuas do esquema, além de promover o intercâmbio de dados e a interoperabilidade eficientes.

O Registro de Esquema integra-se perfeitamente com seus aplicativos Kafka existentes e suporta vários formatos de esquema, incluindo esquemas Avro e JSON.

Para obter mais informações, consulte Registro de esquema do Azure em Hubs de Eventos.

Processamento em tempo real de eventos de streaming com o Azure Stream Analytics

Os Hubs de Eventos integram-se perfeitamente com o Azure Stream Analytics para permitir o processamento de fluxos em tempo real. Com o editor sem código integrado, você pode desenvolver facilmente um trabalho do Stream Analytics usando a funcionalidade de arrastar e soltar, sem escrever nenhum código.

Screenshot showing the Process data page with Enable real time insights from events tile selected.

Como alternativa, os desenvolvedores podem usar a linguagem de consulta Stream Analytics baseada em SQL para executar o processamento de fluxo em tempo real e aproveitar uma ampla gama de funções para analisar dados de streaming.

Para obter mais informações, consulte os artigos na seção de integração do Azure Stream Analytics do sumário.

Explorando dados de streaming com o Azure Data Explorer

O Azure Data Explorer é uma plataforma totalmente gerenciada para análise de big data que oferece alto desempenho e permite a análise de grandes volumes de dados quase em tempo real. Ao integrar Hubs de Eventos com o Azure Data Explorer, você pode facilmente executar análises e exploração quase em tempo real de dados de streaming.

Diagram that shows Azure Data explorer query and output.

Para obter mais informações, consulte Ingerir dados de um hub de eventos no Azure Data Explorer e artigos na mesma seção.

Ecossistema avançado – funções do Azure, SDKs e ecossistema Kafka

Ingira, coloque em memória intermédia, armazene e processe a sua transmissão em fluxo em tempo real para obter informações acionáveis. Os Hubs de Eventos usam um modelo de consumidor particionado, permitindo que vários aplicativos processem o fluxo simultaneamente e permitindo que você controle a velocidade de processamento. Os Hubs de Eventos do Azure também se integram ao Azure Functions para arquiteturas sem servidor.

Com um amplo ecossistema disponível para o protocolo AMQP 1.0 padrão do setor e SDKs disponíveis em várias linguagens: .NET, Java, Python, JavaScript, você pode facilmente começar a processar seus fluxos a partir de Hubs de Eventos. Todas as linguagens de cliente suportadas oferecem integração de nível baixo.

O ecossistema também fornece integração perfeita do Azure Functions, Azure Spring Apps, Kafka Connectors e outras plataformas e tecnologias de análise de dados, como Apache Spark e Apache Flink.

Streaming de eventos flexível e econômico

Você pode experimentar o streaming de eventos flexível e econômico por meio da seleção diversificada de níveis dos Hubs de Eventos, incluindo Standard, Premium e Dedicado. Essas opções atendem às necessidades de streaming de dados que variam de alguns MB/s a vários GB/s, permitindo que você escolha a combinação perfeita para suas necessidades.

Dimensionável

Com os Hubs de Eventos, pode começar com fluxos de dados em megabytes e aumentar para gigabytes ou terabytes. O recurso de inflação automática é uma das muitas opções disponíveis para dimensionar o número de unidades de taxa de transferência ou unidades de processamento para atender às suas necessidades de uso.

Capture dados de streaming para retenção de longo prazo e análise em lote

Capture seus dados quase em tempo real em um armazenamento de Blob do Azure ou no Armazenamento Azure Data Lake para retenção de longo prazo ou processamento de microlotes. Você pode obter esse comportamento no mesmo fluxo que usa para derivar análises em tempo real. A configuração da captura de dados de eventos é rápida.

Image showing capturing of Event Hubs data into Azure Storage or Azure Data Lake Storage using Managed Identity

Como funciona

Os Hubs de Eventos fornecem uma plataforma unificada de streaming de eventos com buffer de retenção de tempo, dissociando os produtores de eventos dos consumidores de eventos. Os aplicativos de produtores e consumidores podem realizar a ingestão de dados em larga escala por meio de vários protocolos.

A figura a seguir mostra os principais componentes da arquitetura dos Hubs de Eventos:

Diagram that shows the main components of Event Hubs.

Os principais componentes funcionais dos Hubs de Eventos incluem:

  • Os aplicativos produtores podem ingerir dados em um hub de eventos usando SDKs de Hubs de Eventos ou qualquer cliente produtor Kafka.
  • Namespace é o contêiner de gerenciamento para um ou mais hubs de eventos ou tópicos do Kafka. As tarefas de gerenciamento, como alocar capacidade de streaming, configurar a segurança da rede, habilitar a recuperação de desastres geográficos, etc., são tratadas no nível do namespace.
  • Tópico do Hub de Eventos/Kafka: nos Hubs de Eventos, você pode organizar eventos em um hub de eventos ou em um tópico do Kafka. É um apêndice apenas log distribuído, que pode compreender uma ou mais partições.
  • As partições são usadas para dimensionar um hub de eventos. São como pistas numa autoestrada. Se você precisar de mais taxa de transferência de streaming, precisará adicionar mais partições.
  • Os aplicativos de consumidor consomem dados buscando através do log de eventos e mantendo o deslocamento do consumidor. Os consumidores podem ser clientes consumidores Kafka ou clientes SDK de Hubs de Eventos.
  • O Grupo de Consumidores é um grupo lógico de instâncias de consumidores que lê dados de um hub de eventos/tópico Kafka. Ele permite que vários consumidores leiam os mesmos dados de streaming em um hub de eventos de forma independente, em seu próprio ritmo e com suas próprias compensações.

Próximos passos

Para começar a usar os Hubs de Eventos, consulte os seguintes guias de início rápido.

Transmitir dados usando o SDK de Hubs de Eventos (AMQP)

Você pode usar qualquer um dos exemplos a seguir para transmitir dados para Hubs de Eventos usando SDKs.

Transmitir dados usando o Apache Kafka

Você pode usar os exemplos a seguir para transmitir dados de seus aplicativos Kafka para Hubs de Eventos.

Validação de esquema com o Registro de Esquema

Você pode usar o Registro de Esquema de Hubs de Eventos para executar a validação de esquema para seus aplicativos de streaming de eventos.