Apache Kafka para HDInsight

Serviço de baixa latência e alto rendimento gerenciado para dados em tempo real

O Kafka para HDInsight é um software livre de serviço de ingestão de transmissão de nível corporativo econômico e fácil de configurar, gerenciar e usar. Esse serviço permite que você crie soluções em tempo real como Internet das Coisas (IoT), detecção de fraude, análise da sequência de cliques, alertas financeiros e análises sociais.

Kafka gerenciado com SLA de 99,9%

Comprar hardware, instalar e ajustar os bits exige muito tempo e esforço. Assegurar que os computadores estejam sempre em funcionamento de modo que nenhum dado seja perdido é um desafio ainda maior e acarreta um enorme custo de propriedade. O Kafka para Azure HDInsight gerencia tudo isso para você. Depois de quatro cliques, os clusters do Kafka ficam preparados para o funcionamento em minutos, com SLA de 99,9% de tempo de atividade do Kafka. Isso significa que você poderá se concentrar em codificar aplicativos em tempo real, incluindo a lógica e a criação de pipelines de nível superior, em vez de se preocupar com a instalação de novos agentes do Kafka ou com a correção dos que apresentam problemas.

Reconhecimento de racks para ambientes do Azure

O Kafka foi desenvolvido com uma exibição dimensional única de um rack que funciona bem em alguns ambientes. No entanto, em ambientes como o Azure, um rack é separado em duas dimensões: UDs (domínios de atualização) e FDs (domínios de falha). O Kafka HDInsight desenvolveu ferramentas robustas e escalonáveis que asseguram que Kafka reconheça os racks nos ambientes do Azure. Essas ferramentas reequilibram as partições e as réplicas nos EDs e nos FDs para fornecer os níveis mais altos de disponibilidades do Kafka nas Zonas de Disponibilidade do Azure.

Integração ao Managed Disks do Azure

Devido à natureza pesada da ingestão, os discos anexados aos nós no cluster normalmente provocam afunilamento. Tradicionalmente, para dimensionar esse afunilamento, mais nós precisam ser adicionados. O Managed Disks do Azure é uma tecnologia que fornece discos escalonáveis baratos que custam uma fração de um nó. O Kafka HDInsight integra-se a esses discos para fornecer até 16 TB/nó, em vez do 1 TB que é tradicionalmente oferecido. Isso resulta em uma escala exponencialmente mais alta e, por consequência, uma redução de custos exponencialmente inversa. Nossos clientes corporativos conseguem economizar milhares de dólares por mês com essa inovação.

Alerta, monitoramento e manutenção preditiva prontos para uso

Deixar um pipeline de streaming pronto para uso é apenas o começo: verificar se ele é executado de maneira confiável e sem problemas exige grandes investimentos em infraestruturas de monitoramento e de alerta. O Kafka para HDInsight elimina esse problema, pois é integrado ao pacote de monitoramento do Azure pronto para uso. Essa tecnologia permite monitorar tudo, desde disco em nível de VM e métrica de NIC até métrica do Kafka, Storm e Spark. Além de criar painéis avançados de alerta e de monitoramento, você também pode especificar scripts e runbooks relacionados a essas métricas para a manutenção preditiva e automatizada do pipeline de streaming.

Suporte ao MirrorMaker para replicar dados do Kafka

O Kafka é normalmente implantado em vários ambientes para recuperação de desastre, para alta disponibilidade e para cenários nuvem/local híbridos. Isso exige a replicação de dados de um Kafka para outro. O HDInsight trabalhou em estreita colaboração com clientes corporativos para entender essa necessidade e ele dá suporte a cenários de replicação de dados. O espelhamento no Kafka HDInsight é fácil de configurar e de usar.

Dimensionamento de cluster em minutos

As estimativas dos tamanhos das mensagens, da taxa de mensagens por segundo e do streaming precisam ser alteradas conforme o pipeline é usado. Tradicionalmente, o cluster é dimensionado de acordo com o tráfego de pico, o que resulta em custos muito altos pela capacidade não usada. Quando chega o momento de adicionar mais nós, os novos computadores precisam ser provisionados, instalados e configurados com a reaplicação das personalizações. No Kafka HDInsight, inicie com clusters pequenos e escale-os verticalmente conforme a necessidade, o que reduz os custos de maneira exponencial. O HDInsight é responsável pelo provisionamento de novos nós, com as personalizações aplicadas em questão de minutos.

O que é possível criar com o Kafka para HDInsight?

Saiba mais sobre os casos de uso abaixo:

Os dados vêm de várias fontes de eventos (aplicativos, dispositivos, sensores, Web, mídias sociais) e são coletados na nuvem por meio de APIs da Web ou gateways de campo. A transmissão de dados é ingerida por Kafka para HDInsight para processamento e análise com serviços como Azure Machine Learning, Spark para HDInsight, Storm para HDInsight e adaptadores de armazenamento. Os dados são movidos para um armazenamento de longo prazo com serviços como Apache HBase no HDInsight, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store e Azure Search. Em seguida, você pode executar os painéis em tempo real, consultas e análises ou enviar dados para os dispositivos entrarem em ação.

Clientes usando o Kafka para HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Novo no Kafka para HDInsight?

Use os links abaixo para criar pipelines de streaming robustos e prontos para uso empresarial usando o Kafka, o Storm e o Spark Streaming no Azure.

Monitore pipelines de streaming em tempo real com o Azure

Saiba como usar a integração do Kafka HDInsight ao Monitoramento do Azure para criar painéis avançados de alerta e de monitoramento, bem como runbooks e scripts automatizados para a manutenção preditiva do pipeline de streaming.

Experimente o Kafka para HDInsight