Apache Kafka para HDInsight

Serviço gerido de alto débito e baixa latência para dados em tempo real

O Kafka para HDInsight é um serviço de ingestão de transmissão em fluxo de código aberto de nível empresarial rentável e fácil de configurar, gerir e utilizar. Crie soluções em tempo real, como Internet das Coisas (IoT), deteção de fraudes, análise clickstream, alertas financeiros e análise social.

Kafka gerido com um SLA de 99,9%

Comprar o hardware, instalar e otimizar os bits requer muito tempo e esforço. Garantir que estas máquinas estão sempre operacionais de modo a não haver qualquer perda de dados é um desafio ainda maior e tem um elevado custo de propriedade. O Kafka para Azure HDInsight gere tudo isto por si. Com 4 cliques, os clusters do Kafka ficam operacionais em minutos, com um SLA de 99,9% no tempo de atividade do Kafka. Isto significa que pode concentrar-se na escrita de aplicações em tempo real, na respetiva lógica e em criar pipelines de nível mais elevado, em vez de se preocupar com a instalação de novos mediadores Kafka ou em corrigir os que estão inoperacionais.

Deteção de bastidores para Ambientes do Azure

O Kafka foi concebido com uma visão uni-dimensional de um bastidor que funciona bem em alguns ambientes. No entanto, em ambientes como o Azure, um bastidor é separado em duas dimensões - Domínios de Atualização (UDs) e Domínios de Falha (FDs). O HDInsight Kafka desenvolveu ferramentas dimensionáveis e robustas para garantir que o Kafka deteta bastidores em ambientes do Azure. Estas ferramentas rebalanceiam as partições e réplicas nos UDs e FDs com os níveis mais elevados de disponibilidades Kafka nas Zonas de Disponibilidade do Azure.

Integração com Managed Disks do Azure

Devido à pesada natureza de ingestão, os discos anexados aos nós do cluster resultam frequentemente no estrangulamento. Tradicionalmente, para dimensionar este estrangulamento, é necessário adicionar mais nós. Managed Disks do Azure é uma tecnologia que fornece discos mais baratos e dimensionáveis, a uma fração do custo de um nó. O HDInsight Kafka integrou-se com estes discos para fornecer até 16 TB/nó, em vez do 1 TB tradicional. Isto resulta num dimensionamento potencialmente mais elevado, reduzindo os custos de forma inversa e exponencial. Os nossos clientes empresariais conseguiram poupar milhões de dólares por mês devido a esta inovação.

Alertas, monitorização e manutenção preditiva prontas a utilizar

Fazer com que um pipeline de transmissão em fluxo fique operacional é apenas o começo -- garantindo que está a funcionar de forma fiável sem problemas que exijam um grande investimento em infraestruturas de monitorização e alerta. O Kafka para HDInsight elimina este problema, pois está integrado no conjunto de monitorização pronto a utilizar do Azure. Esta tecnologia permite monitorizar tudo, desde o disco ao nível da VM e métricas NIC a métricas JMX a partir do Kafka, Storm e Spark. Não só pode criar poderosos dashboards de alerta e monitorização, como também pode especificar scripts e runbooks com estas métricas, para manutenção automatizada e preditiva do pipeline de transmissão em fluxo.

Suporte do MirrorMaker para replicar dados do Kafka

O Kafka é frequentemente implementado em vários ambientes para Recuperação Após Desastre, elevada disponibilidade e cenários no local, híbridos e na cloud. Estes requerem a replicação de dados de um Kafka para outro. O HDInsight tem trabalhado em estreita colaboração com clientes empresariais para compreender as necessidades deles, e fornece suporte para cenários de replicação de dados. O espelhamento no HDInsight Kafka é fácil de configurar e utilizar.

Dimensionamento de clusters em minutos

Estima os tamanhos das mensagens e mensagens/seg e a mudança das necessidades de transmissão em fluxo à medida que o pipeline é utilizado. Tradicionalmente, o tamanho do cluster foi pensado tendo em conta o pico de tráfego, o que resulta em custos muito elevados de capacidade não utilizada. Quando chegar a altura de adicionar mais nós, as novas máquinas precisam de ser aprovisionadas, instaladas e configuradas com as personalizações reaplicadas. No HDInsight Kafka, comece com clusters pequenos e dimensione-os conforme necessário, possibilitando custos exponencialmente mais baixos. O HDInsight assume o controlo do aprovisionamento dos novos nós, aplicando as respetivas personalizações em minutos.

O que posso criar com o Kafka para HDInsight?

Mais informações sobre casos de utilização abaixo:

Os dados vêm de várias origens de eventos (aplicações, dispositivos, sensores, Web, rede social) e são recolhidos na cloud através de APIs Web ou gateways de campo. O fluxo de dados é ingerido pelo Kafka para HDInsight para o processamento e análise com serviços como o Azure Machine Learning, Spark para HDInsight, Storm para HDInsight e adaptadores de armazenamento. Os dados movem-se para o armazenamento de longo prazo com serviços como o Apache HBase no HDInsight, DocumentDB, MonoDB SQL, Solr Azure, arquivo Data Lake e Azure Search. Deste modo, pode executar os seus dashboards, consultas e análises em tempo real ou enviar dados para os dispositivos para entrar em ação.

Clientes com o Kafka para HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Ainda não conhece o Kafka para HDInsight?

Utilize as ligações abaixo para criar pipelines de transmissão em fluxo robustos e preparados para utilização empresarial, com o Kafka, Storm e Spark Streaming no Azure.

Monitorizar pipelines de transmissão em fluxo em tempo real com o Azure

Saiba como utilizar a integração do HDInsight Kafka com a Monitorização do Azure para criar poderosos alertas e dashboards de monitorização, e scripts automatizados e manutenção preditiva de runbooks do pipeline de transmissão em fluxo.

Experimentar o Kafka para HDInsight