Apache Storm para HDInsight

Processamento de fluxos em tempo simplificado para macrodados

O que é o Apache Storm?

O Apache Storm é uma solução de processamento de eventos em tempo real, distribuída, tolerante a falhas e de código aberto para fluxos de dados rápidos e grandes. Tendo originalmente ganho fama graças ao Twitter, que utilizou esta tecnologia nos respetivos fluxos de tweets massivos, o Storm é um projeto da Apache Software Foundation. Com o Azure, a implementação do Apache Storm é fácil e económica, ao não ter de comprar hardware nem configurar software, ao poder utilizar as ferramentas de programação que preferir (Java ou C#) e ao oferecer uma integração profunda com o Visual Studio.

Ver uma descrição geral breve >

Os dados vêm de diferentes origens (aplicações, dispositivos, sensores, Web, redes sociais) e são recolhidos na cloud através de APIs Web ou gateways de campo. Os dados são colocados num serviço de fila, como os Hubs de Eventos, Kafka, RabbitMQ ou ActiveMQ, para o processamento de dados em tempo real com o Apache Storm no HDInsight. Os dados são movidos para um armazenamento de longo prazo com o Apache HBase no HDInsight, onde pode executar os seus dashboards, consultas e análises em tempo real.

Processamento em tempo real para desafios em tempo real

O mundo ligado atual é definido por dados de grandes dimensões que chegam em tempo real. O Storm é ideal para cenários em tempo real complexos, como deteção de fraudes, análises clickstream, alertas financeiros, telemetria de sensores e dispositivos IoT (Internet das Coisas), análises sociais, pipelines ETL sempre ativos e monitorização de rede. Os seus clientes podem obter estes eventos em tempo real a partir de dispositivos, sensores, infraestruturas, aplicações, sites e dados.

Configuração fácil, resultados rápidos

Com o Storm para HDInsight, não existe instalação nem configuração morosas. O Azure faz tudo por si. Fique operacional numa questão de minutos e implemente o Storm sem ter de comprar hardware novo ou de incorrer noutros custos iniciais.

Ambiente de desenvolvimento integrado para resultados mais fáceis e rápidos

O Storm é fácil de utilizar e suporta qualquer linguagem de programação, incluindo Java e .NET. A integração incorporada com o IDE do Visual Studio significa que pode desenvolver, implementar e depurar topologias do Storm rápida e facilmente. Pode misturar spouts escritos noutras linguagens, o que significa que pode tirar partido do universo de spouts e bolts existentes como parte da sua topologia.

Capacidade elástica para dados de grandes dimensões

O Storm para HDInsight tira partido do poder do Azure, o que lhe permite criar facilmente clusters de qualquer tamanho para processar qualquer quantidade de dados a pedido. Paga apenas pela computação e armazenamento que utilizar efetivamente.

Elevada disponibilidade para a continuidade do negócio

O Storm é tolerante a falhas e reinicia automaticamente as funções de trabalho noutros nós em caso de falha. O Storm para HDInsight leva esta capacidade a um patamar superior com um tempo de atividade de 99,9% para os seus clusters do Storm. O Azure também garante suporte empresarial 24 horas por dia, sete dias por semana, e monitorização de clusters.

Implementar o seu primeiro pipeline de análise do Apache Storm

Implemente um cluster do Apache Storm e execute o seu primeiro pipeline de análise em tempo real em minutos.

Utilize a sua subscrição do Azure ou crie uma conta de avaliação para iniciar sessão no portal do Azure.

Dê um nome ao cluster do Storm e escolha o número de nós para definir o tamanho do cluster. Pode implementar um cluster do Storm desde um até centenas de nós. Também permitimos que aumente ou diminua verticalmente um cluster do Storm em execução.

Geralmente, a implementação dos clusters do Storm demoram 15 minutos. Depois de implementado o cluster, clique em DASHBOARD DO STORM, na parte inferior da página, para implementar a sua primeira topologia de storm.

Indique o nome de utilizador e a palavra-passe que escolheu quando criou o cluster.

No menu pendente, escolha uma das topologias de exemplo ou carregue uma nova, que deverá ser compilada como um ficheiro JAR:

Clique em Submeter para implementar a topologia WorkCount. Esta topologia conta o número de palavras que estão presentes num storm de frases que vão funcionar como entrada.

Quando a submissão estiver concluída, pode clicar em IU do Storm para monitorizar a topologia em execução.

É fácil criar, implementar e gerir topologias do Storm a partir do ambiente do Visual Studio. O Azure SDK também é fornecido com modelos de início fácil para o Storm no HDInsight. A experiência integrada do Visual Studio aumenta a produtividade e permite-lhe fazer a gestão completa de projetos no ambiente do Visual Studio.

Experimentar o HDInsight gratuitamente