Apache Storm para HDInsight

Processamento de fluxo em tempo real facilitado para Big Data

O que é o Apache Storm?

O Apache Storm é uma solução de software livre de processamento de eventos em tempo real distribuída e tolerante a falhas ideal para fluxos de dados grandes e rápidos. Alcançando a fama com o Twitter, que usou a tecnologia em seus imensos fluxos de tweets, o Storm é um projeto da Apache Software Foundation. O Azure faz com que a implantação do Apache Storm seja fácil e econômica, sem a necessidade de comprar hardware nem de configurar software, e você pode usar as ferramentas de desenvolvimento de sua escolha (Java ou C#), além de oferecer uma profunda integração com o Visual Studio.

Assista a uma visão geral rápida >

Os dados vêm de várias fontes (aplicativos, dispositivos, sensores, Web, mídias sociais) e são coletados na nuvem por meio de APIs da Web ou gateways de campo. Os dados são colocados em um serviço de enfileiramento, como Hubs de Eventos, Kafka, RabbitMQ ou ActiveMQ, para processamento de dados em tempo real com o Apache Storm no HDInsight. Os dados se movimentam para o armazenamento de longo prazo com o Apache HBase no HDInsight, no qual você pode executar seus painéis, consultas e análises em tempo real.

Processamento em tempo real para desafios em tempo real

O mundo conectado de hoje é definido por Big Data que chega em tempo real. O Storm é ideal para cenários desafiadores em tempo real, como detecção de fraude, análise de fluxo de cliques, alertas financeiros, telemetria de sensores e dispositivos de IoT (Internet das Coisas), análise social, pipelines de ETL "always on" e monitoramento de rede. Os clientes podem obter tais eventos em tempo real por meio de dispositivos, sensores, infraestrutura, aplicativos, sites e dados.

Configuração fácil, resultados rápidos

Com o Storm para HDInsight, não há nenhuma instalação nem configuração demorada. O Azure faz isso por você. Deixe tudo funcionando em questão de minutos e implante o Storm sem comprar um novo hardware nem ter de pagar outros custos iniciais.

Ambiente de desenvolvimento integrado para obter resultados com mais rapidez e facilidade

O Storm é simples de usar e dá suporte a qualquer linguagem de programação, incluindo Java e .NET. A integração interna ao IDE do Visual Studio significa que você pode desenvolver, implantar e depurar topologias Storm com rapidez e facilidade. Você pode até mesmo mesclar spouts escritos em outras linguagens, o que significa que você pode aproveitar os spouts e os bolts existentes como parte de sua topologia.

Capacidade elástica para Big Data

O Storm para HDInsight aproveita o poder do Azure, facilitando a criação de clusters de qualquer tamanho para processar qualquer quantidade de dados sob demanda. Cobramos somente pela computação e armazenamento que você realmente usar.

Alta disponibilidade para a continuidade de negócios

O Storm é tolerante a falhas e reinicia automaticamente os trabalhos em outros nós em caso de falha. O Storm para HDInsight leva isso ainda mais além, com 99,9% de tempo de atividade para seus clusters do Storm. O Azure também oferece suporte corporativo 24 horas por dia, sete dias por semana, além de monitoramento de clusters.

Implante seu primeiro pipeline de análises do Apache Storm

Você pode implantar um cluster do Apache Storm e executar seu primeiro pipeline de análises em tempo real em questão de minutos.

Use sua assinatura do Azure ou crie uma conta de avaliação para fazer logon no Portal do Azure.

Dê um nome para o cluster do Storm e escolha o número de nós para definir o tamanho dele. Você pode implantar um cluster do Storm como um nó ou centenas de nós. Também permitimos que escale ou reduza verticalmente um cluster do Storm em execução.

Geralmente, leva 15 minutos para implantar um cluster do Storm. Depois de implantado, clique em PAINEL STORM na parte inferior da página para implantar sua primeira topologia Storm.

Forneça o nome de usuário e senha escolhidos ao criar o cluster.

Na lista suspensa, escolha uma das topologias de exemplo ou carregue uma nova topologia, que deve ser compilada como um arquivo JAR.

Clique em Enviar para implantar a topologia WorkCount. Essa topologia conta o número de palavras presentes em uma tempestade de frases inseridas como entrada.

Depois de concluir o envio, clique em Interface do Usuário do Storm para monitorar a topologia em execução.

É muito fácil compilar, implantar e gerenciar topologias Storm, tudo isso no ambiente do Visual Studio. O SDK do Azure também é fornecido com modelos de início rápido para o Storm no HDInsight. A experiência integrada ao Visual Studio aumenta a produtividade e permite realizar o gerenciamento de projeto completo no ambiente do Visual Studio.

Teste o HDInsight gratuitamente