Migrar clusters Apache Hadoop locais para o Azure HDInsight - motivação e benefícios

Este artigo é o primeiro de uma série sobre práticas recomendadas para migrar implantações de ecossistema Apache Hadoop locais para o Azure HDInsight. Esta série de artigos destina-se a pessoas responsáveis pelo design, implantação e migração de soluções Apache Hadoop no Azure HDInsight. As funções que podem se beneficiar desses artigos incluem arquitetos de nuvem, administradores de Hadoop e engenheiros de DevOps. Desenvolvedores de software, engenheiros de dados e cientistas de dados também devem se beneficiar da explicação de como diferentes tipos de clusters funcionam na nuvem.

Por que migrar para o Azure HDInsight

O Azure HDInsight é uma distribuição em nuvem de componentes do Hadoop. O Azure HDInsight torna mais fácil, rápido e rentável processar quantidades enormes de dados. O HDInsight inclui as estruturas de código aberto mais populares, como:

• Apache Hadoop
• Apache Spark
• Apache Hive com LLAP
• Apache Kafka
• Apache HBase

Vantagens do Azure HDInsight em relação ao Hadoop local

• Baixo custo - Os custos podem ser reduzidos criando clusters sob demanda e pagando apenas pelo que você usa. A computação e o armazenamento dissociados proporcionam flexibilidade, mantendo o volume de dados independente do tamanho do cluster.

• Criação automatizada de clusters - A criação automatizada de clusters requer instalação e configuração mínimas. A automação pode ser usada para clusters sob demanda.

• Hardware e configuração gerenciados - Não há necessidade de se preocupar com o hardware físico ou a infraestrutura com um cluster HDInsight. Basta especificar a configuração do cluster e o Azure a configura.

• Facilmente escalável - O HDInsight permite dimensionar cargas de trabalho para cima ou para baixo. O Azure cuida da redistribuição de dados e do reequilíbrio da carga de trabalho sem interromper os trabalhos de processamento de dados.

• Disponibilidade global - O HDInsight está disponível em mais regiões do que qualquer outra oferta de análise de big data. O Azure HDInsight também está disponível no Azure Government, na China e na Alemanha, o que lhe permite satisfazer as suas necessidades empresariais nas principais áreas soberanas.

• Seguro e compatível - O HDInsight permite que você proteja seus ativos de dados corporativos com a Rede Virtual do Azure, criptografia e integração com o Microsoft Entra ID. O HDInsight também cumpre os padrões de conformidade mais populares da indústria e do governo.

• Gerenciamento simplificado de versões - o Azure HDInsight gerencia a versão dos componentes do ecossistema Hadoop e os mantém atualizados. As atualizações de software geralmente são um processo complexo para implantações locais.

• Clusters menores otimizados para cargas de trabalho específicas com menos dependências entre componentes - Uma configuração Hadoop local típica usa um único cluster que serve a muitos propósitos. Com o Azure HDInsight, clusters específicos de carga de trabalho podem ser criados. A criação de clusters para cargas de trabalho específicas elimina a complexidade de manter um único cluster com complexidade crescente.

• Produtividade - Você pode usar várias ferramentas para Hadoop e Spark em seu ambiente de desenvolvimento preferido.

• Extensibilidade com ferramentas personalizadas ou aplicativos de terceiros - os clusters HDInsight podem ser estendidos com componentes instalados e também podem ser integrados com outras soluções de big data usando implantações de um clique do Azure Marketplace.

• Fácil gerenciamento, administração e monitoramento - o Azure HDInsight integra-se aos logs do Azure Monitor para fornecer uma interface única com a qual você pode monitorar todos os seus clusters.

• Integração com outros serviços do Azure - o HDInsight pode ser facilmente integrado com outros serviços populares do Azure, como os seguintes:

  • Azure Data Factory (ADF)
  • Armazenamento de Blobs do Azure
  • Azure Data Lake Storage Gen2
  • BD do Cosmos para o Azure
  • Base de Dados SQL do Azure
  • Azure Analysis Services

• Processos e componentes de autorrecuperação - O HDInsight verifica constantemente a infraestrutura e os componentes de código aberto usando sua própria infraestrutura de monitoramento. Ele também recupera automaticamente falhas críticas, como indisponibilidade de componentes e nós de código aberto. Os alertas são acionados no Ambari se algum componente OSS falhar.

Para obter mais informações, consulte o artigo O que é o Azure HDInsight e a pilha de tecnologia Apache Hadoop.

Processo de planeamento da migração

As etapas a seguir são recomendadas para planejar uma migração de clusters Hadoop locais para o Azure HDInsight:

1. Entenda a implantação local e as topologias atuais.
2. Entenda o escopo atual do projeto, os cronogramas e a experiência da equipe.
3. Entenda os requisitos do Azure.
4. Construa um plano detalhado com base nas melhores práticas.

Recolha de detalhes para preparar uma migração

Esta seção fornece modelos de questionários para ajudar a reunir informações importantes sobre:

• A implantação local
• Detalhes do projeto
• Requisitos do Azure

Questionário de implantação local

Questionário de detalhes do projeto

Questionário de requisitos do Azure

Próximos passos

Leia o próximo artigo desta série:

• Práticas recomendadas de arquitetura para migração local para o Azure HDInsight Hadoop