Configure os clusters no HDInsight com o Apache Hadoop, o Apache Spark, o Apache Kafka e muito mais

Saiba como configurar o Apache Hadoop, o Apache Spark, o Apache Kafka, o Interactive Query ou o Apache HBase no HDInsight. Além disso, saiba como personalizar clusters e adicionar segurança ingressando-os em um domínio.

Um cluster Hadoop é composto por várias máquinas virtuais (nós), usadas para processamento distribuído de tarefas. O Azure HDInsight manipula os detalhes de implementação da instalação e configuração de nós individuais, portanto, você precisa fornecer apenas informações de configuração geral.

Se você estiver usando vários clusters juntos, desejará criar uma rede virtual e, se estiver usando um cluster do Spark, também desejará usar o Hive Warehouse Connector. Para obter mais informações, confira Planejar uma rede virtual para o Azure HDInsight e Integrar o Apache Spark e o Apache Hive com o Hive Warehouse Connector.

Métodos de instalação de cluster

A tabela a seguir mostra os diferentes métodos que você pode usar para configurar um cluster HDInsight.

Este artigo o orienta pela configuração no portal do Azure, onde você pode criar um cluster HDInsight.

Noções básicas

Detalhes do projeto

O Azure Resource Manager ajuda você a trabalhar com os recursos do aplicativo como um grupo, chamado de grupo de recursos do Azure. Você pode implantar, atualizar, monitorar ou excluir todos os recursos do seu aplicativo com uma única operação coordenada.

Detalhes do cluster

Nome do cluster

Os nomes de cluster HDInsight têm as seguintes restrições:

• Caracteres permitidos: a-z, 0-9, A-Z
• Comprimento máximo: 59
• Nomes reservados: aplicativos
• O escopo de nomenclatura de cluster é para todo o Azure, em todas as assinaturas. Portanto, o nome do cluster deve ser exclusivo em todo o mundo.
• Os seis primeiros caracteres devem ser exclusivos em uma rede virtual

Região

Você não precisa especificar o local do cluster explicitamente: o cluster está no mesmo local que o armazenamento padrão. Para ver uma lista das regiões com suporte, selecione a lista suspensa Região em Preços do HDInsight.

Tipo de cluster

Atualmente, o Azure HDInsight apresenta os seguintes tipos de cluster, cada um com um conjunto de componentes para fornecer determinadas funcionalidades.

Versão

Escolha a versão do HDInsight para este cluster. Para saber mais, confira Versões do HDInsight com suporte.

Credenciais do cluster

Com os clusters HDInsight, você pode configurar duas contas de usuário durante a criação de cluster:

• Nome de usuário de login do cluster: o nome de usuário padrão é admin. Ele usa a configuração básica no portal do Azure. Às vezes, é chamado de “Usuário cluster” ou “Usuário HTTP”.
• Nome de usuário do Secure Shell (SSH): usado para se conectar ao cluster por meio do SSH. Para obter mais informações, confira Usar SSH com HDInsight.

O nome de usuário HTTP tem as seguintes restrições:

• Os caracteres especiais permitidos são: _ e @
• Os caracteres não permitidos são: #;."',/:!*?$(){}[]<>|&--=+%~^espaço`
• Comprimento máximo: 20

O nome de usuário SSH tem as seguintes restrições:

• Os caracteres especiais permitidos são: _ e @
• Os caracteres não permitidos são: #;."',/:!*?$(){}[]<>|&--=+%~^espaço`
• Comprimento máximo: 64
• Nomes reservados: users, oozie, hive, mapred, ambari-qa, zookeeper, tez, hdfs, sqoop, yarn, hcat, ams, hbase, administrator, admin, user, user1, test, user2, test1, user3, admin1, 1, 123, a, actuser, adm, admin2, aspnet, backup, console, David, guest, John, owner, root, server, sql, support, support_388945a0, sys, test2, test3, user4, user5, spark

Armazenamento

Embora uma instalação local do Hadoop use o HDFS (Sistema de Arquivos Distribuído Hadoop) para armazenamento no cluster, na nuvem você usa pontos de extremidade de armazenamento conectados ao cluster. Usar o armazenamento em nuvem significa que você pode excluir com segurança os clusters HDInsight usados para computação, mantendo seus dados.

Os clusters HDInsight podem usar as seguintes opções de armazenamento:

• Azure Data Lake Storage Gen2
• Azure Data Lake Storage Gen1
• Armazenamento do Microsoft Azure de Uso Geral v2
• Armazenamento do Microsoft Azure de Uso Geral v1
• Blob de blocos do Armazenamento do Microsoft Azure (com suporte apenas como armazenamento secundário)

Para obter mais informações sobre opções de armazenamento com o HDInsight, veja Comparar as opções de armazenamento para uso com clusters Azure HDInsight.

Durante a configuração, para o ponto de extremidade de armazenamento padrão, você especifica um contêiner de blob de uma conta de Armazenamento do Azure ou um Data Lake Storage. O armazenamento padrão contém os logs de aplicativo e de sistema. Opcionalmente, você pode especificar contas adicionais do Armazenamento do Azure e do Data Lake Storage vinculadas que o cluster possa acessar. O cluster HDInsight e as contas de armazenamento padrão dependentes devem estar na mesma localização do Azure.

Configurações de metastore

Você pode criar metastores Hive ou Apache Oozie opcionais. No entanto, nem todos os tipos de cluster dão suporte a metastores e o Azure Synapse Analytics não é compatível com metastores.

Para obter mais informações, consulte Usar armazenamentos de metadados externos no Azure HDInsight.

Banco de dados SQL para Hive

Se você deseja reter suas tabelas Hive depois de excluir um cluster HDInsight, use uma metastore personalizada. Você poderá então anexar a metastore a outro cluster HDInsight.

Um metastore HDInsight criado para uma versão de cluster HDInsight não pode ser compartilhado entre diferentes versões de cluster HDInsight. Para obter uma lista das versões do HDInsight, consulte Versões do HDInsight com suporte.

Banco de dados SQL para Oozie

Para aumentar o desempenho durante o uso do Oozie, use um metastore personalizado. Uma metastore também pode fornecer acesso a dados de trabalho do Oozie depois de você excluir o cluster.

Banco de dados SQL para Ambari

O Ambari é usado para monitorar clusters HDInsight, fazer alterações de configuração e armazenar informações de gerenciamento de cluster, bem como o histórico de trabalhos. O recurso de BD personalizado do Ambari permite a implantação de um novo cluster e a configuração do Ambari em um banco de dados externo gerenciado por você. Para obter mais informações, veja BD personalizados do Ambari.

Segurança + rede

Pacote de segurança empresarial

Para tipos de cluster Hadoop, HBase, Kafka, Spark e Consulta Interativa, você pode optar por habilitar o Enterprise Security Package. Esse pacote fornece a opção de ter uma configuração de cluster mais segura usando o Apache Ranger e integrando-se ao Microsoft Entra ID. Para obter mais informações, veja Visão geral do Enterprise Security no Azure HDInsight.

O Pacote de Segurança Empresarial permite que você integre o HDInsight com o Active Directory e o Apache Ranger. Vários usuários podem ser criados usando o pacote de segurança empresarial.

Para obter mais informações sobre a criação de cluster HDInsight ingressado no domínio, consulte Criar ambiente de área restrita do HDInsight ingressado no domínio.

TLS

Para obter mais informações, veja Protocolo TLS

Rede virtual

Se sua solução exige tecnologias que sejam distribuídas entre vários tipos de cluster HDInsight, uma rede virtual do Azure pode conectar os tipos de cluster necessários. Essa configuração permite que os clusters e qualquer código que você implantar neles se comuniquem diretamente uns com os outros.

Para obter mais informações sobre como usar uma rede virtual do Azure com HDInsight, veja Planejar uma rede virtual para HDInsight.

Para obter um exemplo de como usar dois tipos de cluster em uma rede virtual do Azure, confira Usar Streaming Estruturado do Apache Spark com o Apache Kafka. Para obter mais informações sobre como usar o HDInsight com uma rede virtual, incluindo requisitos de configuração específicos para a rede virtual, veja Planejar uma rede virtual para HDInsight.

Configurações de criptografia de disco

Para obter mais informações, confira Criptografia de disco de chave gerenciada pelo cliente.

Proxy REST do Kafka

Essa configuração só está disponível para cluster do tipo Kafka. Para obter mais informações, consulte Usar um proxy REST.

Identidade

Para obter mais informações, veja Identidades gerenciadas no Azure HDInsight.

Configuração + preço

Você é cobrado pelo uso do nó enquanto o cluster existir. A cobrança é iniciada quando um cluster é criado e para quando o cluster é excluído. Os clusters não podem ser desalocados ou colocados em espera.

Configuração do nó

Cada tipo de cluster tem seu próprio número de nós, terminologia para nós no cluster e tamanho da VM padrão. Na tabela a seguir, o número de nós para cada tipo de nó está entre parênteses.

Tipo	Nós	Diagrama
O Hadoop	Nó de Cabeçalho (2), Nó de Trabalho (1+)
HBase	Servidor de cabeçalho (2), Servidor de região (1 +), Nó mestre/do ZooKeeper (3)
Spark	Nó de cabeçalho (2), Nó de trabalho (1+), Nó do ZooKeeper (3) (gratuito para tamanho de VM A1 do ZooKeeper)

Para obter mais informações, consulte Configuração de nó padrão e tamanhos de máquina virtual para clusters em "Quais são os componentes do Hadoop e as versões no HDInsight?"

O custo de clusters HDInsight é determinado pelo número de nós e pelos tamanhos de máquinas virtuais para os nós.

Diferentes tipos de cluster têm diferentes tipos de nó, números de nós e tamanhos de nós:

• Padrão de tipo de cluster Hadoop:

  • Dois nós de cabeçalho

  • Quatro Nós de trabalho

Se você estiver apenas experimentando o HDInsight, recomenda-se o uso de um nó de dados. Para obter mais informações sobre os preços do HDInsight, confira Preços do HDInsight.

Quando você usa o portal do Azure para configurar o cluster, o tamanho do nó está disponível por meio da guia Configuração + preço. No portal, você também pode ver o custo associado aos diferentes tamanhos de nó.

Tamanhos de máquina virtual

Quando você implantar clusters, escolha os recursos de computação com base na solução que você planeja implantar. As VMs a seguir são usadas para clusters HDInsight:

• VMs A e série D1-4: Tamanhos de VM Linux de uso geral
• VM série D11-14: Tamanhos de VM Linux com otimização de memória

Para descobrir qual valor você deve usar para especificar um tamanho de VM ao criar um cluster usando os diferentes SDKs ou ao usar o Azure PowerShell, consulte Tamanhos de VM a serem usados para clusters HDInsight. Deste artigo vinculado, use o valor na coluna tamanho das tabelas.

Para obter mais informações, confira Tamanhos das máquinas virtuais. Para obter informações sobre os preços dos vários tamanhos, confira Preços do HDInsight.

Anexo de disco

O cluster do HDInsight vem com espaço em disco predefinido de acordo com a SKU. Se você executar alguns aplicativos grandes, isso poderá resultar em espaço em disco insuficiente com erro de disco cheio – LinkId=221672#ERROR_NOT_ENOUGH_DISK_SPACE, além de falhas de trabalho.

Mais discos poderão ser adicionados ao cluster usando o diretório local do novo recurso NodeManager. No momento da criação do cluster Hive e Spark, o número de discos poderá ser selecionado e incluído nos nós do trabalhador. O disco selecionado, que terá tamanho de 1 TB cada, fará parte dos diretórios locais do NodeManager.

1. Na guia Configuração + preço
2. Selecione a opção Habilitar disco gerenciado
3. Em discos Standard, insira o Número de discos
4. Escolha o Nó de trabalho

Você pode verificar o número de discos na guia Examinar + criar, em Configuração do cluster

Adicionar aplicativo

O aplicativo do HDInsight é um aplicativo que os usuários podem instalar em um cluster HDInsight baseado em Linux. Você pode usar os aplicativos fornecidos pela Microsoft e por terceiros ou desenvolvidos por você. Para saber mais, confira Instalar aplicativos de terceiros do Apache Hadoop no Azure HDInsight.

A maioria dos aplicativos HDInsight é instalada em um nó de borda vazia. Um nó de borda vazio é uma máquina virtual Linux com as mesmas ferramentas de cliente instaladas e configuradas do nó principal. Você pode usar o nó de borda para acessar o cluster, testar e hospedar seus aplicativos clientes. Para saber mais, confira Usar nós de borda vazia no HDInsight.

Ações de script

Você pode instalar componentes adicionais ou personalizar a configuração de cluster por meio de scripts durante a criação. Tais scripts são chamados usando a Ação de Script, que é uma opção de configuração que pode ser usada no portal do Azure, cmdlets do Windows PowerShell do HDInsight ou SDK do .NET do HDInsight. Para obter mais informações, consulte Personalizar cluster HDInsight usando a Ação de Script.

Alguns componentes nativos do Java, como Apache Mahout e Cascading, podem ser executados no cluster como arquivos Java Archive (JAR). Esses arquivos JAR podem ser distribuídos para o Armazenamento do Azure e enviados aos clusters HDInsight por meio de mecanismos de envio de trabalho do Hadoop. Para obter mais informações, consulte Enviar Apache trabalhos do Hadoop por meio de programação.

Às vezes, você deseja definir os seguintes arquivos de configuração durante o processo de criação:

• clusterIdentity.xml
• core-site.xml
• gateway.xml
• hbase-env.xml
• hbase-site.xml
• hdfs-site.xml
• hive-env.xml
• hive-site.xml
• mapred-site
• oozie-site.xml
• oozie-env.xml
• tez-site.xml
• webhcat-site.xml
• yarn-site.xml

Para saber mais, confira Personalizar clusters HDInsight usando a Inicialização.

Próximas etapas

• Solucionar problemas de falhas de criação de cluster com o Azure HDInsight
• O que são o HDInsight, o ecossistema do Apache Hadoop e os clusters Hadoop?
• Introdução ao uso do Apache Hadoop no HDInsight
• Trabalhe no Apache Hadoop no HDInsight a partir de um PC Windows