Como monitorar a disponibilidade do cluster com o Apache Ambari no Azure HDInsight
Os clusters HDInsight incluem o Apache Ambari, que fornece informações de integridade rapidamente e alertas predefinidos.
Este artigo mostra como usar o Ambari para monitorar seu cluster e apresenta alguns exemplos para configurar um alerta Ambari, monitorar a taxa de disponibilidade do nó e criar um alerta do Azure Monitor que é acionado quando uma pulsação não é recebida de um ou mais nós em cinco horas.
Dashboard
O painel do Ambari pode ser acessado selecionando o link inicial do Ambari na seção Painéis de cluster da Visão geral do HDInsight no portal do Azure, conforme mostrado abaixo. Como alternativa, ele pode ser acessado navegando para https://CLUSTERNAME.azurehdinsight.net em um navegador onde CLUSTERNAME é o nome do seu cluster.
Em seguida, ser-lhe-á pedido um nome de utilizador e uma palavra-passe de início de sessão no cluster. Insira as credenciais escolhidas quando criou o cluster.
Em seguida, você será direcionado para o painel Ambari, que contém widgets que mostram um punhado de métricas para fornecer uma visão geral rápida da integridade do cluster HDInsight. Esses widgets mostram métricas como o número de DataNodes em tempo real (nós de trabalho) e JournalNodes (nó de zookeeper), tempo de atividade NameNodes (nós principais), bem como métricas específicas para determinados tipos de cluster, como o tempo de atividade do YARN ResourceManager para clusters Spark e Hadoop.
Anfitriões – ver o estado de cada nó
Você também pode exibir informações de status para nós individuais. Selecione a guia Hosts para exibir uma lista de todos os nós em seu cluster e ver informações básicas sobre cada nó. A verificação verde à esquerda do nome de cada nó indica que todos os componentes estão no nó. Se um componente estiver inativo em um nó, você verá um triângulo de alerta vermelho em vez da verificação verde.
Em seguida, você pode selecionar o nome de um nó para exibir métricas de host mais detalhadas para esse nó específico. Esta vista mostra o estado/disponibilidade de cada componente individual.
Alertas Ambari
Ambari também oferece vários alertas configuráveis que podem fornecer notificação de determinados eventos. Quando os alertas são acionados, eles são mostrados no canto superior esquerdo do Ambari em um selo vermelho contendo o número de alertas. Selecionar este selo mostra uma lista de alertas atuais.
Para exibir uma lista de definições de alerta e seus status, selecione a guia Alertas , conforme mostrado abaixo.
O Ambari oferece muitos alertas predefinidos relacionados à disponibilidade, incluindo:
| Nome do Alerta | Description |
|---|---|
| Resumo do Estado de Funcionamento do DataNode | Esse alerta de nível de serviço é acionado se houver DataNodes não íntegros |
| Estado de Funcionamento da Elevada Disponibilidade do NameNode | Esse alerta de nível de serviço é acionado se o NameNode Ativo ou o NameNode em espera não estiverem em execução. |
| Percentagem de JournalNodes Disponíveis | Este alerta será acionado se o número de JournalNodes inativos no cluster for superior ao limiar crítico configurado. Agrega os resultados das verificações do processo JournalNode. |
| Percentagem de DataNodes Disponíveis | Este alerta será acionado se o número de DataNodes inativos no cluster for superior ao limiar crítico configurado. Agrega os resultados das verificações do processo DataNode. |
Para exibir detalhes de um alerta ou modificar critérios, selecione o nome do alerta. Tome o DataNode Health Summary como exemplo. Pode ver uma descrição do alerta, bem como os critérios específicos que irão acionar um alerta de «aviso» ou «crítico» e o intervalo de verificação para os critérios. Para editar a configuração, selecione o botão Editar no canto superior direito da caixa Configuração.
Aqui, você pode editar a descrição e, mais importante, o intervalo de verificação e os limites para alertas de aviso ou críticos.
Neste exemplo, você pode fazer com que 2 DataNodes não íntegros acionem um alerta crítico e 1 DataNode não íntegro acione apenas um aviso. Selecione Salvar quando terminar de editar.
Notificações por e-mail
Você também pode, opcionalmente, configurar notificações por e-mail para alertas Ambari. Para fazer isso, quando estiver na guia Alertas, clique no botão Ações no canto superior esquerdo e, em seguida, em Gerenciar notificações.
Será aberta uma caixa de diálogo para gerir notificações de alerta. Selecione o + na parte inferior da caixa de diálogo e preencha os campos obrigatórios para fornecer ao Ambari os detalhes do servidor de e-mail a partir do qual enviar e-mails.
Gorjeta
Configurar notificações por e-mail do Ambari pode ser uma boa maneira de receber alertas em um só lugar ao gerenciar muitos clusters HDInsight.