Gérer des clusters Apache Hadoop dans HDInsight à l’aide du portail Azure

Le portail Azure vous permet de gérer des clusters Apache Hadoop dans Azure HDInsight. Utilisez le sélecteur de tabulations pour obtenir des informations sur la gestion de clusters Hadoop dans HDInsight à l’aide d’autres outils.

Prérequis

Un cluster Apache Hadoop existant dans HDInsight. Consultez Création de clusters Linux dans HDInsight à l’aide du portail Azure.

Mise en route

Connectez-vous à https://portal.azure.com.

Énumération et affichage des clusters

La page Clusters HDInsight répertorie vos clusters existants. À partir du portail :

1. Dans le menu de gauche, sélectionnez Tous les services.
2. Sous ANALYTICS, sélectionnez Clusters HDInsight.

Page d’accueil de cluster

Sélectionnez le nom de votre cluster dans la page Clusters HDInsight. Cette opération ouvre l’affichage Vue d’ensemble qui est semblable à l’image suivante :

Menu du haut :

Menu de gauche :

• Menu en haut à gauche

  Élément	Description
  Vue d’ensemble	fournit des informations générales sur votre cluster.
  Journal d’activité	afficher et interroger les journaux d’activité.
  Contrôle d’accès (IAM)	utiliser des attributions de rôles. Consultez Affecter des rôles Azure pour gérer l’accès à vos ressources d’abonnement Azure.
  Balises	permet de spécifier des paires clé/valeur pour définir une taxonomie personnalisée de vos services cloud. Vous pouvez par exemple créer une clé nommée projet, puis utiliser une valeur commune pour tous les services associés à un projet spécifique.
  Diagnostiquer et résoudre les problèmes	affiche des informations sur la résolution des problèmes.
  Démarrage rapide	affiche des informations qui vous aident à bien démarrer avec HDInsight.
  Outils	informations d’aide pour les outils associés à HDInsight.

• Menu Paramètres

  Élément	Description
  Taille du cluster	permet de vérifier, d’augmenter et de réduire le nombre de nœuds Worker du cluster. Voir Mettre à l’échelle des clusters.
  Limites de quota	permet d’afficher les cœurs utilisés et disponibles pour votre abonnement.
  SSH + Connexion du cluster	affiche les instructions pour se connecter au cluster avec une connexion Secure Shell (SSH). Pour en savoir plus, voir Utilisation de SSH avec Hadoop Linux sur HDInsight depuis Linux, Unix ou OS X.
  Data Lake Storage Gen 1	permet de configurer l’accès à Data Lake Storage Gen1. Consultez Démarrage rapide : Configurer des clusters dans HDInsight.
  Comptes de stockage	permet d’afficher les comptes de stockage et les clés. Les comptes de stockage sont configurés pendant le processus de création de cluster.
  Applications	permet d’ajouter/supprimer des applications HDInsight. Consultez Installer des applications HDInsight personnalisées.
  Actions de script	permet d’exécuter des scripts Bash sur le cluster. Consultez Personnalisation de clusters HDInsight basés sur Linux à l’aide d’une action de script.
  Metastores externes	affiche les metastores Apache Hive et Apache Oozie. Les metastores ne peuvent être configurés qu’au cours du processus de création de cluster.
  Partenaire HDInsight	ajouter/supprimer le partenaire HDInsight actuel.
  Propriétés	permet d’afficher les propriétés du cluster.
  Verrous	permet d’ajouter un verrou pour empêcher la modification ou la suppression du cluster.
  Exportation du modèle	permet d’afficher et d’exporter le modèle Azure Resource Manager pour le cluster. Actuellement, vous pouvez exporter uniquement le compte de stockage Azure dépendant. Consultez Création de clusters Apache Hadoop basés sur Linux dans HDInsight à l’aide de modèles Azure Resource Manager.

• Menu Supervision

  Élément	Description
  Alertes	permet de gérer les alertes et les actions.
  Mesures	permet de surveiller les mesures du cluster dans les journaux Azure Monitor.
  Paramètres de diagnostic	Paramètres de l’emplacement de stockage des métriques de diagnostic.
  Azure Monitor	Supervisez votre cluster dans Azure Monitor.

• Menu Support et dépannage

  Élément	Description
  Intégrité des ressources	Consultez Vue d’ensemble d’Azure Resource Health.
  Nouvelle demande de support	permet de créer un ticket de support auprès du support Microsoft.

Propriétés du cluster

Dans la page d’accueil du cluster, sous Paramètres; sélectionnez Propriétés.

Déplacer des clusters

Vous pouvez déplacer un cluster HDInsight vers un autre groupe de ressources Azure ou un autre abonnement.

Dans la page d’accueil du cluster :

1. Sélectionnez Déplacer dans le menu du haut.
2. Sélectionnez Déplacer vers un autre groupe de ressources ou Déplacer vers un autre abonnement.
3. Suivez les instructions fournies dans la nouvelle page.

Suppression des clusters

La suppression d’un cluster ne supprime pas le compte de stockage par défaut ni les comptes de stockage liés. Vous pouvez recréer le cluster en utilisant les mêmes comptes de stockage et les mêmes metastores. Il est recommandé d’utiliser un nouveau conteneur d’objets blob par défaut quand vous recréez le cluster.

Dans la page d’accueil du cluster :

1. Sélectionnez Supprimer dans le menu du haut.
2. Suivez les instructions fournies dans la nouvelle page.

Voir aussi Pause/arrêt de clusters.

Ajouter des comptes de stockage

Vous pouvez ajouter des comptes Stockage Azure et des comptes Azure Data Lake Storage supplémentaires après la création d’un cluster. Pour plus d’informations, consultez Ajouter des comptes de stockage supplémentaires à HDInsight.

Mise à l’échelle des clusters

La fonctionnalité de mise à l’échelle d’un cluster vous permet de modifier le nombre de nœuds de travail utilisés par un cluster Azure HDInsight sans avoir à recréer ce cluster.

Pour plus d’informations, consultez la rubrique Mettre à l’échelle les clusters HDInsight.

Pause/arrêt de clusters

La plupart des travaux Hadoop sont les traitements par lots exécutés occasionnellement seulement. Pour la plupart des clusters Hadoop, il existe de longues périodes pendant lequel le cluster n’est pas utilisé pour le traitement. Avec HDInsight, vos données sont stockées dans le stockage Azure. Vous pouvez ainsi supprimer un cluster en toute sécurité s’il n’est pas en cours d’utilisation. Vous devez également payer pour un cluster HDInsight, même quand vous ne l’utilisez pas. Étant donné que les frais pour le cluster sont bien plus élevés que les frais de stockage, mieux vaut supprimer les clusters quand ils ne sont pas utilisés.

Il existe de nombreuses façons de programmer le processus :

• Utilisateur d’Azure Data Factory. Pour créer des services liés HDInsight à la demande, consultez Création de clusters Apache Hadoop à la demande basés sur Linux dans HDInsight avec Azure Data Factory.
• Utilisation d’Azure PowerShell Voir Analyse des données sur les retards de vol.
• Utiliser l’interface de ligne de commande Microsoft Azure Consultez Gérer des clusters HDInsight à l’aide d’Azure CLI.
• Utilisation du kit de développement logiciel .NET. Voir Envoyer des tâches Apache Hadoop.

Pour les informations de tarification, consultez Tarification HDInsight. Pour supprimer un cluster du portail, consultez Supprimer les clusters

Mettre à niveau des clusters

Consultez Mettre à niveau le cluster HDInsight.

Ouvrir l’interface utilisateur web d’Apache Ambari

Ambari fournit une interface utilisateur web de gestion Hadoop intuitive et facile à utiliser secondée par ses API RESTful. Ambari permet aux administrateurs système de gérer et de surveiller des clusters Hadoop.

Dans la page d’accueil du cluster :

1. Sélectionnez Tableaux de bord du cluster.

   

2. Sélectionnez Accueil Ambari dans la nouvelle page.

3. Entrez le nom d’utilisateur et le mot de passe du cluster. Le nom d’utilisateur du cluster par défaut est admin.

Pour plus d’informations, consultez Gérer des clusters HDInsight à l’aide de l’interface utilisateur web d’Apache Ambari.

Modifier les mots de passe

Un cluster HDInsight peut disposer de deux comptes d'utilisateur. le compte d’utilisateur du cluster HDInsight (compte d’utilisateur HTTP) et le compte d’utilisateur SSH sont créés durant le processus de création. Vous pouvez utiliser le portail pour modifier le mot de passe du compte d’utilisateur du cluster, et des actions de script pour modifier le compte d’utilisateur SSH.

Modifier le mot de passe d’utilisateur du cluster

Dans la page d’accueil du cluster :

1. Sélectionnez SSH + Connexion du cluster sous Paramètres.
2. Sélectionnez Réinitialiser les informations d’identification.
3. Entrez et confirmez le nouveau mot de passe dans les zones de texte.
4. Sélectionnez OK.

Le mot de passe est modifié sur tous les nœuds du cluster.

Modifier le mot de passe d’utilisateur SSH ou la clé publique

1. À l’aide d’un éditeur de texte, enregistrez le texte suivant dans un fichier nommé changecredentials.sh.

   Important

   Vous devez utiliser un éditeur qui utilise LF comme caractère de fin de ligne. Si l’éditeur utilise CRLF, le script échoue.

   #! /bin/bash
   USER=$1
   PASS=$2
   usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER
   

2. Chargez le fichier sur un emplacement de stockage accessible à partir de HDInsight à l’aide d’une adresse HTTP ou HTTPS. Par exemple, un magasin de fichiers public tel que le stockage d’objets blob Azure ou OneDrive. Enregistrez l’URI (adresse HTTP ou HTTPS) dans le fichier, car vous en aurez besoin à l’étape suivante.

3. Dans la page d’accueil du cluster, sélectionnez Actions de script sous Paramètres.

4. En haut de la page Actions de script, sélectionnez Envoyer.

5. Dans le panneau Envoyer une action de script, entrez les informations suivantes :

6. Sélectionnez Créer pour appliquer le script. Une fois le script terminé, vous pouvez vous connecter au cluster à l’aide de SSH avec les nouvelles informations d’identification.

Rechercher l’ID d’abonnement

Chaque cluster est lié à un abonnement Azure. L’ID d’abonnement Azure est visible dans la page d’accueil du cluster.

Trouvez le groupe de ressources

En mode Azure Resource Manager, chaque cluster HDInsight est créé avec un groupe de ressources Azure Resource Manager. Le groupe Resource Manager est visible dans la page d’accueil du cluster.

Rechercher les comptes de stockage

Les clusters HDInsight utilisent un compte Stockage Azure ou Azure Data Lake Storage pour stocker les données. Chaque cluster HDInsight peut avoir un compte de stockage par défaut et une série de comptes de stockage liés. Pour lister les comptes de stockage, dans la page d’accueil du cluster, sous Paramètres, sélectionnez Comptes de stockage.

Surveiller des travaux

Consultez Gérer des clusters HDInsight à l’aide de l’interface utilisateur web d’Apache Ambari.

Taille du cluster

La vignette Taille du cluster de la page d’accueil du cluster affiche le nombre de cœurs alloués à ce cluster et la manière dont ils sont alloués pour les nœuds au sein de ce cluster.

Se connecter à un cluster

• Utilisation d’Apache Hive avec HDInsight
• Utiliser SSH avec HDInsight

Étapes suivantes

Dans cet article, vous avez découvert certaines fonctions d’administration de base. Pour en savoir plus, consultez les articles suivants :

• Administration de HDInsight à l’aide d’Azure PowerShell
• Administration de HDInsight à l’aide de l’interface de ligne de commande Azure
• Création de clusters HDInsight
• En savoir plus sur l’utilisation de l’API REST Apache Ambari
• Utilisation d’Apache Hive dans HDInsight
• Utiliser Apache Sqoop dans HDInsight
• Utiliser des fonctions définies par l’utilisateur (UDF) Python avec Apache Hive et Apache Pig dans HDInsight
• Version de Apache Hadoop dans Azure HDInsight