Se connecter à HDInsight (Apache Hadoop) avec SSH

Découvrez comment utiliser Secure Shell (SSH) pour vous connecter de façon sécurisée à Apache Hadoop sur Azure HDInsight. Pour plus d’informations sur la connexion via un réseau virtuel, consultez Architecture de réseau virtuel Azure HDInsight. Consultez également Planifier un déploiement de réseau virtuel pour des clusters Azure HDInsight.

Le tableau suivant contient les informations d’adresse et de port nécessaires lors de la connexion à HDInsight à l’aide d’un client SSH :

Remplacez <clustername> par le nom de votre cluster. Remplacez <edgenodename> par le nom du nœud de périmètre.

Si votre cluster contient un nœud de périmètre, nous vous recommandons de toujours vous connecter au nœud de périmètre à l’aide de SSH. Les nœuds principaux hébergent des services qui sont essentiels au bon fonctionnement de Hadoop. Le nœud de périmètre exécute uniquement ce que vous placez dans celui-ci. Pour plus d’informations sur l’utilisation des nœuds de périmètre, consultez Utiliser des nœuds de périmètre vides dans HDInsight.

Clients SSH

Les systèmes Linux, Unix et macOS fournissent les commandes ssh et scp. Le client ssh est généralement utilisé pour créer une session de ligne de commande à distance avec un système basé sur Linux ou Unix. Le client scp est utilisé pour copier des fichiers en toute sécurité entre votre client et le système distant.

Microsoft Windows n’installe pas de clients SSH par défaut. Les clients ssh et scp sont disponibles pour Windows dans les packages suivants :

• Client OpenSSH. Ce client est une fonctionnalité facultative introduite dans la mise à jour Windows 10 Fall Creators Update.

• Bash sur Ubuntu sur Windows 10.

• Azure Cloud Shell. Cloud Shell fournit un environnement Bash dans votre navigateur.

• Git.

Il existe également plusieurs clients SSH graphiques, tels que PuTTY et MobaXterm. Alors que ces clients peuvent être utilisés pour se connecter à HDInsight, le processus de connexion est différent de celui utilisant l’utilitaire ssh. Pour plus d’informations, consultez la documentation du client graphique que vous utilisez.

Authentification : clés SSH

Les clés SSH utilisent le chiffrement à clé publique pour authentifier des sessions SSH. Les clés SSH sont plus sûres que les mots de passe et fournissent un moyen simple pour sécuriser l’accès à votre cluster Hadoop.

Si votre compte SSH est sécurisé à l’aide d’une clé, le client doit fournir la clé privée correspondante lorsque vous vous connectez :

• La plupart des clients peuvent être configurés pour utiliser une clé par défaut. Par exemple, le client ssh recherche une clé privée à l’emplacement ~/.ssh/id_rsa sur des environnements Linux et Unix.

• Vous pouvez spécifier le chemin d’accès à une clé privée. Avec le client ssh, le paramètre -i est utilisé pour spécifier le chemin d’accès à la clé privée. Par exemple : ssh -i ~/.ssh/id_rsa sshuser@myedge.mycluster-ssh.azurehdinsight.net.

• Si vous avez plusieurs clés privées à utiliser avec différents serveurs, pensez à utiliser un utilitaire tel que ssh-agent (https://en.wikipedia.org/wiki/Ssh-agent). L’utilitaire ssh-agent peut être utilisé pour sélectionner automatiquement la clé à utiliser lors de l’établissement d’une session SSH.

Création d’une paire de clés SSH

Utilisez la commande ssh-keygen pour créer des fichiers de clés publiques et privées. La commande suivante génère une paire de clés RSA 2 048 bits qui peut être utilisée avec HDInsight :

ssh-keygen -t rsa -b 2048

Vous êtes invité à renseigner diverses informations pendant le processus de création de la clé. Par exemple, l’emplacement dans lequel sont stockées les clés ou vos préférences en termes d’utilisation de phrase secrète. Une fois le processus terminé, deux fichiers sont créés ; une clé publique et une clé privée.

• La clé publique est utilisée pour créer un cluster HDInsight. La clé publique est dotée d’une extension de .pub.

• La clé privée est utilisée pour authentifier votre client au cluster HDInsight.

Créer un cluster HDInsight à l’aide de la clé publique

Méthode de création	Utilisation de la clé publique
Portail Azure	Décochez l’option Utiliser le mot de passe de connexion du cluster pour SSH, puis sélectionnez Clé publique comme type d’authentification SSH. Enfin, sélectionnez le fichier de clé publique ou collez le contenu texte du fichier dans le champ Clé publique SSH.
Azure PowerShell	Utilisez le paramètre -SshPublicKey de l’applet de commande New-AzHdinsightClusteret transmettez le contenu de la clé publique sous forme de chaîne.
Azure CLI	Utilisez le paramètre --sshPublicKey de la commande az hdinsight create et transmettez le contenu de la clé publique sous forme de chaîne.
Modèle Resource Manager	Pour obtenir un exemple d’utilisation des clés SSH avec un modèle, consultez Deploy HDInsight on Linux (w/ Azure Storage, SSH key) (Déployer HDInsight sur Linux (avec Stockage Azure, clé SSH). L’élément publicKeys dans le fichier azuredeploy.json est utilisé pour transmettre les clés à Azure lors de la création du cluster.

Authentification : mot de passe

Les comptes SSH peuvent être sécurisés à l’aide d’un mot de passe. Lorsque vous vous connectez à HDInsight via SSH, vous êtes invité à entrer le mot de passe.

Créer un cluster HDInsight à l’aide d’un mot de passe

Méthode de création	Spécification du mot de passe
Portail Azure	Par défaut, le compte utilisateur SSH a le même mot de passe que le compte de connexion du cluster. Pour utiliser un autre mot de passe, décochez l’option Utiliser le mot de passe de connexion du cluster pour SSH, puis entrez le mot de passe dans le champ Mot de passe SSH.
Azure PowerShell	Utilisez le paramètre --SshCredential de l’applet de commande New-AzHdinsightCluster et transmettez un objet PSCredential qui contient le nom de compte et mot de passe utilisateur SSH.
Azure CLI	Utilisez le paramètre --ssh-password de la commande az hdinsight create et fournissez la valeur de mot de passe.
Modèle Resource Manager	Pour obtenir un exemple d’utilisation d’un mot de passe avec un modèle, consultez Deploy HDInsight cluster with Storage and SSH password (Déployer un cluster HDInsight avec Stockage Azure et un mot de passe SSH). L’élément linuxOperatingSystemProfile dans le fichier azuredeploy.json est utilisé pour transmettre le nom de compte et mot de passe SSH à Azure lors de la création du cluster.

Modifier le mot de passe SSH

Pour plus d’informations sur la modification du mot de passe du compte utilisateur SSH, consultez la section Modifier les mots de passe du document Gestion des clusters Hadoop dans HDInsight au moyen du portail Azure.

HDInsight joint à un domaine d’authentification

Si vous utilisez un cluster HDInsight joint à un domaine, vous devez utiliser la commande kinit après vous être connecté avec un utilisateur local SSH. Cette commande vous invite à renseigner un utilisateur de domaine et un mot de passe, et authentifie votre session auprès du domaine Microsoft Entra associé au cluster.

Vous pouvez également activer l’authentification Kerberos sur chaque nœud joint à un domaine (par exemple un nœud principal ou un nœud de périphérie) pour vous connecter avec SSH à l’aide du compte de domaine. Pour cela, éditez le fichier de configuration de sshd :

sudo vi /etc/ssh/sshd_config

Supprimez les marques de commentaire et redéfinissez KerberosAuthentication sur yes.

sudo service sshd restart

Utilisez la commande klist pour vérifier si l’authentification Kerberos a réussi.

Pour plus d’informations, consultez la section Configurer des clusters HDInsight joints à un domaine (version préliminaire).

Se connecter à des nœuds

Les nœuds principaux et le nœud de périphérie (le cas échéant) sont accessibles sur Internet sur les ports 22 et 23.

• Lorsque vous vous connectez aux nœuds principaux, utilisez le port 22 pour vous connecter au nœud principal primaire et le port 23 pour vous connecter au nœud principal secondaire. Le nom de domaine complet à utiliser est clustername-ssh.azurehdinsight.net, où clustername est le nom de votre cluster.

  # Connect to primary head node
  # port not specified since 22 is the default
  ssh sshuser@clustername-ssh.azurehdinsight.net
  
  # Connect to secondary head node
  ssh -p 23 sshuser@clustername-ssh.azurehdinsight.net
  

• Lorsque vous vous connectez au nœud de périphérie, utilisez le port 22. Le nom de domaine complet est edgenodename.clustername-ssh.azurehdinsight.net, où edgenodename est un nom que vous avez fourni lors de la création du nœud de périmètre. clustername est le nom du cluster.

  # Connect to edge node
  ssh sshuser@edgnodename.clustername-ssh.azurehdinsight.net
  

Une fois que vous êtes connecté, l’invite change de façon à indiquer le nom d’utilisateur SSH et le nœud auquel vous êtes connecté. Par exemple, lorsque vous êtes connecté au nœud principal primaire sous le nom sshuser, l’invite est sshuser@<active-headnode-name>:~$.

Se connecter à des nœuds Apache Zookeeper et Worker

Les nœuds Worker et Zookeeper ne sont pas directement accessibles à partir d’Internet. Ils sont accessibles à partir des nœuds principaux ou des nœuds de périmètre du cluster. Pour vous connecter a d’autres nœuds, procédez comme suit :

1. Utilisez SSH pour vous connecter au nœud principal ou de périphérie :

   ssh sshuser@myedge.mycluster-ssh.azurehdinsight.net
   

2. À partir de la connexion SSH vers le nœud principal ou de périphérie, utilisez la commande ssh pour vous connecter à un nœud de travail dans le cluster :

   ssh sshuser@wn0-myhdi
   

   Pour récupérer la liste des noms de nœuds, consultez le document Gérer des clusters HDInsight à l’aide de l’API REST d’Apache Ambari.

Si le compte SSH est sécurisé à l’aide d’un mot de passe, entrez le mot de passe lors de la connexion.

Si le compte SSH est sécurisé à l’aide de clés SSH, assurez-vous que le transfert SSH est activé sur le client.

Configurer le transfert de l’agent SSH

1. Avec un éditeur de texte, ouvrez ~/.ssh/config. Si ce fichier n’existe pas, créez-le en entrant touch ~/.ssh/config dans la ligne de commande.

2. Ajoutez le texte suivant au fichier config.

   Host <edgenodename>.<clustername>-ssh.azurehdinsight.net
       ForwardAgent yes
   

   Remplacez les informations Hôte avec l’adresse du nœud que vous connectez à l’aide de SSH. L’exemple précédent utilise le nœud de périmètre. Cette entrée permet de configurer le transfert de l’agent SSH pour le nœud spécifié.

3. Testez le transfert de l’agent SSH à l’aide de la commande suivante à partir du terminal :

   echo "$SSH_AUTH_SOCK"
   

   Cette commande retourne des informations semblables au texte suivant :

   /tmp/ssh-rfSUL1ldCldQ/agent.1792
   

   Si aucun élément n’est retourné, alors ssh-agent n’est pas en cours d’exécution.

4. Après avoir vérifié que ssh-agent est en cours d’exécution, utilisez la commande suivante pour ajouter votre clé privée SSH à l’agent :

   ssh-add ~/.ssh/id_rsa
   

   Si votre clé privée est stockée dans un fichier différent, remplacez ~/.ssh/id_rsa par le chemin d’accès au fichier.

5. Connectez-vous aux nœuds principaux ou aux nœuds de périmètre du cluster à l’aide de SSH. Utilisez ensuite la commande SSH pour vous connecter à un nœud Worker ou Zookeeper. La connexion est établie à l’aide de la clé transmise.

Étapes suivantes

• Utilisation de SSH Tunneling pour accéder à l’interface Web Ambari, JobHistory, NameNode, Oozie et d’autres interfaces Web
• Utiliser des nœuds de périmètre vides dans HDInsight
• Utiliser SCP avec HDInsight