Conexión a HDInsight (Apache Hadoop) mediante SSH

Aprenda a usar Secure Shell (SSH) para conectarse de forma segura a Apache Hadoop en Azure HDInsight. Para obtener información acerca de cómo conectarse a través de una red virtual, consulte Arquitectura de red virtual de Azure HDInsight. Vea también Planeamiento de la implementación de una red virtual para clústeres de Azure HDInsight.

La tabla siguiente contiene la información de dirección y puerto necesaria para conectarse a HDInsight a través de un cliente SSH:

Reemplace <clustername> por el nombre del clúster. Reemplace <edgenodename> con el nombre del nodo perimetral.

Si el clúster contiene un nodo perimetral, se recomienda que siempre se conecte al nodo perimetral mediante SSH. Los nodos principales hospedan servicios que son críticos para el estado de Hadoop. El nodo perimetral ejecuta solo lo que incluya en él. Para más información, consulte Uso de nodos perimetrales en HDInsight.

Clientes SSH

Los sistemas Linux, Unix y macOS proporcionan los comandos ssh y scp. El cliente ssh se usa normalmente para crear una sesión de línea de comandos remota con un sistema basado en Unix o Linux. El cliente scp se usa para copiar archivos entre el cliente y el sistema remoto de forma segura.

Microsoft Windows no instala los clientes SSH de forma predeterminada. Los clientes ssh y scp están disponibles para Windows a través de los siguientes paquetes:

• Cliente OpenSSH: Este cliente es una característica opcional que se introdujo en Windows 10 Fall Creators Update.

• Bash en Ubuntu en Windows 10.

• Azure Cloud Shell. Cloud Shell proporciona un entorno de Bash en el explorador.

• Git.

También hay varios clientes SSH gráficos, como PuTTY y MobaXterm. Aunque estos clientes se pueden usar para conectar con HDInsight, el proceso de conexión es diferente a usar la utilidad ssh. Para más información, consulte la documentación del cliente gráfico que esté usando.

Autenticación: claves SSH

Las claves SSH utilizan criptografía de clave pública para autenticar las sesiones de SSH. Las claves SSH son más seguras que las contraseñas y proporcionan una manera fácil para proteger el acceso al clúster de Hadoop.

Si su cuenta SSH se protege utilizando una clave, el cliente tiene que proporcionar la clave privada correspondiente al conectarse:

• La mayoría de los clientes pueden configurarse para utilizar una clave predeterminada. Por ejemplo, el cliente ssh busca una clave privada en ~/.ssh/id_rsa en entornos Linux y Unix.

• Puede especificar la ruta de acceso a una clave privada. Con el cliente ssh, el parámetro -i se utiliza para especificar la ruta de acceso a la clave privada. Por ejemplo, ssh -i ~/.ssh/id_rsa sshuser@myedge.mycluster-ssh.azurehdinsight.net.

• Si tiene varias claves privadas para su uso con distintos servidores, considere la posibilidad de usar una utilidad como ssh-agent (https://en.wikipedia.org/wiki/Ssh-agent). La utilidad ssh-agent se puede usar para seleccionar automáticamente la clave que se usará al establecer una sesión de SSH.

Creación de un par de claves SSH

Use el comando ssh-keygen para crear archivos de clave pública y privada. El comando siguiente genera un par de claves de RSA de 2048 bits que puede utilizarse con HDInsight:

ssh-keygen -t rsa -b 2048

Se le pedirá información durante el proceso de creación de claves. Por ejemplo, dónde se almacenan las claves o si se debe usar una frase de contraseña. Una vez completado el proceso, se crean dos archivos: una clave pública y una clave privada.

• La clave pública se utiliza para crear un clúster de HDInsight. La clave pública tiene una extensión .pub.

• La clave privada se utiliza para autenticar el cliente al clúster de HDInsight.

Creación de HDInsight usando la clave pública

Método de creación	Cómo usar la clave pública
Azure Portal	Desactive la opción Usar contraseña de inicio de sesión de clúster para SSH y, a continuación, seleccione Clave pública como el tipo de autenticación de SSH. Por último, seleccione el archivo de clave pública o pegue el contenido de texto del archivo en el campo Clave pública SSH.
Azure PowerShell	Use el parámetro -SshPublicKey del cmdlet New-AzHdinsightCluster y pase el contenido de la clave pública como una cadena.
Azure CLI	Use el parámetro --sshPublicKey del comando az hdinsight create y pase el contenido de la clave pública como una cadena.
Plantilla de Resource Manager	Para obtener un ejemplo del uso de claves SSH con una plantilla, consulte la implementación de HDInsight en Linux con una clave SSH. El elemento publicKeys en el archivo azuredeploy.json se usa para pasar las claves a Azure al crear el clúster.

Autenticación: contraseña

Las cuentas SSH se pueden proteger mediante una contraseña. Cuando se conecte a HDInsight usando SSH, se le pedirá que escriba la contraseña.

Creación de HDInsight usando una contraseña

Método de creación	Cómo especificar la contraseña
Azure Portal	De forma predeterminada, la cuenta de usuario SSH tiene la misma contraseña que la cuenta de inicio de sesión de clúster. Para usar una contraseña diferente, desactive la opción Uso de la contraseña de inicio de sesión del clúster para SSH y, a continuación, escriba la contraseña en el campo Contraseña SSH.
Azure PowerShell	Use el parámetro --SshCredential del cmdlet New-AzHdinsightCluster y pase un objeto PSCredential que contenga el nombre de cuenta de usuario SSH y la contraseña.
Azure CLI	Use el parámetro --ssh-password del comando az hdinsight create y proporcione el valor de contraseña.
Plantilla de Resource Manager	Para obtener un ejemplo del uso de contraseña con una plantilla, consulte la implementación de HDInsight en Linux con una contraseña SSH. El elemento linuxOperatingSystemProfile en el archivo azuredeploy.json se usa para pasar el nombre de cuenta de SSH y la contraseña a Azure al crear el clúster.

Cambio de contraseña de SSH

Para información acerca de cómo cambiar la contraseña de cuenta de usuario SSH, consulte la sección Cambio de contraseñas del documento sobre administración de HDInsight.

Autenticación de HDInsight unido a un dominio

Si está usando un clúster de HDInsight unido a un dominio, tiene que utilizar el comando kinit después de conectarse con el usuario local de SSH. Este comando le pide un usuario de dominio y una contraseña y autentica la sesión con el dominio de Microsoft Entra asociado con el clúster.

También puede habilitar la autenticación Kerberos en cada nodo unido a un dominio (por ejemplo, nodo principal, nodo perimetral) para realizar un ssh mediante la cuenta de dominio. Para ello, edite el archivo de configuración de sshd:

sudo vi /etc/ssh/sshd_config

Quite los comentarios y cambie KerberosAuthentication a yes

sudo service sshd restart

Utilice el comando klist para verificar si la autenticación Kerberos se realizó correctamente.

Para más información, consulte Configuración de clústeres de HDInsight unidos a un dominio.

Conexión a nodos

Los nodos principales y el nodo perimetral (si hay alguno) son accesibles a través de Internet en los puertos 22 y 23.

• Cuando se conecte a los nodos principales, use el puerto 22 para conectarse al nodo principal primario y el puerto 23 para conectarse al nodo principal secundario. El nombre de dominio completo que se debe usar es clustername-ssh.azurehdinsight.net, donde clustername es el nombre del clúster.

  # Connect to primary head node
  # port not specified since 22 is the default
  ssh sshuser@clustername-ssh.azurehdinsight.net
  
  # Connect to secondary head node
  ssh -p 23 sshuser@clustername-ssh.azurehdinsight.net
  

• Al conectarse al nodo perimetral, utilice el puerto 22. El nombre de dominio completo es edgenodename.clustername-ssh.azurehdinsight.net, donde edgenodename es el nombre que proporcionó al crear el nodo perimetral. clustername es el nombre del clúster.

  # Connect to edge node
  ssh sshuser@edgnodename.clustername-ssh.azurehdinsight.net
  

Una vez conectado, el símbolo del sistema cambia para indicar el nombre de usuario SSH y el nodo al que está conectado. Por ejemplo, cuando se conecta al nodo principal primario como sshuser, el símbolo del sistema es sshuser@<active-headnode-name>:~$.

Conexión a los nodos de Apache Zookeeper y de trabajo

Los nodos de trabajo y los nodos de Zookeeper no son directamente accesibles desde Internet. Solo se puede acceder a ellos desde los nodos principales y perimetrales del clúster. Estos son los pasos generales para conectarse a otros nodos:

1. Use SSH para conectarse al nodo principal o perimetral:

   ssh sshuser@myedge.mycluster-ssh.azurehdinsight.net
   

2. En la conexión SSH con el nodo principal o perimetral, use el comando ssh para conectarse a un nodo de trabajador en el clúster:

   ssh sshuser@wn0-myhdi
   

   Para recuperar una lista de los nombres de nodos, consulte el documento Administración de HDInsight con la API REST de Apache Ambari.

Si la cuenta SSH se protege utilizando un contraseña, escriba la contraseña al conectarse.

Si la cuenta SSH se protege utilizando claves SSH, asegúrese de que el reenvío de SSH está habilitado en el cliente.

Configuración del reenvío del agente SSH

1. Abra ~/.ssh/configcon un editor de texto. Si este archivo no existe, puede crearlo si escribe touch ~/.ssh/config en la línea de comandos.

2. Agregue al archivo config el texto siguiente.

   Host <edgenodename>.<clustername>-ssh.azurehdinsight.net
       ForwardAgent yes
   

   Reemplace la información de Host con la dirección del nodo al que se conecta a través de SSH. El ejemplo anterior utiliza el nodo perimetral. Esta entrada configura el reenvío del agente SSH para el nodo especificado.

3. Use el siguiente comando desde el terminal para probar el desvío del agente SSH:

   echo "$SSH_AUTH_SOCK"
   

   Este comando devuelve información similar al texto siguiente:

   /tmp/ssh-rfSUL1ldCldQ/agent.1792
   

   Si no se devuelve nada, ssh-agent no se está ejecutando.

4. Una vez que haya comprobado que ssh-agent está en ejecución, use lo siguiente para agregar la clave privada SSH al agente:

   ssh-add ~/.ssh/id_rsa
   

   Si la clave privada está almacenada en un archivo distinto, reemplace ~/.ssh/id_rsa por la ruta de acceso al archivo.

5. Conecte con el nodo perimetral o nodos principales del clúster usando SSH. A continuación, use el comando SSH para conectarse a un nodo de trabajo o de zookeeper. La conexión se establece mediante la clave reenviada.

Pasos siguientes

• Uso de la tunelización de SSH con HDInsight
• Uso de nodos perimetrales en HDInsight
• Uso de SCP con HDInsight