Administración de clústeres de Apache Hadoop en HDInsight mediante Azure Portal

  • Artículo

En Azure Portal, puede administrar clústeres de Apache Hadoop en Azure HDInsight. Use el selector de pestañas para obtener información sobre cómo administrar clústeres de Hadoop en HDInsight con otras herramientas.

Requisitos previos

Un clúster existente de Apache Hadoop en HDInsight. Consulte Crear clústeres basados en Linux en HDInsight con Azure Portal.

Introducción

Inicie sesión en https://portal.azure.com.

Enumeración y visualización de clústeres

En la página de clústeres de HDInsight se muestran los clústeres existentes. En el portal:

  1. En el menú izquierdo, seleccione Todos los servicios.
  2. Seleccione Clústeres de HDInsight en ANALYTICS.

Página principal del clúster

Seleccione el nombre del clúster en la página Clústeres de HDInsight. Se abre la vista de Información general, que se parece a la siguiente imagen:

Azure portal HDInsight cluster essentials.

Menú superior:

Elemento Descripción
Move mueve el clúster a otro grupo de recursos o a otra suscripción.
Eliminar elimina el clúster.
Actualizar Actualiza la vista.

Menú de la izquierda:

  • Menú de la parte superior izquierda

    Elemento Descripción
    Información general proporciona información general del clúster.
    Registro de actividades muestra y consulta los registros de actividad.
    Control de acceso (IAM) usa asignaciones de roles. Consulte Asignación de roles de Azure mediante Azure Portal.
    Etiquetas las etiquetas permiten establecer pares clave-valor para definir una taxonomía personalizada de Cloud Services. Por ejemplo, puede crear una clave denominada proyectoy luego usar un valor común para todos los servicios asociados a un proyecto específico.
    Diagnosticar y solucionar problemas muestra información de solución de problemas.
    Guía de inicio rápido muestra información que lo ayuda a empezar a usar HDInsight.
    Herramientas información de ayuda para herramientas relacionadas con HDInsight.

  • Menú Configuración

    Elemento Descripción
    Tamaño del clúster comprueba, aumenta o reduce el número de nodos de trabajo del clúster. Consulte Escalado de clústeres.
    Límites de cuota muestra los núcleos utilizados y disponibles de la suscripción.
    SSH e inicio de sesión del clúster muestra las instrucciones para conectarse al clúster mediante la conexión de Secure Shell (SSH). Para más información, consulte Uso SSH con HDInsight.
    Data Lake Storage Gen1 configura el acceso a Data Lake Storage Gen1. Consulte Quickstart: Configuración de clústeres en HDInsight.
    Cuentas de almacenamiento muestra las cuentas de almacenamiento y las claves. Las cuentas de almacenamiento se configuran durante el proceso de creación del clúster.
    APLICACIONES agrega o quita aplicaciones de HDInsight. Vea Instalación de aplicaciones de HDInsight personalizadas.
    Acciones de script ejecuta scripts de Bash en el clúster. Consulte Personalización de clústeres de HDInsight mediante la acción de scripts (Linux).
    Tiendas de metadatos externas consulte las tiendas de metadatos de Apache Hive y Apache Oozie. Las tiendas de metadatos solo pueden configurarse durante el proceso de creación del clúster.
    Asociado de HDInsight agrega o quita el asociado de HDInsight actual.
    Propiedades vea las propiedades del clúster.
    Bloqueos agrega bloqueos para evitar la modificación o eliminación del clúster.
    Exportación de la plantilla muestra y exporta la plantilla de Azure Resource Manager para el clúster. Actualmente, solo se puede exportar la cuenta de Azure Storage dependiente. Consulte Creación de clústeres de Apache Hadoop basados en Linux en HDInsight con plantillas de Azure Resource Manager.

  • Menú Supervisión

    Elemento Descripción
    Alertas administra las alertas y acciones.
    Métricas Supervise las métricas del clúster en los registros de Azure Monitor.
    Configuración de diagnóstico configuración donde almacenar las métricas de diagnóstico.
    Azure Monitor Supervise el clúster en Azure Monitor

  • Menú Soporte y solución de problemas

    Elemento Descripción
    Estado de los recursos consulte Introducción a Azure Resource Health.
    Nueva solicitud de soporte permite crear una incidencia de soporte técnico con el soporte técnico de Microsoft.

Propiedades de clúster

En la página principal del clúster, en Configuración, seleccione Propiedades.

Elemento Descripción
NOMBRE DE HOST Nombre del clúster.
DIRECCIÓN URL DEL CLÚSTER La dirección URL para la interfaz web de Ambari.
Punto de conexión privado El punto de conexión privado del clúster.
Secure Shell (SSH) el nombre de usuario y el nombre de host que se usarán para acceder al clúster mediante SSH.
STATUS Uno de: Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued o ClusterCustomization.
REGIÓN ubicación de Azure. Para ver una lista de ubicaciones de Azure admitidas, consulte el cuadro de lista desplegable Región en Precios de HDInsight.
FECHA DE CREACIÓN la fecha en que se implementó el clúster.
SISTEMA OPERATIVO Windows o Linux.
TYPE Hadoop, HBase, Spark.
Versión Consulte Versiones de HDInsight.
Versión de TLS mínima Versión de TLS.
SUSCRIPCIÓN el nombre de la suscripción.
ORIGEN DE DATOS PREDETERMINADO el sistema de archivos predeterminado del clúster.
Tamaño de los nodos de trabajo el tamaño de máquina virtual seleccionado de los nodos de trabajo.
Tamaño del nodo principal el tamaño de máquina virtual seleccionado de los nodos principales.
Virtual network El nombre de la red virtual en la que se implementa el clúster (en caso de haber seleccionado uno durante la implementación).

Mover clústeres

Puede mover un clúster de HDInsight a otro grupo de recursos de Azure u otra suscripción.

En la página principal del clúster:

  1. Seleccione Mover en el menú superior.
  2. Seleccione Mover a otro grupo de recursos o Mover a otra suscripción.
  3. Siga las instrucciones de la nueva página.

Eliminación de clústeres

Al eliminar un clúster, no se elimina la cuenta de almacenamiento predeterminada ni otras cuentas de almacenamiento vinculadas. Puede volver a crear el clúster con las mismas cuentas de almacenamiento y las mismas tiendas de metadatos. Se recomienda usar un nuevo contenedor de blobs predeterminado cuando vuelva a crear el clúster.

En la página principal del clúster:

  1. Seleccione Eliminar en el menú.
  2. Siga las instrucciones de la nueva página.

Vea también Pausa o apagado de clústeres.

Adición de cuentas de almacenamiento adicionales

Después de crear el clúster, puede agregar más cuentas de Azure Storage y cuentas de Azure Data Lake Storage. Para más información, consulte Adición de más cuentas de almacenamiento a HDInsight.

Escalado de clústeres

La característica de escalado de clústeres permite cambiar el número de nodos de trabajo que usa un clúster de Azure HDInsight sin necesidad de volver a crear el clúster.

Consulte Escalabilidad de clústeres de HDInsight para tener información completa.

Pausa o apagado de clústeres

La mayoría de los trabajos de Hadoop son trabajos por lotes que se ejecutan solo ocasionalmente. En la mayoría de los clústeres de Hadoop, hay grandes períodos de tiempo en los que el clúster no se usa para el procesamiento. Con HDInsight, los datos se almacenan en Azure Storage, por lo que puede eliminar un clúster de forma segura cuando no se esté usando. Los clústeres de HDInsight se cobran aunque no se estén usando. Como en muchas ocasiones los cargos por el clúster son mucho más elevados que los cargos por el almacenamiento, desde el punto de vista económico tiene sentido eliminar clústeres cuando no se usen.

Hay muchas maneras de programar el proceso:

Para información sobre precios, vea Precios de HDInsight. Para eliminar un clúster desde el portal, vea Eliminación de clústeres

Actualización de clústeres

Vea Actualización del clúster de HDInsight a una versión más reciente.

Apertura de la interfaz de usuario web de Apache Ambari

Ambari proporciona una intuitiva y sencilla interfaz de usuario web de administración de Hadoop respaldada por sus API RESTful. Ambari permite a los administradores de sistema administrar y supervisar clústeres de Hadoop.

En la página principal del clúster:

  1. Seleccione Paneles de clúster.

    HDInsight Apache Hadoop cluster menu.

  2. Seleccione Inicio de Ambari en la nueva página.

  3. Escriba el nombre de usuario y la contraseña del clúster. El nombre de usuario predeterminado del clúster es admin.

Para obtener más información, consulte Administración de clústeres de HDInsight con la interfaz de usuario web de Apache Ambari.

Cambio de contraseñas

Un clúster de HDInsight puede tener dos cuentas de usuario. La cuenta de usuario del clúster de HDInsight (cuenta de usuario HTTP) y la cuenta de usuario de SSH se crean durante el proceso de creación. Puede usar el portal para cambiar la contraseña de la cuenta de usuario del clúster, y las acciones de script para cambiar la cuenta de usuario de SSH.

Cambio de la contraseña de usuario del clúster

Nota

El cambio de la contraseña de usuario (admin) del clúster puede provocar que las acciones de script que se ejecutan en este clúster no lo hagan correctamente. Si tiene cualquier acción de script persistente cuyo destino son nodos de trabajo, estos scripts pueden producir un error al agregar nodos al clúster a través de operaciones de cambio de tamaño. Para más información sobre acciones de script, consulte Personalización de clústeres de HDInsight mediante la acción de scripts (Linux).

En la página principal del clúster:

  1. Seleccione SSH + Cluster login (SSH e inicio de sesión del clúster) en Configuración.
  2. Seleccione Restablecer credenciales.
  3. Escriba y confirme la nueva contraseña en los cuadros de texto.
  4. Seleccione Aceptar.

La contraseña se cambia en todos los nodos del clúster.

Cambio de la contraseña de usuario o la clave pública de SSH

  1. Con un editor de texto, guarde el texto siguiente como un archivo llamado changecredentials.sh.

    Importante

    Debe utilizar un editor que use LF como final de líneas. Si el editor utiliza CRLF, el script no funcionará.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Cargue el archivo en una ubicación de almacenamiento a la que pueda accederse desde HDInsight con una dirección HTTP o HTTPS. Por ejemplo, un almacén de archivos público como OneDrive o Almacenamiento de blobs de Azure. Guarde el identificador URI (dirección HTTP o HTTPS) en el archivo, ya que este URI se necesitará en el paso siguiente.

  3. En la página principal del clúster, seleccione Acciones de script en Configuración.

  4. En la página Acciones de script, seleccione Enviar nuevo.

  5. En la página Enviar acción de script, escriba la siguiente información:

Nota

Las contraseñas SSH no pueden contener los siguientes caracteres:

" ' ` / \ < % ~ | $ & !

Campo Value
Tipo de script Seleccione - Personalizado en la lista desplegable.
Nombre "Change ssh credentials"
URI de script de Bash El URI para el archivo changecredentials.sh
Tipos de nodo: (principal, de trabajo, nimbus, supervisor, zookeeper, etc.) ✓ para todos los tipos de nodo indicados
Parámetros Escriba el nombre de usuario de SSH y la contraseña nueva. Debe haber un espacio entre el nombre de usuario y la contraseña.
Conservar esta acción de script... Deje este campo en sin activar.
  1. Seleccione Crear para aplicar el script. Una vez que finalice el script, puede conectarse al clúster mediante SSH con las nuevas credenciales.

Búsqueda del identificador de la suscripción

Cada clúster está asociado a una suscripción de Azure. El identificador de la suscripción de Azure es visible desde la página principal del clúster.

Búsqueda del grupo de recursos

En el modo de Azure Resource Manager, cada clúster de HDInsight se crea con un grupo de Azure Resource Manager. El grupo de Resource Manager es visible desde la página principal del clúster.

Búsqueda de las cuentas de almacenamiento

Los clústeres de HDInsight usan una cuenta de Azure Storage o Azure Data Lake Storage para almacenar los datos. Cada clúster de HDInsight puede tener una cuenta de almacenamiento predeterminada y una serie de cuentas de almacenamiento vinculadas. Para enumerar las cuentas de almacenamiento, en la página principal del clúster, en Configuración, seleccione Cuentas de almacenamiento.

Supervisión de trabajos

Consulte Administración de clústeres de HDInsight con la interfaz de usuario web de Apache Ambari.

Tamaño del clúster

El icono Tamaño del clúster de la página principal del clúster muestra el número de núcleos asignados a este clúster y cómo se asignan a los nodos de este clúster.

Importante

Para supervisar los servicios que proporciona el clúster de HDInsight, debe usar la web de Ambari o la API de REST de Ambari. Para más información sobre el uso de Ambari, consulte Administración de clústeres de HDInsight con Apache Ambari.

Conectarse a un clúster

Pasos siguientes

En este artículo ha aprendido algunas funciones administrativas básicas. Para más información, vea los siguientes artículos: