Gestire cluster Apache Hadoop in HDInsight tramite il portale di Azure

  • Articolo

Il portale di Azure consente di gestire cluster Apache Hadoop in Azure HDInsight. Usare il selettore di schede per informazioni sulla gestione di cluster Hadoop in HDInsight con altri strumenti.

Prerequisiti

Un cluster Apache Hadoop esistente in HDInsight. Vedere Creare cluster basati su Linux in HDInsight tramite il portale di Azure.

Introduzione

Accedere a https://portal.azure.com.

Elencare e visualizzare i cluster

Nella pagina Cluster HDInsight sono elencati i cluster esistenti. Dal portale:

  1. Selezionare Tutti i servizi dal menu a sinistra.
  2. Selezionare Cluster HDInsight in ANALYTICS.

Home page del cluster

Selezionare il nome del cluster nella pagina Cluster HDInsight. Verrà visualizzata la visualizzazione Panoramica , simile all'immagine seguente:

Azure portal HDInsight cluster essentials.

Menu in alto:

Articolo Descrizione
Sposta sposta il cluster in una sottoscrizione o un gruppo di risorse diverso.
Elimina elimina il cluster.
Refresh Aggiorna la vista.

Menu a sinistra:

  • Menu in alto a sinistra

    Articolo Descrizione
    Panoramica presenta informazioni generali relative al cluster.
    Log attività visualizza i log attività e consente di eseguire query.
    Controllo di accesso (IAM) usa le assegnazioni di ruolo. Vedere Assegnare ruoli di Azure per gestire l'accesso alle risorse della sottoscrizione di Azure.
    Tag consente di impostare coppie chiave/valore per definire una tassonomia personalizzata dei servizi cloud. Ad esempio, è possibile creare una chiave denominata progettoe usare un valore comune per tutti i servizi associati a un progetto specifico.
    Diagnostica e risoluzione dei problemi visualizza informazioni sulla risoluzione dei problemi.
    Avvio rapido visualizza informazioni utili per iniziare a usare HDInsight.
    Strumenti informazioni della Guida per gli strumenti correlati a HDInsight.

  • Menu Impostazioni

    Articolo Descrizione
    Dimensioni del cluster consente di verificare, aumentare e ridurre il numero di nodi di ruolo di lavoro del cluster. Vedere Ridimensionare i cluster.
    Limiti di quota visualizza i core usati e disponibili per la sottoscrizione.
    SSH e accesso al cluster visualizza le istruzioni per la connessione al cluster tramite la connessione Secure Shell (SSH). Per altre informazioni, vedere l'articolo su come usare SSH con HDInsight.
    Data Lake Storage Gen1 consente di configurare l'accesso a Data Lake Storage Gen1. Vedere Guida introduttiva: impostare i cluster in HDInsight.
    Account di archiviazione visualizza gli account di archiviazione e le chiavi. Gli account di archiviazione vengono configurati durante il processo di creazione dei cluster.
    Applicazioni consente di aggiungere/rimuovere applicazioni HDInsight. Vedere Installare applicazioni HDInsight personalizzate.
    Azioni script esegue script Bash nel cluster. Vedere Personalizzare cluster HDInsight basati su Linux tramite Azione script.
    Metastore esterni visualizza i metastore Apache Hive e Apache Oozie. I metastore possono essere configurati solo durante il processo di creazione dei cluster.
    Partner HDInsight consente di aggiungere/rimuovere il partner HDInsight corrente.
    Proprietà visualizza le proprietà del cluster.
    Locks aggiunge un blocco per impedire la modifica o l'eliminazione del cluster.
    Esportare il modello visualizza ed esporta il modello di Azure Resource Manager per il cluster. Attualmente è possibile esportare solo l'account di archiviazione di Azure dipendente. Vedere Creare cluster Apache Hadoop basati su Linux in HDInsight tramite modelli di Azure Resource Manager.

  • Menu Monitoraggio

    Articolo Descrizione
    Avvisi gestisce gli avvisi e le azioni.
    Metrica Monitorare le metriche del cluster nei log di Monitoraggio di Azure.
    Impostazioni di diagnosi impostazioni per la posizione di archiviazione delle metriche di diagnostica.
    Monitoraggio di Azure Monitorare il cluster in Monitoraggio di Azure.

  • Menu Supporto e risoluzione dei problemi

    Articolo Descrizione
    Resource Health vedere Panoramica di Integrità risorse di Azure.
    Nuova richiesta di supporto consente di creare un ticket di supporto con il supporto Microsoft.

Proprietà del cluster

Dalla home page del cluster, selezionare Proprietà in Impostazioni.

Articolo Descrizione
NOME HOST Nome del cluster.
CLUSTER URL URL per l'interfaccia Web Ambari.
Endpoint privato Endpoint privato per il cluster.
Secure shell (SSH) nome utente e nome host da usare per l'accesso al cluster tramite SSH.
STATO Uno di: Aborted, Accepted, Cluster Archiviazione Provisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Delete, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued o ClusterCustomization.
REGION località di Azure. Per informazioni sulle località di Azure supportate, vedere l'elenco a discesa Area in Prezzi per HDInsight.
DATA CREAZIONE data di distribuzione del cluster.
SISTEMA OPERATIVO può essere Windows o Linux.
TIPO Hadoop, HBase, Spark.
Versione Vedere Versioni di HDInsight.
Versione minima TLS Versione tls.
SOTTOSCRIZIONE nome della sottoscrizione.
ORIGINE DATI PREDEFINITA file system predefinito del cluster.
Dimensioni dei nodi di lavoro dimensioni selezionate dei nodi di lavoro nella macchina virtuale.
Dimensioni nodo head dimensioni selezionate dei nodi head nella macchina virtuale.
Rete virtuale Nome del Rete virtuale, distribuito dal cluster, se selezionato in fase di distribuzione.

Spostare cluster

È possibile spostare un cluster HDInsight in un altro gruppo di risorse di Azure o in un'altra sottoscrizione.

Dalla home page del cluster:

  1. Selezionare Sposta dal menu in alto.
  2. Selezionare Sposta in un altro gruppo di risorse o Sposta in un'altra sottoscrizione.
  3. Seguire le istruzioni della nuova pagina.

Eliminare cluster

L'eliminazione di un cluster non elimina l'account di archiviazione predefinito né gli account di archiviazione collegati. È possibile ricreare il cluster usando gli stessi account di archiviazione e gli stessi metastore. È consigliabile usare un nuovo contenitore BLOB predefinito quando si ricrea il cluster.

Dalla home page del cluster:

  1. Selezionare Elimina nel menu in alto.
  2. Seguire le istruzioni della nuova pagina.

Vedere anche Sospendere/Arrestare i cluster.

Aggiungere altri account di archiviazione

Dopo aver creato un cluster, è possibile aggiungere altri account di archiviazione di Azure e Azure Data Lake Storage. Per altre informazioni, vedere Aggiungere altri account di archiviazione a HDInsight.

Ridimensionare i cluster

La funzionalità di scalabilità del cluster consente di modificare il numero di nodi del ruolo di lavoro usati da un cluster Azure HDInsight senza dover ricreare il cluster.

Per informazioni complete, vedere Ridimensionare i cluster HDInsight.

Sospendere/Arrestare i cluster

La maggior parte dei processi Hadoop sono processi batch che vengono eseguito solo occasionalmente. Per la maggior parte dei cluster Hadoop, esistono lunghi periodi di tempo in cui il cluster non viene usato per l'elaborazione. Con HDInsight, i dati vengono archiviati in Archiviazione di Azure ed è possibile eliminare tranquillamente un cluster quando non è in uso. Vengono addebitati i costi anche per i cluster HDInsight che non sono in uso. Poiché i costi per il cluster sono decisamente superiori a quelli per l'archiviazione, eliminare i cluster quando non vengono usati è una scelta economicamente conveniente.

Questo processo può essere programmato in molti modi:

Per informazioni sui prezzi, vedere Prezzi di HDInsight. Per eliminare un cluster dal portale, vedere Eliminare cluster

Aggiornare i cluster

Vedere Eseguire l'aggiornamento del cluster HDInsight a una versione più recente.

Aprire l'interfaccia utente Web di Apache Ambari

Ambari offre un'interfaccia utente Web di gestione di Hadoop intuitiva e semplice da usare supportata dalle API RESTful. Con Ambari agli amministratori di sistema possono gestire e monitorare i cluster Hadoop.

Dalla home page del cluster:

  1. Selezionare Dashboard cluster.

    HDInsight Apache Hadoop cluster menu.

  2. Selezionare Ambari home dalla nuova pagina.

  3. Immettere il nome utente e la password del cluster. Il nome utente predefinito del cluster è admin.

Per altre informazioni, vedere Gestire i cluster HDInsight usando l'interfaccia utente Web di Apache Ambari.

Modificare le password

Per un cluster HDInsight possono esistere due account utente. L'account utente del cluster HDInsight (account utente HTTP) e l'account utente SSH vengono creati durante il processo di creazione. È possibile usare il portale per modificare la password dell'account utente del cluster e azioni script per modificare l'account utente SSH.

Modificare la password utente del cluster

Nota

Se si modifica la password utente del cluster (amministratore), le azioni script eseguite sul cluster potrebbero avere esito negativo. Se sono presenti azioni script persistenti che hanno come destinazione nodi di lavoro, questi script potrebbero avere esito negativo se si aggiungono nodi al cluster tramite operazioni di ridimensionamento. Per altre informazioni sulle azioni script, vedere Personalizzare cluster HDInsight basati su Linux tramite Azione script.

Dalla home page del cluster:

  1. Selezionare SSH + Account di accesso del cluster in Impostazioni.
  2. Selezionare Reimposta credenziali.
  3. Immettere e confermare una nuova password nelle caselle di testo.
  4. Seleziona OK.

La password viene modificata in tutti i nodi del cluster.

Modificare la password utente SSH o la chiave pubblica

  1. Usando un editor di testo, salvare il testo seguente come file denominato changecredentials.sh.

    Importante

    È necessario usare un editor che prevede LF come terminazione di riga. Se l'editor usa CRLF, lo script non funziona.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Caricare il file in un percorso di archiviazione a cui è possibile accedere da HDInsight con un indirizzo HTTP o HTTPS, ad esempio in un archivio di file pubblico come OneDrive o l'archiviazione BLOB di Azure. Salvare l'URI (indirizzo HTTP o HTTPS) nel file, perché sarà necessario nel passaggio successivo.

  3. Nella home page del cluster selezionare Azioni script in Impostazioni.

  4. Nella pagina Azioni script selezionare Invia nuovo.

  5. Nella pagina Invia azione script immettere le informazioni seguenti:

Nota

Le password SSH non possono contenere i caratteri seguenti:

" ' ` / \ < % ~ | $ & !

Campo valore
Tipo di script Selezionare - Custom dall'elenco a discesa.
Nome "Modificare le credenziali ssh"
URI script Bash URI del file changecredentials.sh
Tipi di nodo: (Head, Worker, Nimbus, Supervisor o Zookeeper). ✓ per tutti i tipi di nodo elencati
Parametri Immettere il nome utente SSH e la nuova password. Deve essere presente uno spazio tra il nome utente e la password.
Salvare questa azione script... Lasciare questo campo vuoto.
  1. Selezionare Crea per applicare lo script. Al termine dello script, è possibile connettersi al cluster usando SSH con le nuove credenziali.

Trovare l'ID sottoscrizione

Ogni cluster è associato a una sottoscrizione di Azure. L'ID della sottoscrizione di Azure è visibile dalla home page del cluster.

Trovare il gruppo di risorse

In modalità Azure Resource Manager ogni cluster HDInsight viene creato con un gruppo di Azure Resource Manager. Il gruppo di Resource Manager è visibile dalla home page del cluster.

Trovare gli account di archiviazione

Per archiviare i dati, i cluster HDInsight usano un account di archiviazione di Azure o Azure Data Lake Storage. Ogni cluster HDInsight può avere un account di archiviazione predefinito e un numero di account di archiviazione collegati. Per elencare gli account di archiviazione, dalla home page del cluster selezionare Account di archiviazione in Impostazioni.

Monitorare i processi

Vedere Gestire i cluster HDInsight usando l'interfaccia utente Web di Apache Ambari.

Dimensioni del cluster

Il riquadro Dimensioni cluster della home page del cluster visualizza il numero di core allocati a questo cluster e il modo in cui vengono allocati per i nodi all'interno del cluster.

Importante

Per monitorare i servizi forniti dal cluster HDInsight, è necessario utilizzare Ambari Web o l'API REST di Ambari. Per altre informazioni sull'uso di Ambari, vedere Gestire i cluster HDInsight tramite Apache Ambari

Connettersi a un cluster

Passaggi successivi

In questo articolo sono state illustrate alcune funzioni amministrative di base. Per ulteriori informazioni, vedere gli articoli seguenti: