Hantera Apache Hadoop-kluster i HDInsight med hjälp av Azure-portalen

  • Artikel

Med Hjälp av Azure-portalen kan du hantera Apache Hadoop-kluster i Azure HDInsight. Använd flikväljaren för information om hur du hanterar Hadoop-kluster i HDInsight med hjälp av andra verktyg.

Förutsättningar

Ett befintligt Apache Hadoop-kluster i HDInsight. Se Skapa Linux-baserade kluster i HDInsight med hjälp av Azure-portalen.

Komma igång

Logga in på https://portal.azure.com.

Lista och visa kluster

På sidan HDInsight-kluster visas dina befintliga kluster. Från portalen:

  1. Välj Alla tjänster på den vänstra menyn.
  2. Välj HDInsight-kluster under ANALYTICS.

Startsida för kluster

Välj klusternamnet på sidan HDInsight-kluster. Då öppnas översiktsvyn, som ser ut ungefär som i följande bild:

Azure portal HDInsight cluster essentials.

Översta menyn:

Objekt beskrivning
Flytta Flyttar klustret till en annan resursgrupp eller till en annan prenumeration.
Delete Tar bort klustret.
Uppdatera Uppdaterar vyn.

Vänster meny:

  • Menyn längst upp till vänster

    Objekt beskrivning
    Översikt Innehåller allmän information för klustret.
    Aktivitetslogg Visa och fråga aktivitetsloggar.
    Åtkomstkontroll (IAM) Använd rolltilldelningar. Se Tilldela Azure-roller för att hantera åtkomst till dina Azure-prenumerationsresurser.
    Taggar Gör att du kan ange nyckel/värde-par för att definiera en anpassad taxonomi för dina molntjänster. Du kan till exempel skapa en nyckel med namnet project och sedan använda ett gemensamt värde för alla tjänster som är associerade med ett visst projekt.
    Diagnostisera och lösa problem Visa felsökningsinformation.
    Snabbstart Visar information som hjälper dig att komma igång med HDInsight.
    Verktyg Hjälpinformation för HDInsight-relaterade verktyg.

  • Inställningar meny

    Objekt beskrivning
    Klusterstorlek Kontrollera, öka och minska antalet klusterarbetarenoder. Se Skala kluster.
    Kvotgränser Visa de använda och tillgängliga kärnorna för din prenumeration.
    SSH + klusterinloggning Visar anvisningarna för att ansluta till klustret med hjälp av SSH-anslutning (Secure Shell). Mer information finns i Use SSH with HDInsight (Använda SSH med HDInsight).
    Data Lake Storage Gen1 Konfigurera åtkomst till Data Lake Storage Gen1. Se Snabbstart: Konfigurera kluster i HDInsight.
    Lagringskonton Visa lagringskontona och nycklarna. Lagringskontona konfigureras när klustret skapas.
    Appar Lägg till/ta bort HDInsight-program. Se Installera anpassade HDInsight-program.
    Skriptåtgärder Kör Bash-skript i klustret. Se Anpassa Linux-baserade HDInsight-kluster med hjälp av skriptåtgärd.
    Externa metastores Visa Apache Hive- och Apache Oozie-metaarkiven. Metaarkiven kan bara konfigureras när klustret skapas.
    HDInsight-partner Lägg till/ta bort den aktuella HDInsight-partnern.
    Egenskaper Visa klusteregenskaperna.
    Lås Lägg till ett lås för att förhindra att klustret ändras eller tas bort.
    Exportera mall Visa och exportera Azure Resource Manager-mallen för klustret. För närvarande kan du bara exportera det beroende Azure-lagringskontot. Se Skapa Linux-baserade Apache Hadoop-kluster i HDInsight med hjälp av Azure Resource Manager-mallar.

  • Övervakningsmenyn

    Objekt beskrivning
    Aviseringar Hantera aviseringar och åtgärder.
    Mått Övervaka klustermåtten i Azure Monitor-loggarna.
    Diagnosinställningar Inställningar om var diagnostikmåtten ska lagras.
    Azure Monitor Övervaka klustret i Azure Monitor.

  • Support + felsökningsmeny

    Objekt beskrivning
    Resurshälsa Se Översikt över Azure-resurshälsa.
    Ny supportbegäran Gör att du kan skapa ett supportärende med Microsoft-support.

Klusteregenskaper

Välj Egenskaper under Inställningarpå startsidan för klustret.

Objekt beskrivning
VÄRDDATORNAMN Klusternamn.
KLUSTER-URL URL:en för Ambari-webbgränssnittet.
Privat slutpunkt Den privata slutpunkten för klustret.
Secure Shell (SSH) Användarnamnet och värdnamnet som ska användas vid åtkomst till klustret via SSH.
STATUS Något av: Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleteeting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued eller ClusterCustomization.
REGION Azure-plats. En lista över Azure-platser som stöds finns i listrutan Region i HDInsight-priser.
SKAPAD DATUM Det datum då klustret distribuerades.
OPERATIVSYSTEM Antingen Windows eller Linux.
TYP Hadoop, HBase, Spark.
Version Se HDInsight-versioner.
Lägsta TLS-version TLS-versionen.
PRENUMERATION Prenumerationsnamn.
STANDARDDATAKÄLLA Standardklusterfilsystemet.
Storlekar på arbetsnoder Den valda VM-storleken för arbetsnoderna.
Storlek på huvudnod Den valda VM-storleken för huvudnoderna.
Virtuellt nätverk Namnet på det virtuella nätverket, som klustret distribueras, om ett har valts vid distributionstillfället.

Flytta kluster

Du kan flytta ett HDInsight-kluster till en annan Azure-resursgrupp eller en annan prenumeration.

Från startsidan för klustret:

  1. Välj Flytta på den översta menyn.
  2. Välj Flytta till en annan resursgrupp eller Flytta till en annan prenumeration.
  3. Följ anvisningarna från den nya sidan.

Ta bort kluster

Om du tar bort ett kluster tas inte standardlagringskontot eller några länkade lagringskonton bort. Du kan återskapa klustret med samma lagringskonton och samma metaarkiv. Vi rekommenderar att du använder en ny standardblobcontainer när du återskapar klustret.

Från startsidan för klustret:

  1. Välj Ta bort i den översta menyn.
  2. Följ anvisningarna från den nya sidan.

Se även Pausa/stänga av kluster.

Lägga till fler lagringskonton

Du kan lägga till ytterligare Azure Storage-konton och Azure Data Lake Storage-konton när ett kluster har skapats. Mer information finns i Add additional storage accounts to HDInsight (Lägga till fler lagringskonton till HDInsight).

Skala kluster

Med funktionen för klusterskalning kan du ändra antalet arbetsnoder som används av ett Azure HDInsight-kluster, utan att behöva återskapa klustret.

Mer information finns i Skala HDInsight-kluster .

Pausa/stänga av kluster

De flesta Hadoop-jobb är batchjobb som bara körs ibland. För de flesta Hadoop-kluster finns det stora tidsperioder som klustret inte används för bearbetning. Med HDInsight lagras dina data i Azure Storage, så att du på ett säkert sätt kan ta bort ett kluster när de inte används. Du debiteras också för ett HDInsight-kluster, även om det inte används. Eftersom avgifterna för klustret är många gånger högre än avgifterna för lagring är det ekonomiskt klokt att ta bort kluster när de inte används.

Det finns många sätt att programmera processen:

Prisinformationen finns i HDInsight-priser. Information om hur du tar bort ett kluster från portalen finns i Ta bort kluster

Uppgradera kluster

Se Uppgradera HDInsight-kluster till en nyare version.

Öppna Apache Ambari-webbgränssnittet

Ambari tillhandahåller ett intuitivt, lättanvänt webbgränssnitt för Hadoop-hantering som backas upp av dess RESTful-API:er. Ambari gör det möjligt för systemadministratörer att hantera och övervaka Hadoop-kluster.

Från startsidan för klustret:

  1. Välj Klusterinstrumentpaneler.

    HDInsight Apache Hadoop cluster menu.

  2. Välj Ambari home från den nya sidan.

  3. Ange klustrets användarnamn och lösenord. Standardklusteranvändarnamnet är administratör.

Mer information finns i Hantera HDInsight-kluster med hjälp av Apache Ambari Web UI.

Ändra lösenord

Ett HDInsight-kluster kan ha två användarkonton. HDInsight-klustrets användarkonto (HTTP-användarkonto) och SSH-användarkontot skapas under skapandeprocessen. Du kan använda portalen för att ändra lösenordet för klustrets användarkonto och skriptåtgärder för att ändra SSH-användarkontot.

Ändra lösenordet för klusteranvändaren

Kommentar

Om du ändrar lösenordet för klusteranvändare (administratör) kan skriptåtgärder köras mot det här klustret. Om du har några bestående skriptåtgärder som riktar sig mot arbetsnoder kan dessa skript misslyckas när du lägger till noder i klustret genom storleksändringsåtgärder. Mer information om skriptåtgärder finns i Anpassa HDInsight-kluster med hjälp av skriptåtgärder.

Från startsidan för klustret:

  1. Välj SSH + Klusterinloggning under Inställningar.
  2. Välj Återställ autentiseringsuppgifter.
  3. Ange och bekräfta nytt lösenord i textrutorna.
  4. Välj OK.

Lösenordet ändras på alla noder i klustret.

Ändra SSH-användarlösenordet eller den offentliga nyckeln

  1. Spara följande text som en fil med namnet changecredentials.sh med hjälp av en textredigerare.

    Viktigt!

    Du måste använda en redigerare som använder LF som radslut. Om redigeraren använder CRLF fungerar inte skriptet.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Ladda upp filen till en lagringsplats som kan nås från HDInsight med hjälp av en HTTP- eller HTTPS-adress. Till exempel ett offentligt filarkiv som OneDrive eller Azure Blob Storage. Spara URI:n (HTTP- eller HTTPS-adressen) i filen eftersom den här URI:n behövs i nästa steg.

  3. På startsidan för klustret väljer du Skriptåtgärder under Inställningar.

  4. På sidan Skriptåtgärder väljer du Skicka ny.

  5. På sidan Skicka skriptåtgärd anger du följande information:

Kommentar

SSH-lösenord får inte innehålla följande tecken:

" ' ` / \ < % ~ | $ & !

Fält Värde
Typ av skript Välj – Anpassad i listrutan.
Name "Ändra ssh-autentiseringsuppgifter"
Bash-skript-URI URI:n till changecredentials.sh-filen
Nodtyper: (Head, Worker, Nimbus, Supervisor eller Zookeeper.) √ för alla angivna nodtyper
Parametrar Ange SSH-användarnamnet och sedan det nya lösenordet. Det bör finnas ett blanksteg mellan användarnamnet och lösenordet.
Spara den här skriptåtgärden ... Lämna fältet avmarkerat.
  1. Välj Skapa för att tillämpa skriptet. När skriptet är klart kan du ansluta till klustret med hjälp av SSH med de nya autentiseringsuppgifterna.

Hitta prenumerations-ID:t

Varje kluster är kopplat till en Azure-prenumeration. Azure-prenumerations-ID:t visas på startsidan för klustret.

Hitta resursgruppen

I Azure Resource Manager-läget skapas varje HDInsight-kluster med en Azure Resource Manager-grupp. Resource Manager-gruppen visas från startsidan för klustret.

Hitta lagringskontona

HDInsight-kluster använder antingen ett Azure Storage-konto eller Azure Data Lake Storage för att lagra data. Varje HDInsight-kluster kan ha ett standardlagringskonto och ett antal länkade lagringskonton. Välj Lagringskonton på startsidan för klustret under Inställningar om du vill visa en lista över lagringskonton.

Övervaka jobb

Se Hantera HDInsight-kluster med hjälp av Apache Ambari-webbgränssnittet.

Klusterstorlek

Panelen Klusterstorlek från startsidan för klustret visar antalet kärnor som allokerats till klustret och hur de allokeras för noderna i det här klustret.

Viktigt!

Om du vill övervaka de tjänster som tillhandahålls av HDInsight-klustret måste du använda Ambari Web eller Ambari REST API. Mer information om hur du använder Ambari finns i Hantera HDInsight-kluster med Apache Ambari

Anslut till ett kluster

Nästa steg

I den här artikeln har du lärt dig några grundläggande administrativa funktioner. Mer information finns i följande artiklar: