Apache Hadoop-clusters beheren in HDInsight met behulp van Azure Portal

  • Artikel

Met behulp van Azure Portal kunt u Apache Hadoop-clusters beheren in Azure HDInsight. Gebruik de tabselector voor informatie over het beheren van Hadoop-clusters in HDInsight met behulp van andere hulpprogramma's.

Vereisten

Een bestaand Apache Hadoop-cluster in HDInsight. Zie Clusters op basis van Linux maken in HDInsight met behulp van Azure Portal.

Aan de slag

Aanmelden bij https://portal.azure.com.

Clusters weergeven en weergeven

Op de pagina HDInsight-clusters worden uw bestaande clusters weergegeven. Vanuit de portal:

  1. Selecteer Alle services in het linkermenu.
  2. Selecteer HDInsight-clusters onder ANALYTICS.

Startpagina van cluster

Selecteer de clusternaam op de pagina HDInsight-clusters. Hiermee opent u de weergave Overzicht , die er ongeveer als volgt uitziet:

Azure portal HDInsight cluster essentials.

Bovenste menu:

Item Beschrijving
Verplaatsen Hiermee verplaatst u het cluster naar een andere resourcegroep of naar een ander abonnement.
Delete Hiermee verwijdert u het cluster.
Vernieuwen Hiermee wordt de weergave vernieuwd.

Linkermenu:

  • Menu linksboven

    Item Beschrijving
    Overzicht Biedt algemene informatie voor uw cluster.
    Activiteitenlogboek Activiteitenlogboeken weergeven en er query's op uitvoeren.
    Toegangsbeheer (IAM) Gebruik roltoewijzingen. Zie Azure-rollen toewijzen om de toegang tot uw Azure-abonnementsbronnen te beheren.
    Tags Hiermee kunt u sleutel-waardeparen instellen om een aangepaste taxonomie van uw cloudservices te definiëren. U kunt bijvoorbeeld een sleutel met de naam project maken en vervolgens een gemeenschappelijke waarde gebruiken voor alle services die zijn gekoppeld aan een specifiek project.
    Problemen vaststellen en oplossen Informatie over probleemoplossing weergeven.
    Snelstart Geeft informatie weer waarmee u aan de slag kunt met HDInsight.
    Hulpprogramma's Help-informatie voor HDInsight-gerelateerde hulpprogramma's.

  • menu Instellingen

    Item Beschrijving
    Grootte van cluster Controleer, verhoog en verklein het aantal clusterwerkknooppunten. Zie Clusters schalen.
    Quotumlimieten Geef de gebruikte en beschikbare kernen voor uw abonnement weer.
    SSH en clusteraanmelding Hier ziet u de instructies voor het maken van verbinding met het cluster met behulp van een SSH-verbinding (Secure Shell). Zie SSH gebruiken met HDInsight voor meer informatie.
    Data Lake Storage Gen1 Toegang tot Data Lake Storage Gen1 configureren. Zie quickstart: Clusters instellen in HDInsight.
    Opslagaccounts Bekijk de opslagaccounts en de sleutels. De opslagaccounts worden geconfigureerd tijdens het maken van het cluster.
    Toepassingen HDInsight-toepassingen toevoegen/verwijderen. Zie Aangepaste HDInsight-toepassingen installeren.
    Scriptacties Voer Bash-scripts uit op het cluster. Zie HDInsight-clusters op basis van Linux aanpassen met scriptactie.
    Externe metastores Bekijk de Apache Hive - en Apache Oozie-metastores . De metastores kunnen alleen worden geconfigureerd tijdens het maken van het cluster.
    HDInsight-partner De huidige HDInsight-partner toevoegen/verwijderen.
    Eigenschappen Bekijk de clustereigenschappen.
    Vergrendelingen Voeg een vergrendeling toe om te voorkomen dat het cluster wordt gewijzigd of verwijderd.
    Sjabloon exporteren De Azure Resource Manager-sjabloon voor het cluster weergeven en exporteren. Op dit moment kunt u alleen het afhankelijke Azure-opslagaccount exporteren. Zie Apache Hadoop-clusters op basis van Linux maken in HDInsight met behulp van Azure Resource Manager-sjablonen.

  • Bewakingsmenu

    Item Beschrijving
    Waarschuwingen Beheer de waarschuwingen en acties.
    Metrische gegevens voor Bewaak de metrische gegevens van het cluster in Azure Monitor-logboeken.
    Diagnose-instellingen Instellingen over waar de metrische diagnosegegevens moeten worden opgeslagen.
    Azure Monitor Bewaak uw cluster in Azure Monitor.

  • Menu Ondersteuning en probleemoplossing

    Item Beschrijving
    Status van resources Zie het overzicht van De status van Azure-resources.
    Nieuwe ondersteuningsaanvraag Hiermee kunt u een ondersteuningsticket maken met Microsoft-ondersteuning.

Clustereigenschappen

Selecteer Eigenschappen op de startpagina van het cluster onder Instellingen.

Item Beschrijving
HOSTNAAM Clusternaam.
CLUSTER-URL De URL voor de Ambari-webinterface.
Privé-eindpunt Het privé-eindpunt voor het cluster.
Secure Shell (SSH) De gebruikersnaam en hostnaam die moeten worden gebruikt voor toegang tot het cluster via SSH.
STATUS Een van: Afgebroken, Geaccepteerd, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued of ClusterCustomization.
REGIO Azure-locatie. Zie de vervolgkeuzelijst Regio in HDInsight-prijzen voor een lijst met ondersteunde Azure-locaties.
AANMAAKDATUM De datum waarop het cluster is geïmplementeerd.
BESTURINGSSYSTEEM Windows of Linux.
TYPE Hadoop, HBase, Spark.
Versie Zie HDInsight-versies.
Minimale TLS-versie De TLS-versie.
ABONNEMENT Abonnementsnaam.
STANDAARDGEGEVENSBRON Het standaardbestandssysteem van het cluster.
Grootte van werkknooppunten De geselecteerde VM-grootte van de werkknooppunten.
Grootte hoofdknooppunt De geselecteerde VM-grootte van de hoofdknooppunten.
Virtueel netwerk De naam van het virtuele netwerk, dat het cluster wordt geïmplementeerd, als er een is geselecteerd tijdens de implementatie.

Clusters verplaatsen

U kunt een HDInsight-cluster verplaatsen naar een andere Azure-resourcegroep of een ander abonnement.

Op de startpagina van het cluster:

  1. Selecteer Verplaatsen in het bovenste menu.
  2. Selecteer Verplaatsen naar een andere resourcegroep of Naar een ander abonnement verplaatsen.
  3. Volg de instructies op de nieuwe pagina.

Clusters verwijderen

Als u een cluster verwijdert, wordt het standaardopslagaccount of gekoppelde opslagaccounts niet verwijderd. U kunt het cluster opnieuw maken met behulp van dezelfde opslagaccounts en dezelfde metastores. U wordt aangeraden een nieuwe standaard-Blob-container te gebruiken wanneer u het cluster opnieuw maakt.

Op de startpagina van het cluster:

  1. Selecteer Verwijderen in het hoofdmenu.
  2. Volg de instructies op de nieuwe pagina.

Zie ook Clusters onderbreken/afsluiten.

Extra opslagaccounts toevoegen

U kunt extra Azure Storage-accounts en Azure Data Lake Storage-accounts toevoegen nadat een cluster is gemaakt. Zie Extra opslagaccounts toevoegen aan HDInsight voor meer informatie.

Clusters schalen

Met de functie voor clusterschalen kunt u het aantal werkknooppunten wijzigen dat wordt gebruikt door een Azure HDInsight-cluster, zonder dat u het cluster opnieuw hoeft te maken.

Zie HDInsight-clusters schalen voor volledige informatie.

Clusters onderbreken/afsluiten

De meeste Hadoop-taken zijn batchtaken die slechts af en toe worden uitgevoerd. Voor de meeste Hadoop-clusters zijn er grote perioden waarop het cluster niet wordt gebruikt voor verwerking. Met HDInsight worden uw gegevens opgeslagen in Azure Storage zodat u een cluster veilig kunt verwijderen wanneer deze niet wordt gebruikt. Voor een HDInsight-cluster worden ook kosten in rekening gebracht, zelfs wanneer het niet wordt gebruikt. Aangezien de kosten voor het cluster vaak zoveel hoger zijn dan de kosten voor opslag, is het financieel gezien logischer clusters te verwijderen wanneer ze niet worden gebruikt.

Er zijn veel manieren waarop u het proces kunt programmeren:

Zie HDInsight-prijzen voor de prijsinformatie. Als u een cluster uit de portal wilt verwijderen, raadpleegt u Clusters verwijderen

Clusters upgraden

Zie HDInsight-cluster upgraden naar een nieuwere versie.

De webinterface van Apache Ambari openen

Ambari biedt een intuïtieve, gebruiksvriendelijke Hadoop-beheerwebinterface die wordt ondersteund door de RESTful API's. Met Ambari kunnen systeembeheerders Hadoop-clusters beheren en bewaken.

Op de startpagina van het cluster:

  1. Selecteer Clusterdashboards.

    HDInsight Apache Hadoop cluster menu.

  2. Selecteer de startpagina van Ambari op de nieuwe pagina.

  3. Voer de gebruikersnaam en het wachtwoord van het cluster in. De standaardgebruikersnaam van het cluster is beheerder.

Zie HDInsight-clusters beheren met behulp van de Apache Ambari-webinterface voor meer informatie.

Wachtwoorden wijzigen

Een HDInsight-cluster kan twee gebruikersaccounts hebben. Het HDInsight-clustergebruikersaccount (HTTP-gebruikersaccount) en het SSH-gebruikersaccount worden gemaakt tijdens het maken. U kunt de portal gebruiken om het wachtwoord van het clustergebruikersaccount te wijzigen en scriptacties om het SSH-gebruikersaccount te wijzigen.

Het wachtwoord van de clustergebruiker wijzigen

Notitie

Als u het wachtwoord van de clustergebruiker (beheerder) wijzigt, kunnen scriptacties mislukken voor dit cluster. Als u persistente scriptacties hebt die gericht zijn op werkknooppunten, kunnen deze scripts mislukken wanneer u knooppunten aan het cluster toevoegt via bewerkingen voor het wijzigen van de grootte. Zie HDInsight-clusters aanpassen met behulp van scriptacties voor meer informatie over scriptacties.

Op de startpagina van het cluster:

  1. Selecteer SSH + Clusteraanmelding onder Instellingen.
  2. Selecteer Referentie opnieuw instellen.
  3. Voer een nieuw wachtwoord in en bevestig dit in de tekstvakken.
  4. Selecteer OK.

Het wachtwoord wordt gewijzigd op alle knooppunten in het cluster.

Het SSH-gebruikerswachtwoord of de openbare sleutel wijzigen

  1. Sla met behulp van een teksteditor de volgende tekst op als een bestand met de naam changecredentials.sh.

    Belangrijk

    U moet een editor gebruiken die LF als het einde van de regel gebruikt. Als de editor CRLF gebruikt, werkt het script niet.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Upload het bestand naar een opslaglocatie die toegankelijk is vanuit HDInsight met behulp van een HTTP- of HTTPS-adres. Bijvoorbeeld een openbaar bestandsarchief, zoals OneDrive of Azure Blob Storage. Sla de URI (HTTP- of HTTPS-adres) op in het bestand, omdat deze URI nodig is in de volgende stap.

  3. Selecteer op de startpagina van het cluster scriptacties onder Instellingen.

  4. Selecteer op de pagina Scriptacties de optie Nieuw verzenden.

  5. Voer op de pagina Scriptactie verzenden de volgende gegevens in:

Notitie

SSH-wachtwoorden mogen niet de volgende tekens bevatten:

" ' ` / \ < % ~ | $ & !

Veld Waarde
Scripttype Selecteren - Aangepast in de vervolgkeuzelijst.
Naam 'SSH-referenties wijzigen'
Bash-script-URI De URI naar het changecredentials.sh-bestand
Type knooppunt: (Head, Worker, Nimbus, Supervisor of Zookeeper.) ✓ voor alle vermelde knooppunttypen
Parameters Voer de SSH-gebruikersnaam en vervolgens het nieuwe wachtwoord in. Er moet één spatie zijn tussen de gebruikersnaam en het wachtwoord.
Deze scriptactie behouden... Laat dit veld uitgeschakeld.
  1. Selecteer Maken om het script toe te passen. Zodra het script is voltooid, kunt u verbinding maken met het cluster met behulp van SSH met de nieuwe referenties.

De abonnements-id zoeken

Elk cluster is gekoppeld aan een Azure-abonnement. De Azure-abonnements-id is zichtbaar op de startpagina van het cluster.

De resourcegroep zoeken

In de Azure Resource Manager-modus wordt elk HDInsight-cluster gemaakt met een Azure Resource Manager-groep. De Resource Manager-groep is zichtbaar op de startpagina van het cluster.

De opslagaccounts zoeken

HDInsight-clusters maken gebruik van een Azure Storage-account of Azure Data Lake Storage om gegevens op te slaan. Elk HDInsight-cluster kan één standaardopslagaccount en een aantal gekoppelde opslagaccounts hebben. Als u de opslagaccounts wilt weergeven, selecteert u opslagaccounts op de startpagina van het cluster onder Instellingen.

Taken controleren

Zie HDInsight-clusters beheren met behulp van de Apache Ambari-webinterface.

Grootte van cluster

Op de tegel Clustergrootte op de startpagina van het cluster wordt het aantal kernen weergegeven dat aan dit cluster is toegewezen en hoe deze worden toegewezen voor de knooppunten in dit cluster.

Belangrijk

Als u de services van het HDInsight-cluster wilt bewaken, moet u Ambari Web of de Ambari REST API gebruiken. Zie HDInsight-clusters beheren met Apache Ambari voor meer informatie over het gebruik van Ambari

Verbinding maken met een cluster

Volgende stappen

In dit artikel hebt u enkele basisbeheerfuncties geleerd. Zie de volgende artikelen voor meer informatie: