Verwalten von HDInsight-Clustern mithilfe der Apache Ambari-Webbenutzeroberfläche

  • Artikel

Apache Ambari vereinfacht die Verwaltung und Überwachung von Apache Hadoop-Clustern. Diese Vereinfachung erfolgt durch die Bereitstellung einer benutzerfreundlichen Webbenutzeroberfläche und REST-API. Ambari ist in HDInsight-Clustern enthalten und wird verwendet, um den Cluster zu überwachen und Konfigurationsänderungen vorzunehmen.

In diesem Dokument erfahren Sie, wie Sie die Webbenutzeroberfläche Ambari mit einem HDInsight-Cluster verwenden.

Was ist Apache Ambari?

Apache Ambari vereinfacht die Hadoop-Verwaltung durch Bereitstellung einer einfach zu verwendenden Web-Benutzeroberfläche. Sie können Ambari verwenden, um Hadoop-Cluster zu verwalten und zu überwachen. Entwickler können diese Funktionen mithilfe der Ambari-REST-APIsin ihre Anwendungen integrieren.

Konnektivität

Die Ambari-Webbenutzeroberfläche ist in Ihrem HDInsight-Cluster unter https://CLUSTERNAME.azurehdinsight.net verfügbar, wobei CLUSTERNAME dem Namen Ihres Clusters entspricht.

Wichtig

Zum Herstellen einer Verbindung mit Ambari in HDInsight ist HTTPS erforderlich. Wenn Sie aufgefordert werden, sich zu authentifizieren, verwenden Sie den Namen und das Kennwort des Administratorkontos, die Sie bereitgestellt haben, als der Cluster erstellt wurde. Wenn Sie nicht zur Eingabe von Anmeldeinformationen aufgefordert werden, überprüfen Sie Ihre Netzwerkeinstellungen, um zu bestätigen, dass zwischen dem Client und den Azure HDInsight-Clustern kein Verbindungsproblem vorliegt.

SSH-Tunnel (Proxy)

Während Ambari für Ihren Cluster direkt über das Internet erreichbar ist, werden einige Links der Ambari-Webbenutzeroberfläche (z.B. JobTracker) nicht im Internet verfügbar gemacht. Um auf diesen Dienst zuzugreifen, müssen Sie einen SSH-Tunnel erstellen. Weitere Informationen finden Sie unter Verwenden von SSH-Tunneling mit HDInsight.

Ambari-Webbenutzeroberfläche

Warnung

Nicht alle Funktionen der Ambari-Webbenutzeroberfläche werden in HDInsight unterstützt. Weitere Informationen finden Sie im Abschnitt Nicht unterstützte Vorgänge dieses Dokuments.

Wenn Sie eine Verbindung zur Webbenutzeroberfläche Ambari herstellen, werden Sie aufgefordert, sich für die Seite zu authentifizieren. Verwenden Sie den Clusteradministrator (standardmäßig „Admin“) und das Kennwort, die Sie während der Erstellung des Clusters verwendet haben.

Beachten Sie beim Öffnen der Seite die Leiste im oberen Bereich. Diese Leiste enthält die folgenden Informationen und Steuerelemente:

Apache Ambari dashboard overview.

Artikel BESCHREIBUNG
Ambari-Logo Öffnet das Dashboard, mit dem der Cluster überwacht werden kann.
Clustername # ops Zeigt die Anzahl der laufenden Ambari-Vorgänge an. Wenn Sie den Clusternamen oder die (Anzahl) ops auswählen, wird eine Liste der Hintergrundvorgänge angezeigt.
# alerts Zeigt Warnungen oder kritische Warnungen für den Cluster an (falls vorhanden).
Dashboard Zeigt das Dashboard an.
Dienste Informationen und Konfigurationseinstellungen für die Dienste im Cluster.
Hosts Informationen und Konfigurationseinstellungen für die Knoten im Cluster.
Alerts Ein Protokoll von Informationen, Warnungen und kritischen Warnungen.
Admin Softwarestapel/Dienste, die im Cluster installiert sind, Dienstkontoinformationen sowie die Kerberos-Sicherheit.
Schaltfläche „Admin“ Ambari-Verwaltung, Benutzereinstellungen und Abmeldung.

Überwachung

Alerts

Die folgende Liste enthält die gängigsten Warnungsstatus, die von Ambari verwendet werden:

  • OK
  • Warning
  • CRITICAL
  • UNKNOWN

Bei anderen Warnungen als OK wird am Seitenanfang unter dem Eintrag (Anzahl) alerts die Anzahl der Warnungen anzeigt. Wenn Sie diesen Eintrag auswählen, werden die Warnungen und deren Statusangaben angezeigt.

Warnungen sind in mehrere Standardgruppen angeordnet, die über die Seite Alerts angezeigt werden können.

Apache Ambari alerts page summary.

Sie können die Gruppen verwalten, indem Sie das Menü Aktionen und dann die Option Warnungsgruppen verwalten auswählen.

Apache Ambari manage alert groups.

Über den Eintrag Warnungsbenachrichtigungen verwalten im Menü Aktionen können Sie zudem Warnungsmethoden verwalten und Warnungsbenachrichtigungen erstellen. Es werden alle aktuellen Benachrichtigungen angezeigt. Erstellen Sie hier Benachrichtigungen. Die Benachrichtigungen können bei bestimmten Kombinationen aus Warnung und Schweregrad über E-Mail oder SNMP gesendet werden. Sie können z.B. eine E-Mail senden, wenn eine der Benachrichtigungen in der Gruppe YARN Default auf Kritisch festgelegt ist.

Apache Ambari create alert notification.

Über den Eintrag Warnungseinstellungen verwalten im Menü Aktionen können Sie schließlich festlegen, wie oft eine Warnung ausgegeben werden muss, bevor eine Benachrichtigung gesendet wird. Dies Einstellung kann verwendet werden, um Benachrichtigungen für vorübergehende Fehler zu verhindern.

Ein Tutorial für eine Warnmeldung mit einem kostenlosen SendGrid-Konto finden Sie unter Konfigurieren von Apache Ambari-E-Mail-Benachrichtigungen in Azure HDInsight.

Cluster

Die Registerkarte Metrics im Dashboard enthält eine Reihe von Widgets, die das Überwachen des Clusterstatus auf einen Blick erleichtern. Verschiedene Widgets wie CPU Usagebieten zusätzliche Informationen, wenn Sie darauf klicken.

Apache Ambari dashboard with metrics.

Die Registerkarte Heatmaps zeigt Metriken als farbige Wärmebilder an, die von Grün bis Rot reichen.

Apache Ambari dashboard with heatmaps.

Weitere Informationen zu den Knoten im Cluster finden Sie unter Hosts. Wählen Sie anschließend den bestimmten Knoten, für den Sie sich interessieren.

Apache Ambari host summary details.

Dienste

Die Seitenleiste Dienste des Dashboards bietet einen schnellen Überblick über den Status der Dienste, die im Cluster aktiv sind. Es werden verschiedene Symbole verwendet, um den Status oder Aktionen anzugeben, die vorgenommen werden sollten. Ein gelbes Recycling-Symbol wird z.B. angezeigt, wenn ein Dienst wiederverwendet werden muss.

Apache Ambari services side bar.

Hinweis

Je nach Typ und Version des HDInsight-Clusters werden unterschiedliche Dienste angezeigt. Hier werden daher möglicherweise andere Dienste angezeigt als für Ihren Cluster.

Wenn Sie einen Dienst auswählen, werden weitere ausführliche Informationen zum Dienst angezeigt.

Apache Ambari service summary information.

Einige Dienste zeigen oben auf der Seite den Link Quicklinks an. Über diesen Link können Sie auf dienstspezifische Webbenutzeroberflächen zugreifen. Beispiel:

  • Job History : MapReduce-Auftragsverlauf.
  • Resource Manager: YARN Resource Manager-Benutzeroberfläche.
  • NameNode : NameNode-Benutzeroberfläche im Hadoop Distributed File System (HDFS).
  • Oozie Web UI : Oozie-Benutzeroberfläche.

Wenn Sie einen dieser Links öffnen, wird eine Registerkarte im Browser geöffnet, auf der die ausgewählte Seite angezeigt wird.

Hinweis

Das Auswählen des Eintrags Quicklinks für einen Dienst kann womöglich zum Fehler „Server nicht gefunden“ führen. Wenn dieser Fehler angezeigt wird, müssen Sie einen SSH-Tunnel verwenden, wenn Sie den Eintrag Quicklinks für diesen Dienst nutzen. Informationen hierzu finden Sie unter Verwenden von SSH-Tunneln mit HDInsight.

Verwaltung

Ambari-Benutzer, -Gruppen und -Berechtigungen

Das Arbeiten mit Benutzern, Gruppen und Berechtigungen wird unterstützt. Informationen zur lokalen Verwaltung finden Sie unter Autorisieren von Benutzern für Apache Ambari-Ansichten. Informationen zu Clustern, die in die Domäne eingebunden sind, finden Sie unter Verwalten von in die Domäne eingebundenen HDInsight-Clustern.

Warnung

Löschen oder ändern Sie nicht das Kennwort für den Ambari-Watchdog (hdinsightwatchdog) in Ihrem Linux-basierten HDInsight-Cluster. Durch eine Kennwortänderung wird die Möglichkeit zum Verwenden von Skriptaktionen oder zum Durchführen von Skalierungsvorgängen mit Ihren Cluster deaktiviert.

Hosts

Die Seite Hosts listet alle Hosts im Cluster auf. Gehen Sie folgendermaßen vor, um Hosts zu verwalten.

Apache Ambari hosts page overview.

Hinweis

Für HDInsight-Cluster sollte kein Host hinzugefügt, zurückgesetzt und wiederhergestellt werden.

  1. Wählen Sie den Host aus, den Sie verwalten möchten.

  2. Verwenden Sie das Menü Actions, um die Aktion auswählen, die Sie durchführen möchten:

    Element BESCHREIBUNG
    Start all components Startet alle Komponenten auf dem Host.
    Stop all components Beendet alle Komponenten auf dem Host.
    Restart all components Beendet und startet alle Komponenten auf dem Host.
    Turn on maintenance mode Unterdrückt Warnungen für den Host. Dieser Modus muss aktiviert sein, wenn Sie Vorgänge ausführen, die Warnungen generieren. Zum Beispiel das Anhalten und Starten eines Diensts.
    Turn off maintenance mode Versetzt den Host in den normalen Warnmodus zurück.
    Beenden Beendet DataNode oder NodeManagers auf dem Host.
    Start Startet DataNode oder NodeManagers auf dem Host.
    Neu starten Beendet DataNode oder NodeManager auf dem Host und startet sie dann wieder.
    Decommission Entfernt einen Host aus dem Cluster. Verwenden Sie diese Aktion nicht für HDInsight-Cluster.
    Recommission Fügt einen zuvor außer Betrieb gesetzten Host dem Cluster hinzu. Verwenden Sie diese Aktion nicht für HDInsight-Cluster.

Dienste

Verwenden Sie auf der Seite Dashboard oder Dienste am Ende der Dienstliste die Schaltfläche Aktionen, um alle Dienste zu beenden und zu starten.

Apache Ambari service actions list.

Warnung

Neue Dienste sollten während der Clusterbereitstellung mit einer Skriptaktion hinzugefügt werden. Weitere Informationen zur Verwendung von Skriptaktionen finden Sie unter Anpassen von HDInsight-Clustern mithilfe von Skriptaktionen.

Während die Schaltfläche Actions alle Dienste neu starten kann, ist es möglicherweise häufig erforderlich, dass Sie bestimmte Dienste starten, beenden oder neu starten möchten. Gehen Sie wie folgt vor, um Aktionen für einzelne Dienste auszuführen:

  1. Wählen Sie auf der Seite Dashboard oder Dienste einen Dienst aus.

  2. Verwenden Sie am oberen Rand der Registerkarte Zusammenfassung die Schaltfläche Dienstaktionen, und wählen Sie dann die auszuführende Aktion aus. Mit dieser Aktion wird der Dienst auf allen Knoten neu gestartet.

    Apache Ambari individual service actions.

    Hinweis

    Der Neustart einiger Dienste bei aktivem Cluster kann dazu führen, dass Warnungen generiert werden. Um Warnungen zu vermeiden, können Sie die Schaltfläche Dienstaktionen verwenden, um den Wartungsmodus für den Dienst zu aktivieren, bevor Sie den Neustart durchführen.

  3. Nachdem eine Aktion ausgewählt wurde, wird der Eintrag (Anzahl) ops am Seitenanfang erhöht, um anzuzeigen, dass ein Hintergrundvorgang ausgeführt wird. Sofern die Anzeige konfiguriert ist, wird die Liste der Hintergrundvorgänge angezeigt.

    Hinweis

    Wenn Sie den Wartungsmodus für den Dienst aktiviert haben, denken Sie daran, ihn mithilfe der Schaltfläche Dienstaktionen wieder zu deaktivieren, sobald der Vorgang abgeschlossen ist.

Gehen Sie wie folgt vor, um einen Dienst zu konfigurieren:

  1. Wählen Sie auf der Seite Dashboard oder Dienste einen Dienst aus.

  2. Wählen Sie die Registerkarte Configs aus. Daraufhin wird die aktuelle Konfiguration angezeigt. Zudem wird eine Liste der vorherigen Konfigurationen angezeigt.

    Apache Ambari service configuration.

  3. Verwenden Sie die angezeigten Felder, um die Konfiguration zu ändern, und klicken Sie dann auf Save. Sie können auch eine vorherige Konfiguration und dann Make current auswählen, um die vorherigen Einstellungen zu reaktivieren.

Ambari-Ansichten

Ambari-Ansichten ermöglichen Entwicklern das Hinzufügen von Benutzeroberflächenelementen zur Ambari-Webbenutzeroberfläche mit dem Apache Ambari Views Framework. HDInsight bietet für Hadoop-Clustertypen die folgenden Ansichten:

  • Hive-Ansicht: In der Hive-Ansicht können Sie Hive-Abfragen direkt in Ihrem Webbrowser ausführen. Sie können Abfragen speichern sowie Ergebnisse anzeigen, im Clusterspeicher speichern oder auf Ihr lokales System herunterladen. Weitere Informationen zum Verwenden von Hive-Ansichten finden Sie unter Verwenden von Apache Hive-Ansichten mit HDInsight.

  • Tez-Ansicht: Mit der Tez-Ansicht können Sie Aufträge besser verstehen und optimieren. Sie können Informationen darüber sehen, wie Tez-Aufträge ausgeführt werden und welche Ressourcen verwendet werden.

Nicht unterstützte Vorgänge

Die folgenden Ambari-Vorgänge werden nicht in HDInsight unterstützt:

  • Verschieben des Metrikensammlungsdiensts. Beim Anzeigen von Informationen im Metrikensammlungsdienst ist im Menü „Dienstaktionen“ u.a. die Aktion Metrikensammler verschieben vorhanden. Diese Aktion wird mit HDInsight nicht unterstützt.

Nächste Schritte