Zarządzanie klastrami HDInsight przy użyciu internetowego interfejsu użytkownika systemu Apache Ambari

  • Artykuł

Apache Ambari upraszcza zarządzanie klastrem Apache Hadoop i monitorowanie go. To uproszczenie jest realizowane przez zapewnienie łatwego w użyciu internetowego interfejsu użytkownika i interfejsu API REST. System Ambari jest dołączony do klastrów usługi HDInsight i służy do monitorowania klastra i wprowadzania zmian konfiguracji.

Z tego dokumentu dowiesz się, jak używać internetowego interfejsu użytkownika systemu Ambari z klastrem usługi HDInsight.

Co to jest Apache Ambari?

Apache Ambari upraszcza zarządzanie platformą Hadoop, zapewniając łatwy w użyciu internetowy interfejs użytkownika. Za pomocą narzędzia Ambari można zarządzać klastrami Hadoop i monitorować je. Deweloperzy mogą zintegrować te możliwości ze swoimi aplikacjami przy użyciu interfejsów API REST systemu Ambari.

Łączność

Internetowy interfejs użytkownika systemu Ambari jest dostępny w klastrze usługi HDInsight pod adresem https://CLUSTERNAME.azurehdinsight.net, gdzie CLUSTERNAME jest nazwą klastra.

Ważne

Połączenie do systemu Ambari w usłudze HDInsight wymaga protokołu HTTPS. Po wyświetleniu monitu o uwierzytelnienie użyj nazwy konta administratora i hasła podanego podczas tworzenia klastra. Jeśli nie zostanie wyświetlony monit o podanie poświadczeń, sprawdź ustawienia sieci, aby potwierdzić, że nie ma problemu z łącznością między klientem a klastrami usługi Azure HDInsight.

Tunel SSH (serwer proxy)

Chociaż narzędzie Ambari dla klastra jest dostępne bezpośrednio przez Internet, niektóre linki z internetowego interfejsu użytkownika systemu Ambari (np. do rozwiązania JobTracker) nie są uwidocznione w Internecie. Aby uzyskać dostęp do tych usług, należy utworzyć tunel SSH. Aby uzyskać więcej informacji, zobacz Use SSH Tunneling with HDInsight (Używanie tunelowania SSH z usługą HDInsight).

Interfejs użytkownika sieci Web systemu Ambari

Ostrzeżenie

Nie wszystkie funkcje internetowego interfejsu użytkownika systemu Ambari są obsługiwane w usłudze HDInsight. Aby uzyskać więcej informacji, zobacz sekcję Nieobsługiwane operacje tego dokumentu.

Podczas nawiązywania połączenia z internetowym interfejsem użytkownika systemu Ambari zostanie wyświetlony monit o uwierzytelnienie na stronie. Użyj użytkownika administratora klastra (domyślnego Administracja) i hasła użytego podczas tworzenia klastra.

Po otwarciu strony zanotuj pasek u góry. Ten pasek zawiera następujące informacje i kontrolki:

Apache Ambari dashboard overview.

Element opis
Logo ambari Otwiera pulpit nawigacyjny, który może służyć do monitorowania klastra.
Nazwa klastra # ops Przedstawia liczbę trwających operacji systemu Ambari. Wybranie nazwy klastra lub #ops powoduje wyświetlenie listy operacji w tle.
# alerty Wyświetla ostrzeżenia lub alerty krytyczne, jeśli istnieją, dla klastra.
pulpit nawigacyjny Wyświetla pulpit nawigacyjny.
Usługi Informacje i ustawienia konfiguracji dla usług w klastrze.
Hosts Informacje i ustawienia konfiguracji węzłów w klastrze.
Alerty Dziennik informacji, ostrzeżeń i alertów krytycznych.
Administrator Stos oprogramowania/usługi zainstalowane w klastrze, informacje o koncie usługi i zabezpieczenia protokołu Kerberos.
przycisk Administracja Zarządzanie systemem Ambari, ustawienia użytkownika i wylogowywanie.

Monitorowanie

Alerty

Poniższa lista zawiera typowe stany alertów używane przez system Ambari:

  • OK
  • Ostrzeżenie
  • KRYTYCZNE
  • NIEZNANY

Alerty inne niż OK powodują wpis # alertów w górnej części strony, aby wyświetlić liczbę alertów. Wybranie tego wpisu powoduje wyświetlenie alertów i ich stanu.

Alerty są zorganizowane w kilka grup domyślnych, które można wyświetlić na stronie Alerty .

Apache Ambari alerts page summary.

Grupy można zarządzać za pomocą menu Akcje i wybierając pozycję Zarządzaj grupami alertów.

Apache Ambari manage alert groups.

Możesz zarządzać metodami alertów i tworzyć powiadomienia o alertach z menu Akcje , wybierając pozycję Zarządzaj powiadomieniami. Zostaną wyświetlone wszystkie bieżące powiadomienia. Tutaj utwórz powiadomienia. Powiadomienia można wysyłać za pośrednictwem poczty e-mail lub PROTOKOŁU SNMP , gdy wystąpią określone kombinacje alertu/ważności. Możesz na przykład wysłać wiadomość e-mail, gdy dowolny z alertów w grupie domyślnej usługi YARN ma wartość Krytyczne.

Apache Ambari create alert notification.

Na koniec wybranie pozycji Zarządzaj Ustawienia alertów z menu Akcje umożliwia ustawienie liczby wystąpień alertu przed wysłaniem powiadomienia. To ustawienie może służyć do zapobiegania powiadamianiom o błędach przejściowych.

Aby zapoznać się z samouczkiem dotyczącym powiadomienia o alertach przy użyciu bezpłatnego konta usługi SendGrid, zobacz Konfigurowanie powiadomień e-mail apache Ambari w usłudze Azure HDInsight.

Klaster

Karta Metryki pulpitu nawigacyjnego zawiera serię widżetów, które ułatwiają błyskawiczne monitorowanie stanu klastra. Kilka widżetów, takich jak użycie procesora CPU, udostępnia dodatkowe informacje po kliknięciu.

Apache Ambari dashboard with metrics.

Karta Mapy cieplne wyświetla metryki jako kolorowe mapy cieplne, przechodząc od zielonego do czerwonego.

Apache Ambari dashboard with heatmaps.

Aby uzyskać więcej informacji na temat węzłów w klastrze, wybierz pozycję Hosty. Następnie wybierz konkretny węzeł, który cię interesuje.

Apache Ambari host summary details.

Usługi

Pasek boczny Usługi na pulpicie nawigacyjnym zapewnia szybki wgląd w stan usług uruchomionych w klastrze. Różne ikony służą do wskazywania stanu lub akcji, które należy wykonać. Na przykład żółty symbol recyklingu jest wyświetlany, jeśli usługa musi zostać poddana recyklingu.

Apache Ambari services side bar.

Uwaga

Wyświetlane usługi różnią się między typami i wersjami klastra usługi HDInsight. Wyświetlane tutaj usługi mogą być inne niż usługi wyświetlane dla klastra.

Wybranie usługi powoduje wyświetlenie bardziej szczegółowych informacji na temat usługi.

Apache Ambari service summary information.

Niektóre usługi wyświetlają link Szybkie linki w górnej części strony. Ten link może służyć do uzyskiwania dostępu do internetowych interfejsów użytkownika specyficznych dla usługi, takich jak:

  • Historia zadań — historia zadań MapReduce.
  • Resource Manager — interfejs użytkownika usługi Resource Manager usługi YARN.
  • NameNode — interfejs użytkownika rozproszonego systemu plików Hadoop (HDFS).
  • Interfejs użytkownika sieci Web Oozie — Oozie UI.

Wybranie dowolnego z tych linków spowoduje otwarcie nowej karty w przeglądarce, która wyświetla wybraną stronę.

Uwaga

Wybranie pozycji Szybkie linki dla usługi może zwrócić błąd "nie znaleziono serwera". Jeśli wystąpi ten błąd, należy użyć tunelu SSH podczas korzystania z wpisu Szybkie linki dla tej usługi. Aby uzyskać informacje, zobacz Use SSH Tunneling with HDInsight (Korzystanie z tunelowania SSH w usłudze HDInsight)

Zarządzanie

Użytkownicy, grupy i uprawnienia systemu Ambari

Praca z użytkownikami, grupami i uprawnieniami jest obsługiwana. Aby uzyskać informacje na temat administracji lokalnej, zobacz Autoryzowanie użytkowników dla widoków systemu Apache Ambari. W przypadku klastrów przyłączonych do domeny zobacz Zarządzanie przyłączonym do domeny klastrami usługi HDInsight.

Ostrzeżenie

Nie usuwaj ani nie zmieniaj hasła usługi Ambari watchdog (hdinsightwatchdog) w klastrze usługi HDInsight opartym na systemie Linux. Zmiana hasła powoduje przerwanie możliwości używania akcji skryptu lub wykonywania operacji skalowania w klastrze.

Hosts

Strona Hosty zawiera listę wszystkich hostów w klastrze. Aby zarządzać hostami, wykonaj następujące kroki.

Apache Ambari hosts page overview.

Uwaga

Dodawanie, likwidowanie i ponowne komisjowanie hosta nie powinno być używane z klastrami usługi HDInsight.

  1. Wybierz hosta, którym chcesz zarządzać.

  2. Użyj menu Akcje, aby wybrać akcję, którą chcesz wykonać:

    Element opis
    Uruchamianie wszystkich składników Uruchom wszystkie składniki na hoście.
    Zatrzymaj wszystkie składniki Zatrzymaj wszystkie składniki na hoście.
    Uruchom ponownie wszystkie składniki Zatrzymaj i uruchom wszystkie składniki na hoście.
    Włączanie trybu konserwacji Pomija alerty dla hosta. Ten tryb powinien być włączony, jeśli wykonujesz akcje, które generują alerty. Na przykład zatrzymywanie i uruchamianie usługi.
    Wyłącz tryb konserwacji Zwraca hosta do normalnego zgłaszania alertów.
    Zatrzymaj Zatrzymuje element DataNode lub NodeManagers na hoście.
    Rozpocznij Uruchamia węzeł DataNode lub NodeManagers na hoście.
    Uruchom ponownie Zatrzymuje i uruchamia element DataNode lub NodeManagers na hoście.
    Likwidowanie Usuwa hosta z klastra. Nie używaj tej akcji w klastrach usługi HDInsight.
    Ponowne komisja Dodaje wcześniej zlikwidowany host do klastra. Nie używaj tej akcji w klastrach usługi HDInsight.

Usługi

Na stronie Pulpit nawigacyjny lub usługi użyj przycisku Akcje w dolnej części listy usług, aby zatrzymać i uruchomić wszystkie usługi.

Apache Ambari service actions list.

Ostrzeżenie

Podczas aprowizacji klastra należy dodawać nowe usługi przy użyciu akcji skryptu. Aby uzyskać więcej informacji na temat używania akcji skryptu, zobacz Dostosowywanie klastrów usługi HDInsight przy użyciu akcji skryptu.

Gdy przycisk Akcje może ponownie uruchomić wszystkie usługi, często chcesz uruchomić, zatrzymać lub ponownie uruchomić określoną usługę. Wykonaj następujące kroki, aby wykonać akcje dla poszczególnych usług:

  1. Na stronie Pulpit nawigacyjny lub usługi wybierz usługę.

  2. W górnej części karty Podsumowanie użyj przycisku Akcje usługi i wybierz akcję do wykonania. Ta akcja powoduje ponowne uruchomienie usługi na wszystkich węzłach.

    Apache Ambari individual service actions.

    Uwaga

    Ponowne uruchamianie niektórych usług podczas działania klastra może generować alerty. Aby uniknąć alertów, możesz użyć przycisku Akcje usługi, aby włączyć tryb konserwacji dla usługi przed wykonaniem ponownego uruchomienia.

  3. Po wybraniu akcji wpis #op w górnej części strony zwiększa się, aby pokazać, że wykonywana jest operacja w tle. Jeśli skonfigurowano do wyświetlania, zostanie wyświetlona lista operacji w tle.

    Uwaga

    Jeśli dla usługi włączono tryb konserwacji, pamiętaj, aby wyłączyć ją za pomocą przycisku Akcje usługi po zakończeniu operacji.

Aby skonfigurować usługę, wykonaj następujące kroki:

  1. Na stronie Pulpit nawigacyjny lub usługi wybierz usługę.

  2. Wybierz kartę Configs (Konfiguracje ). Zostanie wyświetlona bieżąca konfiguracja. Zostanie również wyświetlona lista poprzednich konfiguracji.

    Apache Ambari service configuration.

  3. Użyj wyświetlanych pól, aby zmodyfikować konfigurację, a następnie wybierz pozycję Zapisz. Możesz też wybrać poprzednią konfigurację, a następnie wybrać pozycję Ustaw bieżącą, aby przywrócić poprzednie ustawienia.

Widoki ambari

Widoki systemu Ambari umożliwiają deweloperom podłączanie elementów interfejsu użytkownika do internetowego interfejsu użytkownika systemu Ambari przy użyciu struktury widoków Apache Ambari. Usługa HDInsight udostępnia następujące widoki z typami klastrów Hadoop:

  • Widok Programu Hive: widok Hive umożliwia uruchamianie zapytań Hive bezpośrednio z przeglądarki internetowej. Zapytania można zapisywać, wyświetlać wyniki, zapisywać wyniki w magazynie klastra lub pobierać wyniki do systemu lokalnego. Aby uzyskać więcej informacji na temat korzystania z widoków Hive, zobacz Używanie widoków apache Hive z usługą HDInsight.

  • Widok Tez: Widok Tez pozwala lepiej zrozumieć i zoptymalizować zadania. Możesz wyświetlić informacje na temat sposobu wykonywania zadań tez i zasobów, które są używane.

Nieobsługiwane operacje

Następujące operacje systemu Ambari nie są obsługiwane w usłudze HDInsight:

  • Przenoszenie usługi modułu zbierającego metryki. Podczas wyświetlania informacji o usłudze Moduł zbierający metryki jedna z akcji dostępnych w menu Akcje usługi to Moduł zbierający metryki przenoszenia. Ta akcja nie jest obsługiwana w usłudze HDInsight.

Następne kroki