Share via

Мониторинг кластеров HDInsight с помощью журналов Azure Monitor

  • Статья

Узнайте, как использовать журналы Azure Monitor для мониторинга операций кластера Hadoop в HDInsight. А также узнайте, как добавить решение для мониторинга HDInsight.

Журналы Azure Monitor — это служба Azure Monitor, которая наблюдает за облачными и локальными средами. Мониторинг помогает поддерживать их доступность и производительность. Эта служба собирает данные, создаваемые ресурсами в облачных и локальных средах, а также другими средствами мониторинга. На основе этих данных служба предоставляет аналитические сведения, используя несколько источников.

Примечание.

Сведения из данной статьи были недавно обновлены. Теперь вместо термина "Log Analytics" используется термин "журналы Azure Monitor". Данные журнала по-прежнему хранятся в рабочей области Log Analytics, собираются и анализируются той же службой Log Analytics. Целью обновления терминологии является лучшее отражение роли журналов в Azure Monitor. Дополнительные сведения см. в статье Изменения фирменной символики Azure Monitor.

Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.

Внимание

Новый интерфейс Azure Monitor доступен во всех регионах в качестве предварительной версии функции.

Необходимые компоненты

  • Рабочая область Log Analytics. Рабочую область можно представить как уникальную среду журналов Azure Monitor с собственным репозиторием данных, источниками данных и решениями. С инструкциями можно ознакомиться в разделе Создание рабочей области.

  • Кластер Azure HDInsight. Сейчас вы можете использовать журналы Azure Monitor со следующими типами кластеров HDInsight:

    • Hadoop
    • HBase
    • Интерактивный запрос
    • Kafka
    • Spark

    Инструкции по созданию кластера HDInsight см. в руководстве по началу работы с Azure HDInsight.

  • При использовании PowerShell вам потребуется модуль Az. Убедитесь, что у вас установлена последняя версия. При необходимости выполните командлет Update-Module -Name Az.

  • Если вы хотите использовать Azure CLI и еще не установили его, обратитесь к разделу Установка Azure CLI.

Примечание.

Новый интерфейс Azure Monitor доступен во всех регионах только в качестве предварительной версии функции. Для повышения производительности рекомендуется разместить кластер HDInsight и рабочую область Log Analytics в одном регионе.

Включение Azure Monitor с помощью портала

В этом разделе вы настроите существующий кластер HDInsight Hadoop, чтобы использовать рабочую область Azure Log Analytics для мониторинга заданий, журналов отладки и пр.

  1. На портале Azure выберите свой кластер. Кластер откроется на новой странице портала.

  2. Слева, в разделе «Мониторинг» выберитеИнтеграция с Monitor.

  3. В главном представлении выберите в разделе Azure Monitor для интеграции кластеров HDInsight действие Включить.

  4. В раскрывающемся списке Выберите рабочую область выберите существующую рабочую область Log Analytics.

  5. Выберите Сохранить. Параметр сохраняется в течение нескольких секунд.

    Enable monitoring for HDInsight clusters.

Если вы решили отключить Azure Monitor, это можно сделать на этом портале.

Включение Azure Monitor с помощью Azure PowerShell

Журналы Azure Monitor можно включить с помощью командлета Enable-AzHDInsightAzureMonitor модуля Az Azure PowerShell.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Для отключения используйте командлет Disable-AzHDInsightAzureMonitor.

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Включение Azure Monitor с помощью Azure CLI

Журналы Azure Monitor можно включить с помощью команды Azure CLI az hdinsight azure-monitor enable.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Для отключения используйте команду az hdinsight monitor disable.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Использование встроенных аналитических возможностей HDInsight для мониторинга отдельного кластера

HDInsight предоставляет специализированные книги для разных рабочих нагрузок, которые помогут вам быстро получить аналитические сведения. Эта книга собирает важные метрики производительности из кластера HDInsight и предоставляет визуализации и информационные панели для самых распространенных сценариев. Встроенная аналитика дает полное представление об отдельном кластере HDInsight, включая сведения об использовании ресурсов и текущем состоянии приложения.

Доступны следующие книги HDInsight:

  • книга HDInsight для Spark;
  • книга HDInsight для Kafka;
  • книга HDInsight для HBase;
  • книга HDInsight для Hive/LLAP;

Снимок экрана: книга Spark Spark workbook screenshot.

Настройка счетчиков производительности

Azure Monitor поддерживает сбор и анализ метрик производительности для узлов в кластере. Дополнительные сведения см. в разделе Источники данных о производительности Windows и Linux в Azure Monitor.

Аудит кластеров

HDInsight поддерживает аудит кластеров с помощью журналов Azure Monitor, импортируя следующие типы журналов:

  • log_gateway_audit_CL — эта таблица содержит журналы аудита с узлов шлюза кластера, которые показывают успешные и неудачные попытки входа;
  • log_auth_CL — эта таблица содержит журналы SSH с успешными и неудачными попытками входа;
  • log_ambari_audit_CL — эта таблица содержит журналы аудита из Ambari;
  • log_ranger_audti_CL — эта таблица содержит журналы аудита из Apache Ranger в кластерах ESP.

Обновление агента Log Analytics (OMS), используемого интеграцией Azure Monitor HDInsight

Если в кластере включена интеграция Azure Monitor, агент Log Analytics или агент Operations Management Suite (OMS) устанавливается в кластер и не обновляется, пока не будет отключена и повторно включена интеграция Azure Monitor. Чтобы обновить агент OMS в кластере, выполните следующие действия. Если вы используете брандмауэр, то перед выполнением этих действий может потребоваться выполнить предварительные требования для кластеров, защищенных брандмауэром.

  1. На портале Azure выберите свой кластер. Кластер откроется на новой странице портала.
  2. Слева в разделе Мониторинг выберите Azure Monitor.
  3. Запишите имя текущей рабочей области Log Analytics.
  4. В главном представлении в разделе Интеграция Azure Monitor отключите переключатель и нажмите кнопку Сохранить.
  5. После сохранения параметра снова установите переключатель Интеграция Azure Monitor в положение «ВКЛ» и убедитесь, что выбрана та же рабочая область Log Analytics, а затем нажмите кнопку Сохранить.

Если в кластере включена интеграция Azure Monitor, то при обновлении агента OMS также будет обновлена версия инфраструктуры Open Management Infrastructure (OMI). Вы можете проверить версию OMI в кластере, выполнив следующую команду:

 sudo /opt/omi/bin/omiserver –version

Следующие шаги