Сколько узлов данных необходимо для моего кластера HDInsight?

Количество узлов данных варьируется в зависимости от ваших потребностей. Благодаря эластичности облачных служб Azure можно создавать кластеры любого размера. Это позволяет добиться оптимального сочетания производительности и цены. Вы платите только за то, что используется в определенный момент времени. Кластеры могут также масштабироваться по запросу, увеличиваясь и уменьшаясь в соответствии с требованиями рабочей нагрузки.

Related questions and answers

  • Для оценки затрат на кластеры разных размеров попробуйте калькулятор Azure.

  • If you run a cluster for 100 hours in US East with two D13 v2 head nodes, three D12 v2 data nodes, and three D11 v2 zookeepers, the billing would be the following in the two scenarios:

    • On a Standard HDInsight cluster—100 hours x (2 x $-/hour + 3 x $-/hour + 3 x $-/hour) = $-
    • On a Standard HDInsight cluster with Enterprise Security Package—100 hours x (2 x $-/hour + 3 x $-/hour + 3 x $-/hour) + 100 hours x (2 x 8 + 3 x 4 + 3 x 2) x $-/core-hour = $-
  • В HDInsight для каждого типа кластера развертывается разное количество узлов. В кластере данного типа существуют различные роли для различных узлов, что позволяет клиенту масштабировать эти узлы в соответствии с ролями и характером рабочей нагрузки. Например, кластер Hadoop может иметь собственные рабочие узлы с большим объемом памяти, если планируется выполнение ресурсоемкой аналитики. Кластеры Hadoop для HDInsight развертываются с двумя ролями:

    • Головной узел (2 узла)
    • Узел данных (как минимум 1 узел) Кластеры HBase для HDInsight развертываются с тремя ролями:
    • Головные серверы (2 узла)
    • Региональные серверы (как минимум 1 узел)
    • Узлы Master/Zookeeper (3 узла) Кластеры Storm для HDInsight развертываются с тремя ролями:
    • Узлы Nimbus (2 узла)
    • Серверы Supervisor (как минимум 1 узел)
    • Узлы Zookeeper (3 узла) Кластеры Spark для HDInsight развертываются с тремя ролями.
    • Головной узел (2 узла)
    • Рабочий узел (как минимум 1 узел)
    • Узлы Zookeeper (3 узла) (бесплатно для узлов Zookeeper A1) При использовании R-Server, помимо архитектуры развертывания кластера, предусмотрен один узел Edge Node.
  • Для каждой подписки по умолчанию установлен предел количества созданных узлов данных. Если возникла необходимость создать больший по размеру кластер HDInsight или несколько кластеров HDInsight, общее число которых превышает установленный максимум по подписке, вы можете запросить увеличение лимитов тарификации для вашей подписки. Откройте билет службы поддержки с типом поддержки "выставление счетов". В зависимости от максимального числа запрошенных узлов на одну подписку вам может понадобиться дополнительная информация, которая позволит оптимизировать ваши развертывания.

  • Чтобы остановить кластер HDInsight, его необходимо удалить. По умолчанию все данные, с которыми работает кластер HDInsight, находятся в хранилище BLOB-объектов Azure, поэтому на данных это не отразится. Если вам нужно сохранить метаданные Hive (таблицы, схемы), то необходимо подготовить кластер с внешним хранилищем метаданных. Подробнее об этом см. в данной документации.

  • Вы оплачиваете количество минут, в течение которых работал ваш кластер, с округлением до ближайшей минуты (не до часа).