你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

创建群集池和群集

重要

此功能目前以预览版提供。 Microsoft Azure 预览版的补充使用条款包含适用于 beta 版、预览版或其他尚未正式发布的 Azure 功能的更多法律条款。 有关此特定预览版的信息,请参阅 Azure HDInsight on AKS 预览版信息。 如有疑问或功能建议,请在 AskHDInsight 上提交请求并附上详细信息,并关注我们以获取 Azure HDInsight Community 的更多更新。

HDInsight on AKS 具有群集池和群集的概念。

  • 群集池是群集的逻辑分组,在同一池中维护一组群集,这有助于跨多个群集类型构建可靠的互操作性。 可以在现有虚拟网络内或虚拟网络外部创建它。

    HDInsight on AKS 中的群集池对应于 AKS 基础结构中的一个群集。

  • 群集是可在同一群集池中创建的单个计算工作负荷,例如 Apache Spark、Apache Flink 或 Trino。

若要创建 Apache Spark、Apache Flink 或 Trino 群集,需要首先创建群集池。

先决条件

在创建群集池之前,请确保已完成订阅先决条件资源先决条件

创建群集池

  1. 登录到 Azure 门户

  2. 在 Azure 门户搜索栏中,键入“HDInsight on AKS 群集池”,然后从下拉列表中选择“Azure HDInsight on AKS 群集池”。

    显示 Azure 门户中的搜索栏的屏幕截图。

  3. 单击“+ 创建”。

    显示了“创建”按钮的示意图。

  4. 在“基本信息”选项卡中,输入以下信息:

    显示了群集池创建“基本信息”选项卡的示意图。

    properties 说明
    订阅 从下拉列表中,选择要在其下创建 HDInsight on AKS 群集池的 Azure 订阅。
    资源组 从下拉列表中选择现有资源组,或选择“新建”
    池名称 输入要创建的群集池的名称。 群集池名称长度不能超过 26 个字符。 它必须以字母字符开头,以字母数字字符结尾,并且只能包含字母数字字符和连字符。
    区域 从下拉列表中,选择群集池的区域。 检查地区可用性。 对于虚拟网络中的群集池,虚拟网络和群集池的区域必须相同。
    群集池版本 从下拉列表中选择 HDInsight on AKS 群集池版本。
    虚拟机 从下拉列表中,根据要求选择群集池的虚拟机大小。
    托管资源组 (可选)为受管理资源组提供名称。 它保存由 HDInsight on AKS 创建的辅助资源。

    选择“下一步:安全性 + 网络”以继续。

  5. 在“安全性 + 网络”页上,提供以下信息:

    显示了群集池创建“网络和安全性”选项卡的示意图。

    properties 说明
    虚拟网络 (VNet) 从下拉列表中选择一个虚拟网络,该虚拟网络应与群集池位于同一区域。
    子网 从下拉列表中,选择要与群集池关联的子网的名称。

    选择“下一步:集成”以继续。

  6. 在“集成”页中提供以下信息

    显示了群集池创建“集成”选项卡的示意图。

    properties 说明
    Log Analytics (可选)选择此选项可让 Log Analytics 通过向 Log Analytics 工作区发送指标和日志,直接在群集中查看见解和日志。
    Azure Prometheus 完成群集池创建后,可以启用此选项。

    选择“下一步:标记”继续。

  7. 在“标记”页上,输入要分配给群集池的任何标记(可选)。

    显示了群集池创建“标记”选项卡的示意图。

    properties 说明
    Name 输入名称(键),可帮助你根据与组织相关的设置来识别资源。 例如,“Environment”用于跟踪资源的部署环境。
    输入有助于与资源关联的值。 例如,“Production”用于标识部署到生产的资源。
    资源 选择适用的资源类型。

    选择“下一步: 查看 + 创建”以继续。

  8. 在“审阅 + 创建”页面,查找页面顶部的“验证成功”消息,然后单击“创建”。

    创建群集池时,会显示“正在部署”页,群集池完全部署并准备就绪后,会显示“部署已完成页”。

    显示了群集池“查看并创建”选项卡的示意图。

    如果离开该页面,可通过单击“通知”图表来查看部署的状态。

    提示

    若要排查任何部署错误,可参考此页面

群集池部署完成后,继续使用 Azure 门户创建 TrinoFlinkSpark 群集。

创建群集

要从 Azure 门户在 AKS 群集上创建 Azure HDInsight,可以采用以下三种方法:

  • 从市场中搜索并创建“Azure HDInsight on AKS 群集”。
  • 在 Azure 门户中搜索并选择“Azure HDInsight on AKS 群集”,以从列出了所有 HDInsight on AKS 群集的页面创建群集。
  • 通过在现有群集池的“概述”页中选择“新建”来创建群集。 在此选项中,有两种方法可用于创建群集。
    • 不使用高级配置,通过提供最少的输入来创建群集。 此选项使用智能默认值预填充先决条件配置字段,并自动创建必需的资源。

      使用成本最低的建议 SKU 预填充虚拟机 SKU 大小。 如果缺少任何建议的 SKU,则会使用创建群集时可用 vCore 数最小和配额最高的 SKU 进行预填充。 创建群集时将会使用默认的五个节点常量数。 Flink 和 Trino 群集将会具有两个头节点,而 Spark 群集将有三个头节点。

      将在托管资源组中自动创建用户分配的托管标识和存储帐户。 你可以在“查看+创建”选项卡上复查将创建的群集的配置。单击“创建”后,在创建群集期间将显示“部署正在进行”页面。 完全部署群集并已准备好使用后,将会显示“部署已完成”消息。

      显示了群集创建基本模式的示意图。

    • 如果想要更灵活地自定义群集配置,请将“使用高级配置””切换“为“开”。

重要

若要在新群集池中创建群集,请在作为资源先决条件的一部分创建的用户分配的托管标识上,将 AKS agentpool MSI 分配为“Managed Identity Operator”角色。 当用户有权分配 Azure RBAC 角色时,会自动分配该角色。

AKS agentpool 托管标识是在群集池创建期间创建的。 可以通过(你的群集池名称)-agentpool 来标识 AKS agentpool 托管标识。 若要分配角色,请执行以下步骤。

若要快速入门,请参阅以下步骤。

  1. 群集池创建完成后,从已完成部署页或通知区域,单击转到资源。 如果“转到资源”选项 不可用,请在 Azure 门户的搜索栏中键入 HDInsight on AKS 群集池,然后选择创建的群集池。

  2. 单击“+ 新建群集”,然后提供以下信息:

    显示了“新建群集”选项的屏幕截图。

    显示了如何创建新群集的示意图。

    properties 说明
    订阅 默认情况下,它由用于群集池的订阅填充。
    资源组 默认情况下,它由用于群集池的资源组填充。
    群集池 表示必须在其中创建群集的群集池。 若要在不同的池中创建群集,请在门户中找到该群集池,然后单击“+ 新建群集“。
    区域 默认情况下,它由用于群集池的区域填充。
    群集池版本 默认情况下,它由用于群集池的版本填充。
    HDInsight on AKS 版本 从下拉列表中选择 HDInsight on AKS 版本。 有关详细信息,请参阅版本控制
    群集类型 从下拉列表中,选择要创建的群集类型:Trino、Flink 或 Spark。
    群集包 选择具有可用于所选群集类型的组件版本的群集包。
    群集名称 输入新群集的名称。
    用户分配的托管标识 选择要用于群集的托管标识。
    存储帐户 (ADLS Gen2) 选择存储帐户和容器,该容器是群集日志和其他输出的默认位置。 Apache Flink 和 Spark 群集类型是必需的。
    虚拟网络 (VNet) 群集的虚拟网络。 它派生自群集池。
    子网 群集的虚拟网络子网。 它派生自群集池。

    单击“下一步: 配置”以继续。

  3. 在“配置”页上,提供以下信息:

    显示了“配置”选项卡的示意图。

    properties 说明
    头节点大小 此值与工作器节点大小相同。
    头节点数 此值默认基于群集类型而设置。
    工作节点大小 从下拉列表中选择建议的 SKU,也可以通过单击“选择 VM 大小”选择订阅中的可用 SKU。
    工作器节点数 选择群集所需的工作器节点数。
    自动缩放 (可选)选择此选项以启用自动缩放功能
    安全外壳 (SSH) 配置 (可选)选择此选项以启用 SSH 节点。 通过启用 SSH,将创建更多 VM 节点。

    注意

    你将看到额外的部分,用于为 Apache Flink 群集提供服务配置。

    单击“下一步:集成”以继续。

  4. 在“集成”页中提供以下信息

    显示了“集成”选项卡的示意图。

    properties 说明
    Log Analytics (可选)选择此选项可让 Log Analytics 通过向 Log Analytics 工作区发送指标和日志,直接在群集中查看见解和日志。
    Azure Prometheus (可选)选择此选项可让 Azure 托管 Prometheus 通过向 Azure Monitor 工作区发送指标和日志,直接在群集中查看见解和日志。

    注意

    若要启用 Log Analytics 和 Azure Prometheus,应首先在群集池级别启用它。

    单击“下一步:标记”以继续。

  5. 在“标记”页上,输入要分配给群集的任何标记(可选)。

    显示了“标记”页面的屏幕截图。

    properties 说明
    Name 输入名称(键),可帮助你根据与组织相关的设置来识别资源。 “Environment”用于跟踪资源的部署环境。
    输入有助于与资源关联的值。 “Production”用于标识部署到生产的资源。
    资源 选择适用的资源类型。

    选择“下一步: 查看 + 创建”以继续。

  6. 在“审阅 + 创建”页面,查找页面顶部的“验证成功”消息,然后单击“创建”。

    显示了群集“查看并创建”选项卡的示意图。

    创建群集时,会显示“正在部署”页,群集完全部署并准备就绪后,会显示“部署已完成页”。

    提示

    若要排查任何部署错误,可参考此页面