你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

使用 Azure 门户在 HDInsight on AKS 中创建 Apache Flink® 群集

  • 项目

重要

此功能目前以预览版提供。 Microsoft Azure 预览版的补充使用条款包含适用于 beta 版、预览版或其他尚未正式发布的 Azure 功能的更多法律条款。 有关此特定预览版的信息，请参阅 Azure HDInsight on AKS 预览版信息。 如有疑问或功能建议，请在 AskHDInsight 上提交请求并附上详细信息，并关注我们以获取 Azure HDInsight Community 的更多更新。

完成以下步骤，在 Azure 门上创建 Apache Flink 群集。

先决条件

请完成以下部分中的先决条件：

重要

  • 若要在新群集池中创建群集，请在作为资源先决条件的一部分创建的用户分配的托管标识上，将 AKS agentpool MSI 分配为“Managed Identity Operator”角色。 如果拥有所需的权限，则此步骤在创建过程中是自动化的。
  • AKS agentpool 托管标识是在群集池创建期间创建的。 可以通过（你的群集池名称）-agentpool 来标识 AKS agentpool 托管标识。 若要分配角色，请执行以下步骤。

群集池部署完成后，可以创建 Flink 群集，让我们了解开始使用现有群集池的步骤

  1. 在 Azure 门户中，键入“HDInsight cluster pools/HDInsight/HDInsight on AKS”，然后选择“Azure HDInsight on AKS 群集池”以转到群集池页面。 在“HDInsight on AKS 群集池”页，选择要创建新 Flink 群集的群集池。

    显示 Azure 门户中的搜索栏的屏幕截图。

  2. 在特定的群集池页上，单击“+ 新建群集”并提供以下信息：

    properties 说明
    订阅 此字段会自动填充已注册到群集池的 Azure 订阅。
    资源组 此字段会自动填充，并显示群集池上的资源组。
    区域 此字段会自动填充，并显示群集池上选定的区域。
    群集池 此字段会自动填充，并显示群集现在在其中创建群集的群集池名称。若要在不同的池中创建群集，请在门户中找到该群集池，然后单击“+ 新建群集“。
    HDInsight on AKS 池版本。 此字段会自动填充，并显示此时创建的群集的群集池版本。
    HDInsight on AKS 版本 选择新群集的 HDInsight on AKS 次要版本或修补程序版本。
    群集类型 从下拉列表中选择“Flink”
    群集名称 输入新群集的名称。
    用户分配的托管标识 从下拉列表中，选择要用于群集的托管标识。 如果你是托管服务标识 (MSI) 的所有者，并且 MSI 在群集上没有托管标识操作员角色，请单击框下方的链接以分配 AKS 代理池 MSI 所需的权限。 如果 MSI 已具有正确的权限，则不显示任何链接。 有关 MSI 所需的其他角色分配，请参阅先决条件。
    存储帐户 从下拉列表中，选择要与 Flink 群集关联的存储帐户并指定容器名称。 在群集创建期间，使用“存储 Blob 数据所有者”角色进一步授予托管标识对指定存储帐户的访问权限。
    虚拟网络 群集的虚拟网络。
    子网 群集的虚拟子网。

  3. 为 Flink SQL 启用 Hive 目录。

    properties 说明
    使用 Hive 目录 启用此选项以使用外部 Hive 元存储。
    适用于 Hive 的 SQL 数据库 从下拉列表中，选择要在其中添加 hive 元存储表的 SQL 数据库。
    SQL 管理员用户名 输入 SQL Server 管理员用户名。 此帐户由元存储用来与 SQL 数据库通信。
    密钥保管库 从下拉列表中选择密钥保管库，其中包含具有 SQL 服务器管理员用户名密码的机密。 需要设置具有所有所需权限的访问策略，例如密钥权限、机密权限和 MSI 的证书权限，该权限用于群集创建。 MSI 需要 Key Vault 管理员角色，请使用 IAM 添加所需的权限。
    SQL 密码机密名称 从存储 SQL 数据库密码的密钥保管库中输入机密名称。

    屏幕截图显示“基本信息”选项卡。

    注意

    默认情况下，我们将存储帐户用于 Hive 目录，与群集创建期间使用的存储帐户和容器相同。

  4. 在完成时选择“下一步:配置以继续。

  5. 在“配置”页上，提供以下信息：

    properties 说明
    节点大小 选择要用于头节点和工作器节点的 Flink 节点的节点大小。
    节点数 选择 Flink 群集的节点数；默认情况下，头节点为 2。 工作器节点的大小调整有助于确定 Flink 的任务管理器配置。 作业管理器和历史记录服务器位于头节点上。

  6. 在“服务配置”部分中，提供以下信息：

    properties 说明
    任务管理器 CPU Integer。 输入任务管理器 CPU 的大小（以核心为单位）。
    任务管理器内存 (MB) 输入任务管理器内存大小（以 MB 为单位）。 最小值为 1800 MB。
    作业管理器 CPU Integer。 输入作业管理器的 CPU 数（以核心为单位）。
    作业管理器内存 (MB) 输入内存大小（以 MB 为单位）。 最小为 1800 MB。
    历史记录服务器 CPU Integer。 输入作业管理器的 CPU 数（以核心为单位）。
    历史记录服务器内存（以 MB 为单位） 输入内存大小（以 MB 为单位）。 最小为 1800 MB。

    屏幕截图显示“配置”选项卡。

    注意

    • 可以根据需要启用/禁用历史记录服务器。
    • Flink 支持基于计划的自动缩放。 可以根据需要计划工作器节点数。 例如，它启用了基于计划的自动缩放，默认工作器节点计数为 3。 在工作日从 9:00 UTC 到 20:00 UTC 期间，工作器节点计划为 10。 在当天晚些时候，需要默认为 3 个节点（从 20:00 UTC 到第二天 09:00 UTC 之间）。 在每周末的 UTC 9:00 至 20:00 期间，工作器节点为 4 个。

  7. 在“自动缩放和 SSH”部分，更新以下内容：

    properties 说明
    自动扩展 选择后，将能够选择基于计划的自动缩放来配置缩放操作的计划。
    启用 SSH 选择后，可以选择所需的 SSH 节点总数，这些节点是使用安全外壳的 Flink CLI 的接入点。 允许的最大 SSH 节点为 5。

    屏幕截图显示自动缩放服务配置。

    屏幕截图显示自动缩放规则。

  8. 单击“下一步：集成”按钮转到下一页。

  9. 在“集成”页中提供以下信息：

    properties 说明
    Log Analytics 仅当群集池具有关联的 Log Analytics 工作区时，此功能才可用，一旦启用，即可选中要收集的日志。
    Azure Prometheus 此功能为通过将指标和日志发送到 Azure Monitor 工作区，直接在群集中查看见解和日志。

    屏幕截图显示“集成”选项卡。

  10. 单击“下一步：标记”按钮转到下一页。

  11. 在“标记”页中提供以下信息：

    属性 说明
    名称 可选。 在 AKS 上输入 HDInsight 等名称，以轻松识别与群集资源关联的所有资源。
    值 可以将此保留为空。
    资源 已选择“选择所有资源”。

  12. 选择“下一步: 查看 + 创建”以继续。

  13. 在“审阅 + 创建”页面，查找页面顶部的“验证成功”消息，然后单击“创建”。

显示“部署正在处理”页面，其中创建了群集。 创建群集需要 5-10 分钟。 创建群集后，会显示消息“部署完成”。 如果离开页面，可以检查通知的当前状态。

注意

Apache、Apache Flink、Flink 和关联的开源项目名称是 Apache Software Foundation (ASF) 的商标。