将 Kafka 中的数据流式传输到 Azure 流分析（预览版）

Kafka 是一个分布式流式处理平台，用于发布和订阅记录流。 Kafka 旨在允许应用在记录发生时处理记录。 它是由 Apache Software Foundation 开发的开源系统，采用 Java 和 Scala 编写。

以下是主要用例：

• Messaging
• 网站活动跟踪
• 指标
• 日志聚合
• 流处理

Azure 流分析允许直接连接到 Kafka 群集以引入数据。 该解决方案是低代码的，完全由 Microsoft 的 Azure 流分析团队管理，因此可使其符合业务合规性标准。 ASA Kafka 输入向后兼容，支持从版本 0.10 开始具有最新客户端版本的所有版本。 用户可以使用公共终结点连接到 VNET 和 Kafka 群集内的 Kafka 群集，具体取决于配置。 配置依赖于现有的 Kafka 配置约定。 支持的压缩类型为 None、Gzip、Snappy、LZ4 和 Zstd。

步骤

本文介绍如何将 Kafka 设置为 Azure 流分析的输入源。 有六个步骤：

1. 创建 Azure 流分析作业。
2. 如果使用 mTLS 或 SASL_SSL 安全协议，请将 Azure 流分析作业配置为使用托管标识。
3. 如果使用 mTLS 或 SASL_SSL 安全协议，请配置 Azure Key Vault。
4. 将证书作为机密上传到 Azure Key Vault 中。
5. 授予 Azure 流分析访问已上传的证书的权限。
6. 在 Azure 流分析作业中配置 Kafka 输入。

配置

下表列出了用于创建 Kafka 输入的属性名称和说明：

身份验证和加密

可以使用四种类型的安全协议连接到 Kafka 群集：

有关连接到 Confluence Cloud kakfa 的分步教程，请访问文档：

• Confluent Cloud kafka 输入：将 Confluence Cloud Kafka 中的数据流式传输到 Azure 流分析
• Confluent Cloud kafka 输出：将 Azure 流分析中的数据流式传输到 Confluence Cloud

密钥保管库集成

Azure 流分析与 Azure Key Vault 无缝集成，以便在使用 mTLS 或 SASL_SSL 安全协议时访问身份验证和加密所需的存储机密。 Azure 流分析作业使用托管标识连接到 Azure 密钥保管库，以确保安全连接并避免机密外泄。 证书作为机密存储在密钥保管库中，并且必须采用 PEM 格式。

使用权限配置密钥保管库

可以按照文档快速入门：使用 Azure 门户创建密钥保管库创建密钥保管库资源。你必须拥有对密钥保管库的“密钥保管库管理员”访问权限才能上传证书。 按照以下步骤授予管理员访问权限：

1. 选择“访问控制 (IAM)”。

2. 选择“添加”>“添加角色分配”，打开“添加角色分配”页面 。

3. 使用以下配置分配角色：

通过 Azure CLI 将证书上传到密钥保管库

确保已使用 PowerShell 在本地配置 Azure CLI。 可以访问此页面以获取有关设置 Azure CLI 的指导：Azure CLI 入门

登录到 Azure CLI：

az login

连接到包含密钥保管库的订阅：

az account set --subscription <subscription name>

以下命令可以将证书作为机密上传到密钥保管库：

<your key vault> 是要将证书上传到的密钥保管库的名称。 <name of the secret> 是要为机密提供的任何名称，以及名称在密钥保管库中的显示方式。 <file path to certificate> 是证书所在的路径。 可以右键单击并复制证书的路径。

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

例如：

az keyvault secret set --vault-name mykeyvault --name kafkasecret --file C:\Users\Downloads\certificatefile.pem

配置托管标识

Azure 流分析要求配置托管标识以访问密钥保管库。 可以通过导航到左侧“配置”下的“托管标识”选项卡，将 ASA 作业配置为使用托管标识。

1. 单击“配置”下的“托管标识”选项卡。
2. 选择“切换标识”，然后选择要与作业一起使用的标识：系统分配的标识或用户分配的标识。
3. 对于用户分配的标识，请选择用户分配标识所在的订阅，然后选择标识的名称。
4. 查看并保存。

向流分析作业授予访问密钥保管库中的证书的权限

若要使 Azure 流分析作业读取密钥保管库中的机密，作业必须具有访问密钥保管库的权限。 使用以下步骤向流分析作业授予特殊权限：

1. 选择“访问控制 (IAM)”。

2. 选择“添加”>“添加角色分配”，打开“添加角色分配”页面 。

3. 使用以下配置分配角色：

VNET 集成

如果 Kafka 群集位于虚拟网络 (VNET) 内部或防火墙后面，则可能需要配置 Azure 流分析作业，以使用专用链接或专用网络配置访问 Kafka 主题。 有关详细信息，请访问在 Azure 虚拟网络中运行 Azure 流分析作业文档。

限制

• 将 Azure 流分析作业配置为使用 VNET/SWIFT 时，作业必须至少配置六 (6) 个流单元或一 (1) 个 V2 流单元。
• 将 mTLS 或 SASL_SSL 与 Azure Key Vault 配合使用时，必须将 Java 密钥存储转换为 PEM 格式。
• 可以配置 Azure Stream Analytics 连接的 Kafka 最低版本为 0.10。
• Azure 流分析不支持使用 OAuth 或 SAML 单一登录 (SSO) 对 Confluent Cloud 进行身份验证。 必须通过 SASL_SSL 协议使用 API 密钥

后续步骤

• 快速入门：使用 Azure 门户创建流分析作业
• 使用 Azure 流分析流式传输 confluent 云 kafka 中的数据
• 将 Azure 流分析中的数据流式传输到 confluent 云