解决方案构想
本文是一种解决方案构想。 如果你希望我们在内容中扩充更多信息，例如潜在用例、备用服务、实现注意事项或定价指南，请通过提供 GitHub 反馈来告知我们。
本文介绍了在 Azure Kubernetes 服务 (AKS) 上进行实时推理的解决方案。
体系结构
下载此体系结构的 Visio 文件。
数据流
- 机器学习模型打包到容器中，并发布到 Azure 容器注册表。
- Azure Blob 存储保存训练数据集和训练的模型。
- Kubeflow 用于将训练作业部署到 AKS，包括参数服务器和工作器节点。
- Kubeflow 用于使生产模型可用。 此步骤可促进跨测试、控制和生产的一致环境。
- AKS 支持已启用 GPU 的 VM。
- 开发人员生成功能以查询在 AKS 群集中运行的模型。
组件
- Blob 存储是 Azure 存储中的一项服务。 Blob 存储提供针对大量非结构化数据进行了优化的云对象存储。
- 容器注册表生成、存储和管理容器映像，并且可以存储容器化的机器学习模型。
- AKS 是高度可用、安全且完全托管的 Kubernetes 服务。 使用 AKS 可以轻松部署和管理容器化应用程序。
- 机器学习是一种基于云的环境，你可使用它来训练、部署、自动化、管理和跟踪机器学习模型。 可以使用这些模型来预测未来的行为、结果和趋势。
方案详细信息
如果需要对机器学习模型进行大规模生产部署，则 AKS 非常有用。 大规模部署涉及快速响应时间、已部署服务的自动缩放和日志记录。 有关详细信息，请参阅将模型部署到 Azure Kubernetes 服务群集。
此解决方案使用 Kubeflow 来管理到 AKS 的部署。 机器学习模型在由启用了 GPU 的虚拟机 (VM) 支持的 AKS 群集上运行。
可能的用例
此解决方案适用于使用 AKS 和启用了 GPU 的 VM 进行机器学习的情况。 示例包括：
- 图像分类系统。
- 自然语言处理算法。
- 预测性维护系统。
后续步骤
- 什么是 Azure 机器学习？
- Azure Kubernetes 服务 (AKS)
- 将模型部署到 Azure Kubernetes 服务群集
- Azure 上的 Kubeflow
- 什么是 Azure Blob 存储？
- Azure 中的容器注册表简介