使用 AKS 的資料串流

Azure App Service
Azure API 管理
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

解決方案構想

本文是解決方案概念。 如果您想要以更多資訊擴充內容,例如潛在的使用案例、替代服務、實作考慮或定價指引,請提供 GitHub 意見反應讓我們知道。

本文提供使用 AKS) Azure Kubernetes Service (解決方案,以快速處理和分析來自裝置的大量串流資料。

Apache®、Apache KafkaApache Spark是美國和/或其他國家/地區的 Apache Software Foundation 注冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。

架構

此架構圖顯示如何擷取、處理和分析來自裝置的串流資料。

下載這個架構的 Visio 檔案

資料流程

  1. 感應器會產生資料,並將其串流至 Azure API 管理。
  2. AKS 叢集會執行部署為服務網格後方容器的微服務。 容器是使用 DevOps 程式所建置,並儲存在Azure Container Registry中。
  3. 內嵌服務會將資料儲存在 Azure Cosmos DB 中。
  4. 以非同步方式,分析服務會接收資料,並將其串流至 Apache Kafka 和 Azure HDInsight。
  5. 資料科學家會使用機器學習模型和 Splunk 平臺來分析資料。
  6. 處理服務會處理資料,並將結果儲存在適用於 PostgreSQL 的 Azure 資料庫中。 服務也會快取Azure Cache for Redis中的資料。
  7. 在 Azure App 服務 中執行的 Web 應用程式會建立結果的視覺效果。

單元

此解決方案使用下列重要技術:

實例詳細資料

此解決方案非常適合涉及數百萬個資料點的案例,其中資料來源包括物聯網 (IoT) 裝置、感應器和車輛。 在這種情況下,處理大量資料是一項挑戰。 快速分析資料是另一項需要的工作,因為組織想要深入瞭解複雜的案例。

AKS 中的容器化微服務形成解決方案的重要部分。 這些獨立式服務會內嵌和處理即時資料流。 它們也會視需要進行調整。 容器的可攜性可讓服務在不同的環境中執行,並處理來自多個來源的資料。 為了開發和部署微服務,會使用 DevOps 和持續整合/持續傳遞 (CI/CD) 。 這些方法可縮短開發週期。

為了儲存擷取的資料,解決方案會使用 Azure Cosmos DB。 此資料庫可彈性調整輸送量和儲存體,使其成為大量資料的絕佳選擇。

解決方案也會使用 Kafka。 這個低延遲的串流平臺會以極高速處理即時資料摘要。

另一個重要解決方案元件是 HDInsight,這是受控的開放原始碼雲端分析服務。 HDInsight 可簡化在 Azure 中使用 Apache Spark 時,以大量和速度執行巨量資料架構。 Splunk 有助於資料分析程式。 此平臺會從即時資料建立視覺效果,並提供商業智慧。

潛在使用案例

此解決方案可受益于下列領域:

  • 車輛安全性,特別是汽車產業
  • 零售和其他產業中的客戶服務
  • 醫療保健雲端解決方案
  • 財務產業中的金融技術解決方案

下一步

產品文件:

Microsoft 訓練模組: