Apache Kafka for HDInsight

受管理的高輸送量、低延遲服務,適用於即時資料

Kafka for HDInsight 是企業級開放原始碼串流擷取服務,不僅經濟實惠,佈建、管理及使用上都十分容易。建置即時解決方案,例如物聯網 (IoT)、詐騙偵測、點選流分析、財務預警及社交分析等等。

達 99.9% SLA 的受管理 Kafka

購買硬體、安裝及調整位元需要花費許多時間與心力。確保這些機器一律啟動並執行而不致遺失任何資料,儼然成為愈來愈大的挑戰,並有很龐大的擁有權總成本。Kafka for Azure HDInsight 會為您管理這所有一切。透過按 4 下,幾分鐘內就能啟動並執行 Kafka 叢集,且 Kafka 執行時間達 99.9% SLA。這表示您可以專注於撰寫即時應用程式與其邏輯,並建置更高層級的管線,而不需要費心安裝新的 Kafka 訊息代理程式或修正中斷的訊息代理程式。

Azure 環境的機架感知

Kafka 的設計使用單一維度的機架檢視,適用於某些環境。不過,在 Azure 等環境中,一個機架會分成兩個維度 - 更新網域 (UD) 和容錯網域 (FD)。HDInsight Kafka 已開發可調整且強大的工具,確保 Kafka 在 Azure 環境中可感知機架。這些工具會重新平衡 UD 與 FD 之間的分割區和複本,以在 Azure 可用性區域內取得最高層級的 Kafka 可用性。

與 Azure 受控磁碟整合

由於大量擷取本質,附加至叢集上節點的磁碟通常會成為瓶頸。在過去,為了調整此瓶頸,需要新增更多節點。Azure 受控磁碟是提供更便宜之可調式磁碟的技術,這些磁碟是節點成本的一部分。HDInsight Kafka 已與這些磁碟整合,每個節點提供最多 16 TB,而不是過去的 1 TB。這會導致規模相對較高,但成本相對較低。由於這項創新,我們的企業客戶每月得以省下數千美金。

現成警示、監視和預測性維護

啟動並執行串流管線只是起點,確保其可靠地執行而沒有問題則需要大量投資監視和警示基礎結構。Kafka for HDInsight 已與現成的 Azure 監視套件整合,因此排除了這個問題。此技術可讓您監視 Kafka、Storm 和 Spark 的所有內容,從 VM 層級磁碟和 NIC 計量到 JMX 計量。您不只可以建立功能強大的警示和監視儀表板,還可以針對這些計量來指定指令碼和 Runbook,以對串流管線進行自動化和預測性維護。

複寫 Kafka 資料的 MirrorMaker 支援

Kafka 通常會部署在多個環境中,以進行災害復原並取得高可用性,適用於內部部署到雲端混合式案例。您必須將資料從一個 Kafka 複寫至另一個 Kafka 才能執行這些作業。HDInsight 已與企業客戶緊密合作以了解這項需求,並為資料複寫案例提供支援。HDInsight Kafka 上的鏡像很容易設定及使用。

幾分鐘就能調整叢集

估計訊息大小和每秒訊息數,串流需求會隨使用的管線而變更。在過去,叢集會依據尖峰流量來調整大小,因此導致未使用容量的成本很高。一旦需要新增更多節點,就必須佈建、安裝及設定新的機器,並重新套用自訂項目。在 HDInsight Kafka 上,一開始會使用很小的叢集,然後視需要相應放大,因此成本相對較低。HDInsight 會處理新節點的佈建,幾分鐘就能套用自訂項目。

您可以使用 Kafka for HDInsight 建置哪些項目?

了解以下使用案例

資料來自於各式各樣的事件來源 (應用程式、裝置、感應器、網頁、社群),且透過 Web API 或欄位閘道收集到雲端。此資料流由 Kafka for HDInsight 所內嵌,供處理及分析像是 Azure Machine Learning、Spark for HDInsight、Storm for HDInsight 及儲存裝置介面卡等服務之用。資料會透過像是 Apache HBase on HDInsight、DocumentDB、MonoDB SQL、Solr Azure、Data Lake Store 及 Azure 搜尋服務等服務,移至長期性儲存體。然後您可執行即時儀表板、查詢及分析,或將資料傳送至裝置,以採取動作。

使用 Kafka for HDInsight 的客戶

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

剛開始使用 Kafka for HDInsight 嗎?

使用下列連結,透過 Azure 上的 Kafka、Storm 和 Spark Streaming 來建立強大、適合企業使用的串流管線。

使用 Azure 監視即時串流管線

了解如何使用 HDInsight Kafka 與 Azure 監視的整合來建立功能強大的警示和監視儀表板,以及串流管線的自動化指令碼和 Runbook 預測性維護。

試用 Kafka for HDInsight