在 Azure Databricks 上使用 Photon 提供的 Delta Engine 加速分析和 AI 工作負載
發佈日期： 九月 22, 2020
今天，我們宣佈在 Azure Databricks 上 Photon 提供的 Delta Engine 預覽 - 快速、簡單且共同作業的 Analytics 和 AI 服務。Photon 是以 C++ 從頭開始建置且完全相容於 Spark API 的向量化查詢引擎，利用現代化的 CPU 架構與 Delta Lake 來加強 Apache Spark 3.0 的效能，最高可達 20 倍。隨著全球各地的組織紛紛採用資料驅動的決策制定，他們就必須投資一個平台來快速分析大量和多類型的資料。不過，這是一項挑戰。雖然儲存體和網路效能已增加 10 倍，但 CPU 處理速度僅最低限度地增加。這會導致問題，如果 CPU 已成為瓶頸，如何達到下一個層級的效能？ Photon 的答案在於資料層級和指令層級的 CPU 處理更大幅利用平行處理原則。Photon 提供的 Delta Engine 是 100% Apache Spark 相容的向量化查詢引擎，其設計目的是要利用現代化的 CPU 架構進行極快速的資料平行處理。以 C++ 從頭撰寫來利用現代化的硬體並運用資料層級和 CPU 指示層級的平行處理原則，讓此引擎最佳化文字處理和規則運算式，以在真實世界的資料和應用程式上提供快速效能。它與 Apache Spark™ API 完全相容，以確保工作負載順暢地執行，而不需要變更程式碼。相較於 Apache Spark，Azure Databricks 已經突飛猛進，如今，Photon 提供的 Delta Engine 可讓 Azure 上的現代化分析和 AI 工作負載效能更快。我們執行了 30TB TPC 基準測試 DS (TPC-DS)、業界標準基準測試來測量處理速度，並發現 Photon 提供的 Delta Engine 比 Spark 2.4 更快 20 倍。
若要深入了解，請閱讀部落格。