Schnellere Analyse- und KI-Workloads mit einer von Photon unterstützten Delta Engine auf Azure Databricks

Heute kündigen wir die Vorschau der von Photon unterstützten Delta Engine auf Azure Databricks an – den schnellen, einfachen und teamorientierten Dienst für Analysen und KI. Photon wurde von Grund auf in C++ entwickelt und ist vollständig mit den APIs von Spark kompatibel. Photon ist ein vektorisiertes Abfragemodul, das die moderne CPU-Architektur zusammen mit Delta Lake nutzt, um die Leistung von Apache Spark 3.0 um das bis zu 20-fache zu steigern. Da Unternehmen auf der ganzen Welt datengestützte Entscheidungen treffen, müssen sie dringend auch in eine Plattform investieren, die schnell umfangreiche und vielfältige Datenbestände analysieren kann. Der Weg dahin war schwierig. Während die Speicher- und Netzwerkleistung um das 10-fache gestiegen ist, hat sich das Tempo bei der CPU-Verarbeitung nur geringfügig erhöht. Das wirft die Frage auf, ob CPUs zum Engpass geworden sind und wie wir die nächste Leistungsstufe erreichen können.  Die Vorteile von Photon liegen in einer größeren Parallelität der CPU-Verarbeitung – sowohl auf Daten- als auch auf Befehlsebene. Die von Photon unterstützte Delta Engine ist ein zu 100 % Apache Spark-kompatibles vektorisiertes Abfragemodul, das die Vorteile der modernen CPU-Architektur für eine extrem schnelle parallele Datenverarbeitung nutzt. Diese Engine wurde von Grund auf in C++ programmiert, um die Vorteile moderner Hardware zu nutzen und von der Parallelität auf Daten- und CPU-Anweisungsebene zu profitieren. Sie optimiert die Verarbeitung von Text und regulären Ausdrücken, um die Leistung realer Daten und Anwendungen zu optimieren. Die Lösung ist vollständig mit den APIs von Apache Spark™ kompatibel. So wird sichergestellt, dass Workloads nahtlos und ohne Codeänderungen ausgeführt werden können. Im Vergleich zu Apache Spark war Azure Databricks schon immer ultraschnell. Aber mit der von Photon unterstützten Delta Engine auf Azure bietet sie eine noch bessere Leistung für moderne Analyse- und KI-Workloads in Azure. Mit einem 30 TB TPC-Benchmark DS (TPC-DS) nach Industriestandard haben wir die Verarbeitungsgeschwindigkeit gemessen und festgestellt, dass die von Photon unterstützte Delta Engine 20 Mal schneller als Spark 2.4 ist.

Weitere Informationen erhalten Sie im Blog.