Påskynda analyser och AI-arbetsbelastningar med Photon-drivna Delta Engine i Azure Databricks

I dag presenterar vi förhandsversionen av Photon-drivna Delta Engine i Azure Databricks – en snabb, enkel och samarbetsinriktad analys och AI-tjänst. Photon är en vektoriserad frågemotor som byggts från grunden i C++ och är helt kompatibel med Spark-API:er. Den utnyttjar modern CPU-arkitektur tillsammans med Delta Lake för att förbättra prestandan i Apache Spark 3.0 upp till 20 gånger. I takt med att organisationer världen över hela inför datadrivet beslutsfattande har det blivit viktigt att investera i en plattform som snabbt kan analysera enorma mängder och ett stort antal typer av data. Detta har dock blivit en utmaning. Lagrings- och nätverksprestanda har ökat tiofaldigt, men CPU-beräkningshastigheten har endast ökat marginellt. Därmed ställs vi inför följande fråga: Hur når vi nästa prestandanivå om CPU:er nu är flaskhalsen?  Svaret med Photon handlar om större parallellism för CPU-beräkning på både datanivå och instruktionsnivå. Photon-drivna Delta Engine 100 procent Apache Spark-kompatibel vektoriserad frågemotor utformad för att dra nytta av modern CPU-arkitektur för mycket snabb parallell bearbetning av data. Den här motorn har skrivits i C++ från grunden i syfte att dra nytta av modern maskinvara samt parallellism på datanivå och CPU-instruktionsnivå. Motorn optimerar textbearbetning och reguljära uttryck, vilket gör att verkliga data och program presterar högt. Den är helt kompatibel med Apache Spark™-API:er så att arbetsbelastningar körs sömlöst utan kodändringar. Azure Databricks var redan tidigare blixtsnabbt jämfört med Apache Spark, och nu ger Photon-drivna Delta Engine ännu snabbare prestanda för moderna analyser och AI-arbetsbelastningar i Azure. Vi körde en TPC Benchmark DS (TPC-DS) på 30 TB, ett prestandatest som är standard inom branschen. Resultatet blev att Photon-drivna Delta Engine hade 20 gånger högre beräkningshastighet än Spark 2.4.

Läs bloggen om du vill veta mer.