Få fart på analyser og kunstig intelligens arbeidsbelastning med Photon-drevne Delta Engine på Azure Databricks

I dag kunngjør vi forhåndsversjonen av Photon-drevet Delta-motor på Azure Databricks – rask, enkel og samarbeidende tjeneste for analyse og kunstig intelligens. Den er bygget fra bunnen av i C++ og fullt kompatibel med Spark API-er. Photon er en vektorbasert søkemotor som utnytter moderne CPU-arkitektur sammen med Delta Lake for å forbedre ytelsen til Apache Spark 3.0 med opptil 20 ganger. Ettersom organisasjoner over hele verden omfavner datadrevet beslutningstaking, har det blitt viktig for dem å investere i en plattform som raskt kan analysere store mengder og ulike typer data. Dette har imidlertid vært en utfordring. Mens lagring og nettverksytelse har økt 10 ganger, har prosesseringshastigheter for CPU bare økt marginalt. Dette fører til spørsmålet, hvis CPU-er har blitt flaskehalsen, hvordan kan vi oppnå neste ytelsesnivå?  Svaret til Photon ligger i større parallellitet i CPU-behandling både på datanivå og instruksjonsnivå. Photon-drevne Delta Engine er en vektorbasert søkemotor som er 100 % kompatibel med Apache Spark. Den er utformet for å dra nytte av moderne CPU-arkitektur for ekstrem rask parallell behandling av data. Denne motoren er skrevet fra grunnen av i C++ for å dra nytte av moderne maskinvare og utnytte parallellitet på datanivå og CPU-instruksjonsnivå, samt optimalisere tekstbehandling og vanlige uttrykk for å gi rask ytelse av virkelige data og programmer. Den er fullt kompatibel med API-er for Apache Spark™ for å sikre at arbeidsbelastninger kjøres sømløst uten kodeendringer. Azure Databricks var allerede superrask sammenlignet med Apache Spark, og nå muliggjør Photon-drevet Delta Engine enda raskere ytelse for moderne analyse og kunstig intelligens arbeidsbelastning på Azure. Vi kjørte en referansetest av industristandard, 30 TB TPC Benchmark DS (TPC-DS), for å måle prosesseringshastigheten. Vi fant at den Photon-drevne Delta Engine var 20 ganger raskere enn Spark 2.4.

Les bloggen for å finne ut mer.