Versnel analyse- en AI-workloads met Photon powered Delta Engine op Azure Databricks

Vandaag kondigen we de preview-versie van Photon powered Delta Engine op Azure Databricks aan - snelle, eenvoudige en samenwerkende analyse- en AI-service. Photon is volledig nieuw ontworpen in C++ en volledig compatibel met Spark API's. Het is een query-engine die als vector wordt uitgevoerd en gebruikmaakt van moderne CPU-architectuur in combinatie met Delta Lake om de prestaties van Apache Spark 3.0 tot wel 20x te verbeteren. Nu organisaties wereldwijd gebruikmaken van gegevensgestuurde besluitvorming, is het van cruciaal belang dat ze investeren in een platform dat snel enorme hoeveelheden en soorten gegevens kan analyseren. Dit is echter een uitdaging geweest. Hoewel de prestaties van opslag en netwerken met wel 10x zijn toegenomen, zijn de CPU-verwerkingssnelheden slechts een klein beetje toegenomen. Dit leidt tot de vraag: als CPU's het knelpunt zijn geworden, hoe kan dan het volgende prestatieniveau worden gerealiseerd?  Het antwoord met Photon ligt in groter parallellisme van CPU-verwerking op zowel gegevensniveau als instructieniveau. Photon powered Delta Engine is een 100% Apache Spark-compatibele query-engine die als vector wordt uitgevoerd en die is ontworpen om te profiteren van de moderne CPU-architectuur voor zeer snelle parallelle verwerking van gegevens. Photon is volledig nieuw ontworpen in C++ om te profiteren van moderne hardware en gebruik te maken van parallellisme op gegevens- en CPU-instructieniveau. Deze engine optimaliseert tekstverwerking en reguliere expressies om snelle prestaties met betrekking tot gegevens en toepassingen in de praktijk mogelijk te maken. Het is volledig compatibel met Apache Spark™ API's zodat workloads naadloos worden uitgevoerd zonder codewijzigingen. Azure Databricks liep al ver vooruit in vergelijking met Apache Spark en nu biedt Photon powered Delta Engine nog snellere prestaties voor moderne analyse- en AI-workloads op Azure. We hebben een 30 TB TPC Benchmark DS (TPC-DS) uitgevoerd, de industriestandaard benchmarktest om de verwerkingssnelheid te meten, en hebben vastgesteld dat de Photon powered Delta Engine 20x sneller is dan Spark 2.4.

Lees de blog voor meer informatie.