Accélérez les charges de travail d’analytique et d’intelligence artificielle avec le moteur Delta propulsé par Photon sur Azure Databricks

Nous annonçons aujourd’hui la préversion du moteur Delta propulsé par Photon sur Azure Databricks, un service d’analytique et d’IA rapide, facile et collaboratif. Construit à partir de zéro en C++ et entièrement compatible avec les API Spark, Photon est un moteur de requête vectorisé qui exploite l’architecture moderne du processeur ainsi que Delta Lake pour multiplier jusqu’à 20 les performances d’Apache Spark 3.0. Alors que les organisations du monde entier adoptent la prise de décision basée sur les données, il est devenu impératif pour elles d’investir dans une plateforme qui puisse rapidement analyser des quantités et des types de données massifs. Cela constitue un vrai défi cependant. Alors que les performances du stockage et du réseau ont été multipliées par 10, les vitesses de traitement du processeur ont augmenté de façon marginale. Cela conduit à la question suivante : si les processeurs sont devenus le goulot d’étranglement, comment pouvons-nous atteindre le prochain niveau de performance ?  Photon apporte la réponse en offrant un plus grand parallélisme du traitement processeur au niveau des données et des instructions. Le moteur Delta propulsé par Photon est un moteur de requête vectorisé 100 % compatible avec Apache Spark conçu pour tirer parti de l’architecture processeur moderne pour un traitement parallèle extrêmement rapide des données. Écrit en C++ pour tirer parti du matériel moderne et capitaliser sur le parallélisme au niveau des données et des instructions du processeur, ce moteur optimise le traitement de texte et les expressions régulières pour atteindre des performances rapides sur les données et les applications du monde réel. Il est entièrement compatible avec les API Apache Spark™ pour garantir l’exécution transparente des charges de travail sans modification du code. Azure Databricks était déjà très rapide comparé à Apache Spark et maintenant, le moteur Delta propulsé par Photon permet des performances encore plus rapides pour l’analytique moderne et les charges de travail d’IA sur Azure. À l’issue d’un TPC Benchmark DS (TPC-DS) sur 30 To, test de benchmark standard pour mesurer la vitesse de traitement, nous avons découvert que le moteur Delta propulsé par Photon est jusqu’à 20 fois plus rapide que Spark 2.4.

Pour en savoir plus,lisez le blog.