Fonctionnalité delta d’Azure Databricks disponible en préversion

La fonctionnalité delta est à présent disponible en préversion sans coût supplémentaire dans la référence (SKU) Premium d’Azure Databricks. Avec la fonctionnalité delta, les clients bénéficient d’une meilleure fiabilité des données, de performances améliorées pour leurs travaux et requêtes, ainsi que de la possibilité de simplifier leurs pipelines de données.

Avec la croissance explosive du volume de données analysées, la prolifération des types de données et le besoin d’analytiques en temps réel, les pipelines de données sont devenus extrêmement complexes. La plupart des clients créent des pipelines à plusieurs étapes nécessitant une résilience à chaque étape pour traiter des problèmes tels que des irrégularités de schéma et des conflits d’écritures. Cette complexité de la solution entraîne des problèmes de performances à grande échelle. La fonctionnalité delta dans Azure Databricks permet aux clients de simplifier considérablement leurs pipelines.

La fonctionnalité delta est une couche de stockage transactionnelle dans Azure Databricks. Vous pouvez interagir avec elle en lisant et en écrivant des données dans une table d’écarts (deltas), qui est une version optimisée d’une table Spark. Elle stocke vos données au format Parquet, et ajoute des métadonnées qui élargissent les fonctionnalités sur une table Spark. Elle offre une meilleure fiabilité et des performances supérieures sur les travaux et requêtes Spark dans Azure Databricks. La fonctionnalité delta simplifie également les pipelines de données en permettant que les tâches, tant de traitement par lots que de streaming, utilisent la même table, tout en assurant la cohérence des données, ce qui permet aux clients de simplifier la création de solutions analytiques hautes performances à grande échelle.

Commencez à tirer parti de la fonctionnalité delta sur Azure Databricks avec un minimum de changements de code. Elle fonctionne avec toutes les API existantes dans Spark, que les clients utilisent pour les tables Spark.

Pour commencer à utiliser la fonctionnalité delta sur Azure Databricks, consultez le notebook de démarrage rapide de la fonctionnalité delta de Databricks, et apprenez-en davantage sur celle-ci et ses capacités en lisant la documentation.