Préversion publique : Cache intelligent pour Apache Spark dans Azure Synapse
Date de publication : 24 mars, 2022
Réduisez le temps de traitement et augmentez les performances des requêtes de répétition avec le nouveau cache intelligent pour Apache Spark dans Azure synapse. Contrairement à la fonctionnalité de mise en cache native d’Apache Spark, le cache intelligent stocke automatiquement chaque lecture dans l’espace de stockage du cache alloué qui permet la détection des modifications de fichiers sous-jacentes et actualise les fichiers en fournissant les données les plus récentes.
Le cache intelligent fonctionne en toute transparence en arrière-plan et met en cache les données pour accélérer l’exécution d’Apache Spark à mesure qu’il lit à partir de votre lac de données ADLS Gen2. Il détecte également automatiquement les modifications apportées aux fichiers sous-jacents et actualise automatiquement les fichiers dans le cache en vous fournissant les données les plus récentes. Lorsque la taille du cache atteint sa limite, le cache libère automatiquement les données les moins lues pour pouvoir disposer d’espace pour les données plus récentes.
Pour en savoir plus, consultez notre documentation.