Saltar al contenido principal
EN VERSIÓN PRELIMINAR

Versión preliminar pública: caché inteligente para Apache Spark en Azure Synapse

Fecha de publicación: 24 marzo, 2022

Reduzca el tiempo de procesamiento y aumente el rendimiento de las consultas que se repiten con la nueva caché inteligente para Apache Spark en Azure Synapse. A diferencia del almacenamiento en caché nativo de Apache Spark, la caché inteligente almacena automáticamente cada operación de lectura en el almacenamiento en caché asignado, de modo que detecta los cambios de los archivos subyacentes y actualiza los archivos con los datos más recientes.

La caché inteligente funciona de forma fluida en segundo plano y almacena los datos en caché para acelerar la ejecución de Apache Spark cuando lee su lago de datos de ADLS Gen2. También detecta automáticamente los cambios en los archivos subyacentes y actualiza automáticamente los archivos en la memoria caché para proporcionar los datos más recientes. Cuando el tamaño de la memoria caché alcanza el límite, libera automáticamente los datos menos leídos con el fin de proporcionar espacio para los datos más recientes.

Si desea obtener más información, consulte la documentación.

  • Features