Общедоступная предварительная версия: интеллектуальный кэш для Apache Spark в Azure Synapse
Дата публикации: 24 марта, 2022
Сократите время обработки и увеличьте производительность выполнения повторных запросов с помощью нового интеллектуального кэша для Apache Spark в Azure Synapse. В отличие от встроенной функции кэширования Apache Spark, интеллектуальный кэш автоматически сохраняет каждую операцию чтения в выделенном пространстве хранения кэша, что позволяет обнаруживать изменения в базовых файлах и обновлять их, предоставляя самые последние данные.
Интеллектуальный кэш незаметно работает в фоновом режиме и кэширует данные, ускоряя работу Apache Spark во время считывания данных из озера данных ADLS 2-го поколения. Он также автоматически обнаруживает изменения в базовых файлах и автоматически обновляет файлы в кэше, предоставляя самые последние данные. Когда размер кэша достигает предельного значения, кэш автоматически удаляет наиболее редко считываемые данные, чтобы освободить место для новых данных.
Дополнительные сведения см. в нашей документации.