Openbare preview: intelligente cache voor Apache Spark in Azure Synapse
Publicatiedatum: 24 maart, 2022
Verminder de verwerkingstijd en verhoog de prestaties van herhalingsquery's met de nieuwe intelligente cache voor Apache Spark in Azure Synapse. In tegenstelling tot de systeemeigen cachefunctie van Apache Spark wordt met de intelligente cache elke leesbewerking automatisch opgeslagen in de toegewezen cacheopslagruimte, waardoor onderliggende bestandswijzigingen kunnen worden gedetecteerd en de bestanden worden vernieuwd met de meest recente gegevens.
De intelligente cache werkt naadloos achter de schermen en slaat de gegevens op in cache om de uitvoering van Apache Spark te versnellen bij leesbewerkingen vanuit Azure Data Lake Storage Gen2. Ook worden wijzigingen in de onderliggende bestanden automatisch gedetecteerd en worden de bestanden in de cache automatisch vernieuwd, zodat je over de meest recente gegevens beschikt. Wanneer de limiet van de cachegrootte is bereikt, worden de minst gelezen gegevens automatisch vrijgeven om ruimte te maken voor recentere gegevens.
Bekijk de documentatie voor meer informatie.