Offentlig forhåndsversjon: Intelligent hurtigbuffer for Apache Spark i Azure Synapse
Publiseringsdato: 24 mars, 2022
Reduser behandlingstiden og øk ytelsen på gjentatte spørringer med den nye intelligente hurtigbufferen for Apache Spark i Azure Synapse. I motsetning til Apache Sparks opprinnelige hurtigbufferfunksjon lagrer den intelligente hurtigbufferen hver lesing automatisk i den tildelte hurtigbufferlagringsplassen, noe som gjør gjenkjenning av endringer i underliggende filer mulig. Den oppdaterer også filene som gir de nyeste dataene.
Den intelligente hurtigbufferen fungerer enkelt bak kulissene og bufrer data for å øke hastigheten på kjøringen av Apache Spark mens den leser fra ADLS Gen2-datasjøen. Den gjenkjenner også automatisk endringer i de underliggende filene og vil automatisk oppdatere filene i hurtigbufferen, slik at du får de nyeste dataene. Når hurtigbufferstørrelsen når grensen, frigir hurtigbufferen automatisk de minst leste dataene for å gi plass til nyere data.
Hvis du vil ha mer informasjon, kan du utforske dokumentasjonen vår.