Pré-visualização pública: cache inteligente para o Apache Spark no Azure Synapse
Data de publicação: 24 março, 2022
Diminua o tempo de processamento e aumente o desempenho nas consultas repetidas com a nova cache inteligente para o Apache Spark no Azure Synapse. Ao contrário da funcionalidade de colocação em cache nativa do Apache Spark, a cache inteligente armazena automaticamente cada leitura no espaço de armazenamento em cache alocado, o que permite detetar alterações aos ficheiros subjacentes e atualizar os ficheiros para, assim, fornecer-lhe os dados mais recentes.
A cache inteligente trabalha discretamente em segundo plano e coloca os dados em cache para ajudar a acelerar a execução do Apache Spark enquanto faz a leitura a partir do seu data lake do ADLS Gen2. Também deteta automaticamente alterações aos ficheiros subjacentes e atualiza os ficheiros na cache de forma automática para, assim, fornecer-lhe os dados mais recentes. Quando o tamanho da cache atinge o limite, a cache remove automaticamente os dados menos lidos para criar espaço para dados mais recentes.
Para saber mais, explore a nossa documentação.