Versão prévia pública: Cache inteligente para Apache Spark no Azure Synapse
Data da publicação: 24 março, 2022
Diminua o tempo de processamento e aumente o desempenho em consultas de repetição com o novo cache inteligente para Apache Spark no Azure Synapse. Ao contrário do recurso de cache nativo do Apache Spark, o cache inteligente armazena automaticamente cada leitura no espaço de armazenamento de cache alocado, o que permite a detecção de alterações de arquivo subjacentes e atualiza os arquivos que fornecem os dados mais recentes.
O cache inteligente funciona perfeitamente nos bastidores e armazena em cache os dados para ajudar a acelerar a execução do Apache Spark à medida que ele lê no seu data lake ADLS Gen2. Ele também detecta automaticamente as alterações nos arquivos subjacentes e atualiza automaticamente os arquivos no cache, fornecendo a você os dados mais recentes. Quando o tamanho do cache atinge o limite, ele libera automaticamente os dados menos lidos para abrir espaço para os dados mais recentes.
Para saber mais, explore nossa documentação.