Ignorar navegação
NA VISUALIZAÇÃO

Versão prévia pública: Cache inteligente para Apache Spark no Azure Synapse

Data da publicação: 24 março, 2022

Diminua o tempo de processamento e aumente o desempenho em consultas de repetição com o novo cache inteligente para Apache Spark no Azure Synapse. Ao contrário do recurso de cache nativo do Apache Spark, o cache inteligente armazena automaticamente cada leitura no espaço de armazenamento de cache alocado, o que permite a detecção de alterações de arquivo subjacentes e atualiza os arquivos que fornecem os dados mais recentes.

O cache inteligente funciona perfeitamente nos bastidores e armazena em cache os dados para ajudar a acelerar a execução do Apache Spark à medida que ele lê no seu data lake ADLS Gen2. Ele também detecta automaticamente as alterações nos arquivos subjacentes e atualiza automaticamente os arquivos no cache, fornecendo a você os dados mais recentes. Quando o tamanho do cache atinge o limite, ele libera automaticamente os dados menos lidos para abrir espaço para os dados mais recentes.

Para saber mais, explore nossa documentação.

  • Features