Disponível para o público geral: aumento do desempenho do Spark no Azure Synapse Analytics em até 77%
Data de publicação: 09 novembro, 2022
Estamos sempre a trabalhar para melhorar o desempenho do Spark no Azure Synapse Analytics. Estamos a fazer alterações significativas que aumentarão o desempenho do Spark até 77%.
Com base nos nossos testes com a referência do setor TPC-H de 1 TB, é provável que note um aumento no desempenho até 77%. Embora a sua carga de trabalho possa ter um desempenho diferente da referência TPC-H, esperamos que todos os utilizadores notem um aumento no desempenho. Estas melhorias de desempenho do Spark vêm da mudança para as VMs do Azure v5 mais recentes, as quais melhoraram o desempenho da CPU, aumentaram o débito temporário do SSD e, por fim, aumentaram o IOPS de armazenamento remoto.
Temos mais de 40 regiões em todo o mundo e iremos implementar esta alteração numa região de cada vez. A primeira região onde implementaremos esta alteração será o Canadá Central. Prevemos que a implementação destas alterações em todo o mundo demore vários meses. Publicaremos cada região que atualizarmos e os clientes receberão automaticamente o aumento do desempenho em cada região sem qualquer custo. Esperamos que o Canadá Central seja a primeira região.
Não é necessária qualquer ação da sua parte. Depois da atualização de cada região, as suas tarefas serão concluídas em menos tempo. Pode optar por reduzir o tamanho do nó ou o número de nós se a redução dos custos for mais importante para si do que o tempo decorrido para a conclusão de trabalhos.
Saiba mais sobre a otimização do desempenho do Spark e as configurações do conjunto do Apache Spark.