Em disponibilidade geral: Aumentar o desempenho do Spark no Azure Synapse Analytics em até 77%
Data da publicação: 09 novembro, 2022
Estamos sempre trabalhando para aprimorar o desempenho do Spark do Azure Synapse Analytics. Estamos fazendo alterações significativas que vão aprimorar o desempenho do Spark em até 77%.
Com base em nossos testes usando o parâmetro de comparação TPC-H de 1 TB do setor, é provável que você veja um desempenho até 77% maior. Embora sua carga de trabalho possa ter um desempenho diferente do parâmetro de comparação TPC-H, espera-se que todos vejam um desempenho aprimorado. Essas melhorias de desempenho do Spark são decorrentes da mudança para as VMs do Azure v5 mais recentes, que melhoram o desempenho da CPU, aumentam a taxa de transferência de SSD temporária e aprimoram a IOPS de armazenamento remoto.
Temos mais de 40 regiões em todo o mundo e implementaremos essa mudança região por região. O Canadá Central será a primeira região que implementaremos. Esperamos que essas mudanças levem muitos meses para serem implementadas em todo o mundo. Publicaremos cada região que atualizarmos, e os clientes receberão automaticamente o aumento de desempenho em cada região sem custo. Esperamos que o Canadá Central seja a primeira região.
Não há ações necessárias. Depois que cada região for atualizada, seus trabalhos serão concluídos em menos tempo. Se a economia de custos for mais importante para você do que o tempo decorrido para a conclusão do trabalho, opte por reduzir o tamanho ou o número de nós.
Saiba mais sobre como otimizar o desempenho do Spark e sobre as configurações de pool do Apache Spark.