O Apache Spark 3.0 agora está disponível em versão prévia pública no HDInsight 4.0.
Data da publicação: 14 abril, 2021
O Apache Spark 3.0 marca uma versão importante da versão 2.x e apresenta aprimoramentos significativos em relação às anteriores. O Apache Spark 3.0 adiciona recursos de desempenho como o AQE (execução de consulta adaptável) e o DPP (remoção de partição dinâmica) junto com aprimoramentos para ANSI SQL ao adicionar suporte para novas funções internas, dicas de junção adicionais e operadores DML, como EXCLUIR, ATUALIZAR e MESCLAR.
Para obter uma lista completa de aprimoramentos, consulte as notas sobre a versão do Apache Spark 3.0.
A versão prévia pública do Apache Spark 3,0 está sendo implantada em todas as regiões do Azure em que o HDInsight está disponível. Se você tiver dúvidas sobre a disponibilidade em sua região favorita, escreva para askhdinsight@microsoft.com.