Apache Spark 3.0 ya está disponible en versión preliminar pública en HDInsight 4.0
Fecha de publicación: 14 abril, 2021
Apache Spark 3.0 es una versión principal después de la versión 2.x e incorpora importantes mejoras respecto a las versiones anteriores. Apache Spark 3.0 agrega varias características de rendimiento, como la ejecución de consultas adaptable (AQE) y la eliminación dinámica de particiones (DPP), además de algunas mejoras del lenguaje SQL ANSI, ya que incorpora compatibilidad con las nuevas funciones integradas, más sugerencias de combinación y operadores DML, como DELETE, UPDATE y MERGE.
Para obtener una lista completa de las mejoras, consulte las notas de la versión de Apache Spark 3.0.
La versión preliminar pública de Apache Spark 3.0 se está implementando en todas las regiones de Azure donde está disponible HDInsight. Póngase en contacto con askhdinsight@microsoft.com si tiene alguna duda sobre la disponibilidad en su región preferida.