Apache Spark 3.0 уже предоставляется в общедоступной предварительной версии в HDInsight 4.0.
Дата публикации: 14 апреля, 2021
Apache Spark 3.0 является следующим основным выпуском после версии 2.x и включает большое число улучшений по сравнению с предыдущими выпусками. В Apache Spark 3.0 добавлены такие функции производительности, как адаптивное выполнение запросов (AQE) и динамическое усечение разделов (DPP), а также улучшения для ANSI SQL, реализованные путем добавления поддержки для новых встроенных функций, дополнительных указаний для оператора join и операторов DML (например, DELETE, UPDATE и MERGE).
Полный список улучшений см. в заметках о выпуске Apache Spark 3.0.
Общедоступная предварительная версия Apache Spark 3.0 развертывается во всех регионах Azure с HDInsight. Если у вас возникли вопросы о доступности в определенном регионе, напишите по адресу askhdinsight@microsoft.com.