HDInsight 4.0 で、Apache Spark 3.0 を使用できるようになりました (パブリック プレビュー)。

Apache Spark 3.0 は、バージョン2.x からのメジャー リリースとなり、以前のリリースに比べて大幅な改善が加えられています。  Apache Spark 3.0 では、Adaptive Query Execution (AQE) や Dynamic Partition Pruning (DPP) などのパフォーマンス機能に加え、新しい組み込み関数、Join ヒントの追加、DELETE、UPDATE、MERGE などの DML 演算子のサポートが追加され、ANSI SQL も改善しています。

改善点の完全な一覧については、Apache Spark 3.0 リリース ノートをご覧ください。

Apache Spark 3.0 パブリック プレビューは、HDInsight が使用可能なすべての Azure リージョンにわたってデプロイされています。お客様のお好みのリージョンでの提供状況についてご不明な点がある場合は、askhdinsight@microsoft.com にお問い合わせください。