Azure HDInsight 上支持 Apache Spark 2.4 和 Apache Kafka 2.1

Azure HDInsight 现支持 Apache Spark 2.4 和 Apache Kafka 2.1。可选择在 Azure 门户中创建群集的过程中需使用的 Spark 或 Kafka 版本。这两个更新均随附了多项新功能、数百个 bug 修补程序和改进功能。

Spark 2.4 可用于在笔记本中快速评估数据帧，支持屏障执行模式来改进与深度学习框架的集成，提供灵活流式处理接收器来实现对现有批处理连接器的使用，提供升级后的 Kafka 客户端（从 0.10 升级到 2.0），还提供内置的高阶函数和 Apache Avro 数据源。有关更新的完整列表，请查看 Apache Spark 2.4 的发行说明。

通过在 HDInsight 上从之前的版本 (1.1) 切换到 Kafka 2.1，提供改进的复制协议、KafkaAdminClient API 中的新功能、可配置的配额管理，还有对 Zstandard 压缩的支持，将带给客户更棒的中转站复原能力。有关更新的完整列表，请查看 Kafka 2.0 和 Kafka 2.1 的发行说明。

要开始使用 Azure HDInsight，请查看我们的文档。有关最新更新，请在 @AzureHDInsight 上关注我们或查看 HDInsight 博客。如有疑问和反馈，请联系 AskHDInsight@microsoft.com。