现已推出

Azure HDInsight 上支持 Apache Spark 2.4 和 Apache Kafka 2.1

更新时间:七月 08, 2019

Azure HDInsight 现支持 Apache Spark 2.4 和 Apache Kafka 2.1。可选择在 Azure 门户中创建群集的过程中需使用的 Spark 或 Kafka 版本。这两个更新均随附了多项新功能、数百个 bug 修补程序和改进功能。

Spark 2.4 可用于在笔记本中快速评估数据帧,支持屏障执行模式来改进与深度学习框架的集成,提供灵活流式处理接收器来实现对现有批处理连接器的使用,提供升级后的 Kafka 客户端(从 0.10 升级到 2.0),还提供内置的高阶函数和 Apache Avro 数据源。有关更新的完整列表,请查看 Apache Spark 2.4 的发行说明。

通过在 HDInsight 上从之前的版本 (1.1) 切换到 Kafka 2.1,提供改进的复制协议、KafkaAdminClient API 中的新功能、可配置的配额管理,还有对 Zstandard 压缩的支持,将带给客户更棒的中转站复原能力。有关更新的完整列表,请查看 Kafka 2.0Kafka 2.1 的发行说明。

要开始使用 Azure HDInsight,请查看我们的文档。有关最新更新,请在 @AzureHDInsight 上关注我们或查看 HDInsight 博客。如有疑问和反馈,请联系 AskHDInsight@microsoft.com

  • HDInsight
  • Features

Related Products