Suporte para o Apache Spark 2.4 e o Apache Kafka 2.1 no Azure HDInsight
Data da publicação: 08 julho, 2019
Agora o Azure HDInsight é compatível com o Apache Spark 2.4 e o Apache Kafka 2.1. Você pode escolher a versão do Spark ou do Kafka que desejar durante a criação do cluster no portal do Azure. Ambas as atualizações vêm com vários novos recursos, centenas de correções de bugs e melhorias.
O Spark 2.4 permite uma avaliação rápida dos Dataframes em notebooks. Ele é compatível com o modo de execução com Barreira para melhor integração com estruturas de aprendizado profundo, coletores de streaming flexíveis para habilitar o uso de conectores em lote existentes, cliente Kafka atualizado (de 0.10 para 2.0), funções de ordem superior internas, bem como fonte de dados do Apache Avro. Para obter uma lista completa de atualizações, confira as notas sobre a versão do Apache Spark 2.4.
Ao fazer a comutação da versão anterior do Kafka (1.1) para o Kafka 2.1 no HDInsight, os clientes terão melhor resiliência do agente devido a um protocolo de replicação aprimorado, nova funcionalidade na API KafkaAdminClient, gerenciamento de cotas configurável, além de suporte para compactação Zstandard. Para obter uma lista completa de atualizações, confira as notas sobre a versão do Kafka 2.0 e do Kafka 2.1.
Para começar a usar o Azure HDInsight, consulte nossa documentação. Siga-nos em @AzureHDInsight ou no blog do HDInsight para ter acesso às atualizações mais recentes. Para perguntas e comentários, entre em contato pelo email AskHDInsight@microsoft.com.