Suporte do Apache Spark 2.4 e do Apache Kafka 2.1 no Azure HDInsight
Data de publicação: 08 julho, 2019
Agora, o Azure HDInsight suporta o Apache Spark 2.4 e o Apache Kafka 2.1. Pode escolher a versão do Spark ou do Kafka que pretende durante a criação do cluster no portal do Azure. Ambas as atualizações incluem várias funcionalidades novas, centenas de correções de erros e melhorias.
O Spark 2.4 permite a avaliação diligente de Dataframes em blocos de notas; suporta o modo de execução Barreira para uma melhor integração com arquiteturas de aprendizagem profunda; sinks de transmissão em fluxo flexíveis para permitir a utilização de conectores batch existentes; cliente Kafka atualizado (da versão 0.10 para a versão 2.0); funções integradas de ordem superior; e origem de dados Apache Avro. Para obter uma lista completa de atualizações, veja as notas de versão do Apache Spark 2.4.
Ao mudarem para o Kafka 2.1 a partir da versão anterior (1.1) no HDInsight, os clientes irão obter melhor resiliência de mediador devido a um protocolo de replicação melhorado; nova funcionalidade na API KafkaAdminClient; gestão de quotas configurável; e suporte de compressão Zstandard. Para obter uma lista completa de atualizações, veja as notas de versão do Kafka 2.0 e do Kafka 2.1.
Para começar a utilizar o Azure HDInsight, veja a nossa documentação. Siga-nos em @AzureHDInsight ou no blogue do HDInsight para ficar a conhecer as atualizações mais recentes. Para perguntas e comentários, entre em contacto através do endereço AskHDInsight@microsoft.com.