Apache Spark 2.4 et Apache Kafka 2.1 pris en charge sur Azure HDInsight
Date de publication : 08 juillet, 2019
Azure HDInsight prend désormais en charge Apache Spark 2.4 et Apache Kafka 2.1. Vous pouvez choisir la version Spark ou Kafka souhaitée lors de la création d’un cluster dans le Portail Azure. Les deux mises à jour sont accompagnées de plusieurs nouvelles fonctionnalités, de centaines de correctifs de bogues et d’améliorations.
Spark 2.4 permet une évaluation précise des Dataframes dans les notebooks ; prend en charge le mode d’exécution Barrier pour une meilleure intégration des frameworks de Deep Learning ; fournit des récepteurs de diffusion en continu pour permettre l’utilisation des connecteurs par lots existants ; met à niveau le client Kafka (de la version 0.10 à 2.0) ; comprend les fonctions intégrées de commande supérieures et la source de données Apache Avro. Pour obtenir la liste complète des mises à jour, consultez les notes de publication d’Apache Spark 2.4.
En passant à Kafka 2.1 à partir de la version précédente (1.1) sur HDInsight, les clients obtiennent une meilleure résilience des répartiteurs grâce à un protocole de réplication amélioré, de nouvelles fonctionnalités dans l'API KafkaAdminClient, la gestion configurable des quotas et le support de compression Zstandard. Pour obtenir la liste complète des mises à jour, consultez les notes de publication de Kafka 2.0 et de Kafka 2.1.
Pour commencer avec Azure HDInsight, consultez notre documentation. Suivez-nous sur @AzureHDInsight ou HDInsight blog pour connaître les dernières mises à jour. Pour poser des questions et formuler des commentaires, écrivez-nous à l’adresse AskHDInsight@microsoft.com.