Ondersteuning voor Apache Spark 2.4 en Apache Kafka 2.1 in Azure HDInsight

Azure HDInsight biedt nu ondersteuning voor Apache Spark 2.4 en Apache Kafka 2.1. U kunt tijdens het maken van een cluster in Azure Portal naar keuze de Spark- of Kafka-versie kiezen. Beide updates bevatten diverse nieuwe functies, honderden opgeloste fouten en verbeteringen.

Spark 2.4 maakt het volgende mogelijk: 'eager' evaluatie van Dataframes in notebooks; ondersteuning van de Barrier-uitvoeringsmodus voor betere integratie met Deep Learning-frameworks; flexibele streamingsinks voor gebruik van bestaande batchconnectors; geüpgradede Kafka-client (van 0.10 naar 2.0); ingebouwde functies voor hogere rangschikking; en Apache Avro-gegevensbron. Raadpleeg de opmerkingen bij de Apache Spark 2.4-release voor een volledige lijst met updates.

Door in HDInsight van de vorige versie van Kafka (1.1) over te gaan op Kafka 2.1, beschikken klanten over betere brokertolerantie door het verbeterde replicatieprotocol, nieuwe functionaliteit in de KafkaAdminClient-API, configureerbaar quotumbeheer en ondersteuning voor Zstandard-compressie. Raadpleeg de opmerkingen bij de Kafka 2.0- en Kafka 2.1-release voor een volledige lijst met updates.

Raadpleeg de documentatie om met Azure HDInsight aan de slag te gaan. Volg ons op @AzureHDInsight of de HDInsight-blog voor de nieuwste updates. Voor vragen en feedback kunt u een e-mail sturen naar AskHDInsight@microsoft.com.