Stöd för Apache Spark 2.4 och Apache Kafka 2.1 på Azure HDInsight

Inlägg på den 8 juli 2019

Azure HDInsight stöder nu Apache Spark 2.4 och Apache Kafka 2.1. Du kan välja den Spark- eller Kafka-version som du vill ha när klustret skapas i Azure-portalen. Båda uppdateringarna levereras med flera nya funktioner, hundratals felkorrigeringar och förbättringar.

Spark 2.4 tillåter omedelbar inläsning av Dataframes i anteckningsböcker, stöder barriärkörningsläge för bättre integrering med djupinlärningsramverk, flexibla strömningskanalmottagare för att möjliggöra användning av befintliga batchanslutningar, uppgraderad Kafka-klient (från 0.10 till 2.0), inbyggda överordnade funktioner och Apache Avro-datakälla. En komplett lista över uppdateringar finns i den viktiga informationen för Apache Spark 2.4.

Genom att byta till Kafka 2.1 från den föregående versionen (1.1) på HDInsight får kunderna bättre broker-återhämtning tack vare ett förbättrat replikeringsprotokoll, nya funktioner i KafkaAdminClient-API:et, konfigurerbar kvothantering, och stöd för Zstandard-komprimering. En komplett lista över uppdateringar finns i den viktiga informationen för Kafka 2.0 och Kafka 2.1.

Läs dokumentationen om du vill komma igång med Azure HDInsight. Följ oss på @AzureHDInsight eller HDInsight-bloggen och se de senaste uppdateringarna. Kontakta AskHDInsight@microsoft.com för frågor och feedback.

  • HDInsight
  • Features