Støtte for Apache Spark 2.4 og Apache Kafka 2.1 på Azure HDInsight
Publiseringsdato: 08 juli, 2019
Azure HDInsight støtter nå Apache Spark 2.4 og Apache Kafka 2.1. Du kan velge den Spark- eller Kafka-versjonen du vil ha under klyngeopprettelse i Azure-portalen. Begge oppdateringene kommer med flere nye funksjoner, samt hundrevis av feilrettinger og forbedringer.
Spark 2.4 tillater eager-evaluering av Dataframes i notebooks, støtter Barrier-utførelsesmodus for bedre integrering av rammeverk for dyplæring, har fleksible strømmemottakere for å muliggjøre bruk av eksisterende batch-kontakter, har oppgradert Kafka-klient (fra 0.10 til 2.0), innebygd høyere rekkefølgefunksjoner og Apache Avro-datakilde. Sjekk ut utgivelsesnotatene til Apache Spark 2.4 for en komplett liste over oppdateringer.
Ved å bytte fra Kafka versjon 1.1 til Kafka versjon 2.1 på HDInsight, vil kundene få bedre meglerfleksibilitet på grunn av en forbedret replikasjonsprotokoll, en ny funksjonalitet i API-en for KafkaAdminClient, konfigurerbar kvotebehandling og støtte for Zstandard-komprimering. Sjekk ut utgivelsesnotatene til Kafka 2.0 og Kafka 2.1 for en komplett liste over oppdateringer.
Se dokumentasjonen vår for å komme i gang med Azure HDInsight. Følg oss på @AzureHDInsight eller HDInsight-bloggen for de nyeste oppdateringene. For spørsmål eller tilbakemeldinger, kontakt oss på AskHDInsight@microsoft.com.