Understøttelse Apache Spark 2.4 og Apache Kafka 2.1 på Azure HDInsight
Dato for publicering: 08 juli, 2019
Azure HDInsight understøtter nu Apache Spark 2.4 og Apache Kafka 2.1. Du kan vælge den ønskede Spark- eller Kafka-version under oprettelsen af klyngen i Azure-portalen. Begge opdateringer indholder flere nye funktioner, hundredvis af fejlrettelser og forbedringer.
Spark 2.4 giver mulighed for umiddelbar evaluering af DataFrames in notebooks. Understøtter Barrier-udførelsestilstand, så der opnås en bedre integration med strukturer til detaljeret læring. Fleksible streaming-sinks, der gør det muligt at bruge eksisterende batchconnectorer. Opgraderet Kafka client (fra 0.10 til 2.0). Indbygget higher order-funktioner og Apache Avro-datakilde. Du kan se en fuldstændig liste over opdateringerne i produktbemærkningerne til Apache Spark 2.4.
Ved at skifte til Kafka 2.1 fra den tidligere version (1.1) på HDInsight får kunderne en bedre mæglertolerance på grund af en forbedrede replikeringsprotokol. Ny funktionalitet i KafkaAdminClient-API'en. Konfigurerbar kvotastyring. Og understøttelse af Zstandard-komprimering. Du kan se en fuldstændig liste over opdateringerne i produktbemærkningerne til Kafka 2.0 og Kafka 2.1.
Du kan se, hvordan du kommer i gang i vores dokumentation. Følg os på @AzureHDInsight eller HDInsight-bloggen for at få de seneste opdateringer. Hvis du har spørgsmål og feedback, kan du kontakte os på AskHDInsight@microsoft.com.