Unterstützung von Apache Spark 2.4 und Apache Kafka 2.1 in Azure HDInsight
Veröffentlichungsdatum: 08 Juli, 2019
Azure HDInsight unterstützt jetzt Apache Spark 2.4 und Apache Kafka 2.1. Sie können die gewünschte Spark- oder Kafka-Version bei der Clustererstellung im Azure-Portal auswählen. Beide Updates umfassen mehrere neue Features, Hunderte Fehlerbehebungen und Verbesserungen.
Mit Spark 2.4 können Dataframes in Notebooks einfach ausgewertet werden. Außerdem wird für eine bessere Integration mit Deep Learning-Frameworks der Schrankenausführungsmodus unterstützt, und es bestehen flexible Streamingsenken für die Verwendung vorhandener Batchconnectors. Der Kafka-Client wurde von 0.10 auf 2.0 aktualisiert, es wurden Funktionen höherer Ordnung integriert, und es ist nun eine Apache Avro-Datenquelle vorhanden. Eine vollständige Liste der Updates finden Sie in den Versionshinweisen für Apache Spark 2.4.
Durch den Wechsel zu Kafka 2.1 von der vorherigen Version 1.1 in HDInsight erhalten Kunden eine höhere Brokerresilienz aufgrund des verbesserten Replikationsprotokolls, neue Funktionen in der KafkaAdminClient-API, konfigurierbare Kontingentverwaltung und Unterstützung der Zstandard-Komprimierung. Eine vollständige Liste der Updates finden Sie in den Versionshinweisen für Kafka 2.0 und Kafka 2.1.
Die ersten Schritte mit Azure HDInsight finden Sie in unserer Dokumentation. Folgen Sie uns unter @AzureHDInsight, oder lesen Sie unseren Blog zu HDInsight, wenn Sie sich über die neuesten Updates informieren möchten. Wenden Sie sich bei Fragen und Feedback unter AskHDInsight@microsoft.com an uns.