Supporto per Apache Spark 2.4 e Apache Kafka 2.1 in Azure HDInsight
Data di pubblicazione: 08 luglio, 2019
Azure HDInsight supporta ora Apache Spark 2.4 e Apache Kafka 2.1. Puoi scegliere la versione di Spark o Kafka che preferisci durante la creazione del cluster nel portale di Azure. Entrambi gli aggiornamenti includono molte nuove funzionalità, centinaia di correzioni di bug e miglioramenti.
Spark 2.4 consente la valutazione di tipo eager dei dataframe nei notebook, supporta la modalità di esecuzione Barrier per migliorare l'integrazione con i framework di Deep Learning, i sink di streaming flessibili per consentire l'uso dei connettori batch esistenti, il client Kafka aggiornato (da 0.10 a 2.0), le funzioni di livello superiore predefinite e l'origine dati Apache Avro. Per un elenco completo degli aggiornamenti, vedi le note sulla versione di Apache Spark 2.4.
Passando a Kafka 2.1 dalla versione precedente (1.1) in HDInsight, i clienti otterranno una resilienza migliore del broker grazie a un protocollo di replica ottimizzato, oltre a nuove funzionalità nell'API KafkaAdminClient, gestione configurabile della quota e supporto per la compressione Zstandard. Per un elenco completo degli aggiornamenti, vedi le note sulla versione di Kafka 2.0 e Kafka 2.1.
Per iniziare a usare Azure HDInsight, vedi la documentazione. Per informazioni sugli aggiornamenti più recenti, seguici su @AzureHDInsight o sul blog di HDInsight. Per domande e feedback, contatta AskHDInsight@microsoft.com.