Podpora Apache Sparku 2.4 a Apache Kafka 2.1 ve službě Azure HDInsight
Datum publikování: 08 července, 2019
Azure HDInsight teď podporuje Apache Spark 2.4 a Apache Kafka 2.1. Během vytváření clusteru na webu Azure Portal si můžete zvolit požadovanou verzi platformy Spark nebo Kafka. Obě aktualizace zahrnují několik nových funkcí a stovky opravených chyb a vylepšení.
Spark 2.4 umožňuje vyhodnocování Dataframes v poznámkových blocích a podporuje režim spouštění Barrier pro lepší integraci s architekturami hlubokého učení, flexibilní jímky streamování umožňující využití stávajících dávkových konektorů, upgradovaného klienta Kafka (z 0.10 na 2.0), integrované funkce vyššího řádu a zdroj dat Apache Avro. Kompletní seznam aktualizací najdete v poznámkách k verzi pro Apache Spark 2.4.
Přepnutí na Kafka 2.1 z předchozí verze (1.1) zákazníci v HDInsightu získají vyšší odolnost zprostředkovatelů, a to díky vylepšenému replikačnímu protokolu, nové funkce v rozhraní API KafkaAdminClient, konfigurovatelnou správu kvót a podporu pro kompresi Zstandard. Kompletní seznam aktualizací najdete v poznámkách k verzi pro Kafka 2.0 a Kafka 2.1.
Pokud chcete začít s Azure HDInsightem, projděte si naši dokumentaci. Sledujte nás na @AzureHDInsight nebo na blogu k HDInsightu, kde najdete aktuální novinky. S případnými dotazy nebo připomínkami se obracejte na AskHDInsight@microsoft.com.