Obsługa platform Apache Spark 2.4 i Apache Kafka 2.1 w usłudze Azure HDInsight

Usługa Azure HDInsight obsługuje teraz platformy Apache Spark 2.4 i Apache Kafka 2.1. Możesz wybrać wersję platformy Spark lub Kafka podczas tworzenia klastra w witrynie Azure Portal. Obie aktualizacje zawierają kilka nowych funkcji oraz setki poprawek błędów i ulepszeń.

Platforma Spark 2.4 umożliwia szybką ocenę ramek danych w notesach oraz obsługuje tryb wykonywania barier na potrzeby lepszej integracji ze strukturami uczenia głębokiego, elastyczne elementy sink przesyłania strumieniowego na potrzeby korzystania z istniejących łączników wsadowych, uaktualnionego klienta Kafka (od wersji 0.10 do 2.0), wbudowane funkcje wyższego rzędu i źródło danych Apache Avro. Pełna lista aktualizacji znajduje się w informacja o wersji platformy Apache Spark 2.4.

Przechodząc na platformę Kafka 2.1 z poprzedniej wersji (1.1) w usłudze HDInsight, klienci uzyskają lepszą odporność brokera dzięki ulepszonemu protokołowi replikacji, nową funkcjonalność w interfejsie API KafkaAdminClient, konfigurowalne zarządzanie przydziałami i obsługę kompresji Zstandard. Pełna lista aktualizacji znajduje się w informacja o wersji platform Kafka 2.0 i Kafka 2.1.

Aby rozpocząć korzystanie z usługi Azure HDInsight, zapoznaj się zdokumentacją. Obserwuj nas w kanale @AzureHDInsight lub na blogu usługi HDInsight, aby uzyskiwać informacje o najnowszych aktualizacjach. W razie pytań lub chęci przesłania opinii skontaktuj się z nami pod adresem AskHDInsight@microsoft.com.