Пропустить и перейти к основному содержимому
УЖЕ ДОСТУПНО

Поддержка Apache Spark 2.4 и Apache Kafka 2.1 в Azure HDInsight

Дата публикации: 08 июля, 2019

Azure HDInsight теперь поддерживает Apache Spark 2.4 и Apache Kafka 2.1. Вы можете выбрать требуемую версию Spark или Kafka при создании кластера на портале Azure. Оба обновления включают несколько новых функций, а также сотни улучшений и исправлений ошибок.

Spark 2.4 обеспечивает немедленную оценку кадров данных в записных книжках, поддерживает режим выполнения Barrier для улучшенной интеграции с платформами глубокого обучения, гибкие приемники потоковой передачи, которые позволяют использовать существующие соединители пакетной службы, обновленный клиент Kafka (с версии 0.10 до 2.0), встроенные функции высшего порядка, а также источник данных Apache Avro. Полный список обновлений можно найти в заметках о выпуске Apache Spark 2.4.

При переходе на Kafka 2.1 с предыдущей версии (1.1) в HDInsight клиенты получают повышенную устойчивость брокера, которую обеспечивает улучшенный протокол репликации, новую функцию в API KafkaAdminClient, настраиваемые возможности управления квотами, а также поддержку сжатия Zstandard. Полный список обновлений можно найти в заметках о выпуске Kafka 2.0 и Kafka 2.1.

Приступить к работе с Azure HDInsight поможет наша документация. Следите за нашими новостями на странице @AzureHDInsight или в блоге HDInsight. Вопросы и отзывы отправляйте на адрес AskHDInsight@microsoft.com.

  • HDInsight
  • Features

Связанные продукты