Azure HDInsight에서의 Apache Spark 2.4 및 Apache Kafka 2.1 지원

이제 Azure HDInsight는 Apache Spark 2.4 및 Apache Kafka 2.1을 지원합니다. Azure Portal에서 클러스터를 만드는 동안 원하는 Spark 또는 Kafka 버전을 선택할 수 있습니다. 두 업데이트 모두 몇 가지 새 기능, 수백 개의 버그 수정 및 개선 사항이 포함되어 제공됩니다.

Spark 2.4를 사용하면 Notebook에서 데이터 프레임을 즉시 계산할 수 있으며, 딥 러닝 프레임워크와의 향상된 통합을 위한 장벽 실행 모드, 기존 일괄 처리 커넥터를 사용할 수 있게 해주는 유연한 스트리밍 싱크, 업그레이드된 Kafka 클라이언트(0.10에서 2.0으로), 기본 제공 높은 순서 함수 및 Apache Avro 데이터 원본을 지원받을 수 있습니다. 전체 업데이트 목록은 Apache Spark 2.4의 릴리스 정보를 확인하세요.

고객은 HDInsight에서 이전 버전(1.1)에서 Kafka 2.1로 전환하여 개선된 복제 프로토콜, KafkaAdminClient API의 새로운 기능, 구성 가능한 할당량 관리 및 Zstandard 압축 지원으로 향상된 broker 복원력을 이용할 수 있습니다. 전체 업데이트 목록은 Kafka 2.0 및 Kafka 2.1의 릴리스 정보를 확인하세요.

Azure HDInsight를 시작하려면 설명서를 참조하세요. 최신 업데이트를 확인하려면 @AzureHDInsight에서 팔로우하거나 HDInsight 블로그를 확인하세요. 질문과 피드백이 있는 경우 AskHDInsight@microsoft.com으로 문의하세요.