Azure HDInsight での Apache Spark 2.4 および Apache Kafka 2.1 のサポートについて

Azure HDInsight で Apache Spark 2.4 および Apache Kafka 2.1 がサポートされるようになりました。クラスターの作成時に、Spark か Kafka のどちらか希望するバージョンを Azure portal で選択できます。どちらの更新プログラムにも、新機能がいくつか追加されているほか、バグ修正や機能強化が数多くなされています。

Spark 2.4 では、ノートブックでの Dataframes の先行評価、ディープ ラーニング フレームワークとの統合を強化する Barrier 実行モードのサポート、既存のバッチ コネクタを使用できるようにする柔軟なストリーミング シンク、0.10 から 2.0 にアップグレードされた Kafka クライアント、ビルトイン高階関数、Apache Avro データ ソースのサポートが可能になっています。更新内容の完全な一覧については、Apache Spark 2.4 のリリース ノートをご覧ください。

HDInsight で以前のバージョン (Kafka 1.1) から Kafka 2.1 に切り替えると、レプリケーション プロトコルが改善されているため、ブローカーの回復性が高まります。また、KafkaAdminClient API の新機能、構成可能なクォータ管理、Zstandard 圧縮のサポートを活用できるようになります。更新内容の完全な一覧については、Kafka 2.0 および Kafka 2.1 のリリース ノートをご覧ください。

Azure HDInsight の使用を開始するには、Microsoft のドキュメントをご覧ください。最新情報は、@AzureHDInsight または HDInsight ブログでご覧いただけます。質問およびフィードバックは、AskHDInsight@microsoft.com までお送りください。