企業は現在、データを使用してさらに多くのことを行い、クラウドを最大限に活用し、AI の時代に備えてコンテナーを活用しようとしているため、データを大規模かつ確実かつ効率的に処理するサービスを探しています。本日は、クラウドネイティブのオープンソースビッグ データ サービスである Azure Kubernetes Service (AKS) 上の HDInsight の今後のパブリック プレビューが、2 つの新しいワークロードとスタック全体で多数の改善を行った Azure Kubernetes Service インフラストラクチャに完全に再設計されたことをお知らせします。パブリック プレビューは 10/10 に使用できるようになります。

パフォーマンスを向上する AKS 上の HDInsight

AKS 上の HDInsight には、Azure Kubernetes Service インフラストラクチャ上の Apache Spark、Apache Flink、Trino ワークロードが含まれており、監視に Prometheus と Grafana に Azure マネージド サービスを活用しながら、Power BI、Azure Data Factory、Azure Monitor などの一般的な Azure 分析サービスとの緊密な統合が機能します。AKS 上の HDInsight は、デプロイが簡単でコスト効率の高い運用が可能な、エンドツーエンドのオープンソース分析ソリューションです。 

AKS 上の HDInsight は、次の方法で、お客様が分析ニーズにオープンソース ソフトウェアを活用するのに役立ちます。 

• Apache Spark、Apache Flink、Trino などのオープンソース分析ワークロードのキュレーションされたセットを提供します。これらのワークロードは、データ エンジニアリング、機械学習、ストリーミング、クエリのためのクラス最高のオープン ソース ソフトウェアです。
• マネージド インフラストラクチャ、セキュリティ、監視を提供することで、チームはスタックの他のコンポーネントについて心配することなく、革新的なアプリケーションの構築に時間を費やすことができます。Teams は、HDInsight がデータの安全を維持するのに役立つことを確信できます。 
• 再利用可能なライブラリ用に現在の豊富なオープンソース エコシステムを活用し、スクリプト アクションを使用してアプリケーションをカスタマイズすることで、チームが機能を拡張するために必要な柔軟性を提供します。

オープンソース分析に深く投資しているお客様は、AKS 上の HDInsight を使用して、完全に機能するエンドツーエンドの分析システムを数分で設定し、既製の統合、組み込みのセキュリティ、信頼性の高いインフラストラクチャを活用することで、コストを削減できます。自動スケーリングなどのパフォーマンスの向上と機能への投資により、お客様は最適なコストで分析ワークロードを実行できます。AKS 上の HDInsight には、リソースまたはリージョンのサイズに加えて、プロビジョニングされたリソースのコストに関係なく、1 時間あたりの仮想コアあたりの非常にシンプルで一貫した価格構造が用意されています。

開発者は、スクリプト アクションとライブラリ管理を通じてオープンソース ワークロードの基本機能を拡張するために提供される柔軟性について HDInsight を愛しています。AKS 上の HDInsight には、ライブラリを管理し、リソースを監視するための直感的なポータル エクスペリエンスがあります。開発者は、ソフトウェア開発キット (SDK)、Azure Resource Manager (ARM) テンプレート、またはポータル エクスペリエンスを好みに応じて柔軟に使用できます。

今後の無料ウェビナーで、この発表について詳しくご紹介します。 

オープン、管理、柔軟性

AKS 上の HDInsight は、ストリーミング、クエリ処理、バッチ、機械学習のジョブと統合された視覚化を備えたエンタープライズ分析のニーズの全範囲をカバーします。 

キュレーションされたオープン ソース ワークロード

AKS 上の HDInsight には、一般的な分析シナリオでの使用、コミュニティの導入、安定性、セキュリティ、エコシステムのサポートに基づいて選択されたワークロードが含まれます。これにより、お客様は、重複する機能と一貫性のない相互運用性を備えた 無数のオファリングを考慮して、選択 の複雑さに取り組む必要がなくなります。  

AKS 上の HDInsight 上の各ワークロードは、それがサポートする分析シナリオに最適なクラスです。 

• Apache Flink は、ステートフル ストリーム処理を強化し、リアルタイム分析シナリオを可能にするオープンソースの分散ストリーム処理フレームワークです。 
• Trino は、高パフォーマンスでスケーラブルなフェデレーション クエリ エンジンであり、構造化されたデータ ソースと非構造化データ ソースの両方にわたるアドホック クエリに対処します。  
• Apache Spark は、データ エンジニアリングと機械学習のニーズに対して何百万人もの開発者から信頼される選択肢です。 

AKS 上の HDInsight は、共通の認証モデル、共有メタ ストアのサポート、事前構築済みの統合を備えた、これらの一般的なワークロードを提供します。これにより、分析アプリケーションを簡単にデプロイできます。

マネージド サービスによって複雑さが軽減される

AKS 上の HDInsight は、Azure Kubernetes Service インフラストラクチャのマネージド サービスです。マネージド サービスを使用すると、お客様は、オペレーティング システム、AKS インフラストラクチャ、オープンソース ソフトウェアなど、インフラストラクチャやその他のソフトウェア コンポーネントの管理に負担をかけられません。これにより、企業は貴重な開発時間を費やすことなく、継続的なセキュリティと機能およびパフォーマンスの強化の恩恵を受けることができます。 

コンテナー化により、主要なアーキテクチャ コンポーネントのシームレスなデプロイ、スケーリング、および管理が可能になります。AKS の固有の回復性により、障害が発生した場合に新しく委託されたノードでポッドを自動的に再スケジュールできます。つまり、サービス レベル アグリーメント (SLA) の中断を最小限に抑えてジョブを実行できます。 

データ レイクハウスで複数のワークロードを組み合わせるお客様は、さまざまなユーザー エクスペリエンスに対処する必要があります。その結果、学習曲線が急激になります。AKS 上の HDInsight は、レイクハウスを管理するための統合されたエクスペリエンスを提供します。すべてのワークロードのプロビジョニング、管理、監視は、1 つのウィンドウで実行できます。さらに、Prometheus と Grafana のマネージド サービスを使用すると、管理者はクラスターの正常性、リソース使用率、およびパフォーマンス メトリックを監視できます。  

AKS 上の HDInsight に含まれる自動スケール機能を通じて、リソース (つまりコスト) を使用のニーズに基づいて最適化できます。予測可能な負荷パターンを持つジョブの場合、チームは定義済みのタイムテーブルに基づいてリソースの自動スケールをスケジュールできます。グレースフル な使用停止により、リソースを停止する前にジョブを完了するための待機時間の定義が可能になり、コストとエクスペリエンスのバランスが優雅に調整されます。負荷ベースの自動スケーリングでは、コンピューティングとメモリの使用量によって測定された使用パターンに基づいて、リソースのスケールアップとダウンを行うことができます。 

AKS 上の HDInsight は、Kerberos などの従来のセキュリティ メカニズムからの移行をマークします。OAuth 2.0 をセキュリティ フレームワークとして採用し、データとリソースを保護するための最新かつ堅牢なアプローチを提供します。AKS 承認上の HDInsight では、アクセス制御はマネージド ID に基づいています。また、お客様は、クラスターのセットアップ中に独自の仮想ネットワークを持ち込み、それらを関連付け、セキュリティを強化し、エンタープライズ ポリシーに準拠できるようにします。クラスターは、テナント内のデータとリソースを保護するために名前空間で分離されます。AKS 上の HDInsight では、Azure Resource Manager (ARM) ロールを使用してクラスター アクセスを管理することもできます。 

プライベート プレビューに参加したお客様は、AKS の HDInsight を愛しています。 

1 人のユーザーが自分の経験について言わなければならなかったことを次に示します。 

「AKS 上の HDInsight では、社内ソリューションの制約から堅牢なマネージド プラットフォームにシームレスに移行しました。この重要な変化は、エンジニアがプラットフォーム管理に巻き込まれるのではなく、コアビジネスイノベーションに専門知識を自由にチャネル化できるようになったことを意味します。HDInsight と他の Azure 製品の調和のとれた統合により、効率が向上しました。セキュリティ強化により、データの整合性と信頼性が強化され、スケーラビリティにより、問題なく成長できるようになります。本質的に、AKS 上の HDInsight はデータ戦略を強化し、より合理化された効果的なビジネス運用を可能にします。 

Matheus Antunes、Data Architect、XP Inc

AKS リソース上の Azure HDInsight

• Azure Kubernetes Service (AKS) の詳細を 確認する