本日、ハイ パフォーマンス コンピューティング (HPC) と AI ワークロード用の マネージドハイ パフォーマンス並列ファイル システムである Azure Managed Lustre の一般提供についてお知らせします。Azure Managed Lustre は、時間テスト済みの Lustre ファイル システムを Azure 上のファースト パーティマネージド サービスとして提供します。オンプレミスの Lustre の長時間のユーザーは、Azure で提供されるコンピューティングやハイ パフォーマンス ストレージなど、完全な HPC ソリューションの利点を活用できるようになりました。ユーザーは、シームレスな管理エクスペリエンスとして Lustre の高スループットとパフォーマンス機能の恩恵を受け、ビジネス上の不可欠な作業に集中できるようになりました。
Azure Managed Lustre の必要性
HPC 世界で最も一般的な分散並列ファイルシステムの 1 つである Lustre は、HPC ワークロードのスケーラブルで高スループットのストレージ ニーズに対応するオンプレミスに長い間デプロイされてきました。オープンソース ソリューションとして、ユーザーと開発者の繁栄するエコシステムを享受してきました。ジェネレーティブ AI の最近の爆発的な成長と、高価な GPU コアがデータを待機しないようにする高スループット ストレージの必要性により、Lustre は導入の成長を一新しました。ハイ パフォーマンス コンピューティングを活用する業界のお客様は、デプロイが高速で使いやすいコンピューティング、ストレージ、ネットワークを含むシームレスなエンドツーエンドのインフラストラクチャを探しています。
Azure Managed Lustre を使用すると、次のことが可能になります。
- Lustre ファイル システムの心配のない展開と使用のためのマネージド PaaS エクスペリエンス。
- 従量課金制の価格による TCO の削減。
- ワークロードごとに異なる価格レベルのスループット オプション。
- 予測可能なパフォーマンスを備えた独立したクラスターを簡単にデプロイできるため、オンプレミスの Lustre デプロイでよく発生するノイズの多い近隣の問題が解消されます。
- 数分で迅速にデプロイし、数か月または数年前に計画し、コンプライアンスとデータ所在地の要件を満たす必要性を軽減します。
- コンプライアンスとデータ所在地の要件をサポートする、多くの Azure リージョンにわたるデプロイに適したリージョン。
- Azure Blob Storage への階層化の持続性、可用性、コストの利点に関連する数百ペタバイト (PB) へのスケーラビリティ。
- Azure HPC サービス、Azure Machine ラーニング、Azure Kubernetes サービスなど、既存の Azure コンピューティング サービスとのシームレスな統合。
- オンプレミスの Lustre デプロイから移行するときの、お客様の既存の自動化とプラットフォーム開発に対する投資保護。
現在、お客様が使用できる永続的な永続インスタンスが 2 つあります。これらはソリッド ステート ドライブ (SSD) に基づいており、プロビジョニングされたテビバイトの容量に対して提供されるパフォーマンス オプションによって区別されます。
- AMLFS Standard – 125 MB (メガバイト)/秒
- AMLFS プレミアム – 250 MB (メガバイト)/秒
Azure Managed Lustre のユーザーは、必要な Linux ディストリビューションとカーネル バージョンの packages.microsoft.com から Lustre クライアント パッケージをダウンロードできます。さらに、Ubuntu - 18.04、20.04、22.04、および Alma 8.7 用の Lustre クライアント パッケージで事前構築された HPC イメージのサポートが提供されます。
Azure Managed Lustre は、現在、複数のリージョンの Azure portal から入手できます。使用できるリージョンを最新の状態に保つには、リージョン別の利用可能な製品ページを参照してください。価格の詳細については、価格に関するページを参照してください。
Azure Managed Lustre で既に結果が表示されている
Azure Managed Lustre は、エネルギー、ライフサイエンス、気象学、自動車、医療、公共セクターの各業界で高スループットのストレージ アクセスを必要とする多様な企業や組織にサービスを提供します。
Azure Managed Lustre では、3D 製品モデルをシミュレートして市場投入までの時間を短縮するツールを実行しているか、データ分析プラットフォームに関する財務情報を照会する何千人ものユーザーにサービスを提供するか、生成 AI ソリューションの次の AI スーパーコンピューターを構築するのかについて説明しました。
エネルギーの世界的リーダーである Petronas が、大規模なデータ セットを非常に高いスループットでコンピューティング VM に供給する必要がある地震処理ワークロードの非常に複雑な定量的解釈を使用して上流のエネルギー研究を加速する必要があるとき、彼らは Azure Managed Lustre を選択しました。
Azure Managed Lustre は、PETRONAS のハイ パフォーマンス コンピューティング (HPC) ワークロードと AI ワークロードの固有の要件を満たすように特別に作成された優れたファイル システムです。優れたパフォーマンスを提供し、高いストレージ帯域幅を提供し、不可欠な Azure サービスとシームレスに統合します。—ファイザル B Zainol Alam、PETRONAS Digital General Manager
気象インテリジェンスを民主化するリーダーであり、混乱を招くメテオマティクスは、気象モデリングとシミュレーションのための高性能ファイル システムを必要とし、ニーズに合わせて Azure Managed Lustre を選択しました。Azure Managed Lustre と Azure CycleCloud の統合により、Meteomatics は HPC クラスターを迅速かつプログラムでデプロイできるため、気象データへの迅速かつ一貫したアクセスを探しているエンド カスタマーに価値を提供できます。
「Meteomatics では、ハイ パフォーマンス コンピューティング (HPC) を利用して複雑な数値気象予測モデルを実行し、お客様に正確な予測を提供しています。HPC コミュニティの信頼できるファイル システムである Lustre と LustreFS のシームレスなデプロイを活用することで、大量のデータボリュームを処理するために不可欠な高い IOPS とスループットを得ることができます。Azure Managed Lustre は、高い空間と時間の解像度で天気予報シミュレーションを高速化し、完了までの時間を大幅に短縮し、価値のあるお客様への予測データの迅速な配信を可能にします。"—CEO メテオマティクス のマーティン・フェンラー博士
「デューク臨床研究研究所は、臨床研究に役立つ分析ツールをサポートするために、高い I/O ニーズに対応するスケーラブルなソリューションを探していました。Azure Managed Lustre では、シンプルなデプロイ モデルを使用して、顧客に価値を迅速に提供することに集中できるニーズに対処しました。AMLFSのシンプルさとパワーは、高速共有ストレージの究極の選択肢であり、即時および長期的なニーズに対応する比類のないシンプルさと汎用性を備えた分析ツールを支援します。—Emilio Power、Research Analytics Lead、SAS システム アーキテクト、デューク臨床研究所
Azure Managed Lustre の使用
Azure Managed Lustre は、顧客の仮想ネットワーク内の単純なインターフェイスを介して、ホストされた代理サブスクリプションで配信されます。お客様は、メタデータ サーバー/ターゲット (MDS/MDT)、管理サーバー/ターゲット (MGS/MGT)、オブジェクト ストレージ サーバー/ターゲット (OSS/OST) など、Lustre ファイル システムの展開、管理、および運用の内部について心配する必要はありません。
Azure portal には、Azure Managed Lustre を構成してデプロイするためのシンプルなインターフェイスが用意されています。このインターフェイスでは、リソース グループ ID、サブネット ID、クラスター サイズ、必要なパフォーマンス オプションなどの入力が提供されます。ユーザーは、スループット、待機時間、IOPS のメトリックを使用して、クラスターのパフォーマンスを監視および監視できます。
Azure Managed Lustre の階層型ストレージ管理機能を使用すると、ユーザーは Azure Managed Lustre と Azure BLOB の間でシームレスにデータを転送できます。これにより、ユーザーはデータのアーカイブ、保持、保護の戦略を確立できます。大規模なデータセットを処理する場合、ユーザーは、Azure Blob で再メインデータをアーカイブおよび保持しながら、データ処理タスクに現在アクティブで重要なデータのみを Azure Managed Lustre クラスターにインポートできます。この方法により、実行時のコストが効果的に最小限に抑えられます。さらに、Azure BLOB へのデータ階層化を利用することで、ユーザーはグローバルなプレゼンスと可用性を利用して、必要に応じて複数のリージョンに Azure Managed Lustre クラスターを作成できます。Azure BLOB との統合により、ネットワーク ファイル システム (NFS)、Hadoop 分散ファイル システム (HDFS)、REST など、複数のプロトコルを介したデータのアクセシビリティも容易になります。
また、Azure Managed Lustre の CSI ドライバーの一般提供をお知らせします。これで、Azure Kubernetes Service で実行されているコンテナー化されたアプリケーションで、Azure Managed Lustre を簡単に使用できるようになりました。
次のステップ
Azure Managed Lustre とサポートされているそのさまざまな機能の使用方法に関する詳細については、ドキュメントを参照してください。
HPC および AI ソリューションの詳細
- Azure Managed Lustre の詳細を確認します。
- Azure Managed Lustre の技術ブログをご参照ください。
- HPC 向けに開発されたより技術的なコンテンツについては、Azure HPC ハブをご参照ください。
- Azure HPC について説明します。
- Azure AI インフラストラクチャの詳細を 確認します。