Aujourd’hui, nous sommes heureux d’annoncer la disponibilité générale d’Azure Managed Lustre, un système de fichiers parallèle haute performance managé pour les charges de travail HPC (High Performance Computing) et IA. Azure Managed Lustre fournit le système de fichiers Lustre testé dans le temps en tant que service géré par un premier groupe sur Azure. Depuis longtemps, les utilisateurs de Lustre sur site peuvent désormais tirer parti des avantages d’une solution HPC complète, y compris le calcul et le stockage hautes performances, fournis sur Azure. Les utilisateurs bénéficient des capacités de débit et de performances élevées de Lustre en tant qu’expérience managée transparente et peuvent désormais se concentrer sur leurs impératifs métier.

Besoin d’Azure Managed Lustre

Lustre, l’un des systèmes de fichiers parallèles distribués les plus populaires dans le monde HPC a depuis longtemps été déployé localement pour traiter des besoins de stockage évolutifs et à haut débit des charges de travail HPC. En tant que solution open source, elle a bénéficié d’un écosystème prospère d’utilisateurs et de développeurs. Avec la croissance explosive récente observée dans l’IA générative et la nécessité d’un stockage à débit élevé qui empêche les cœurs GPU coûteux d’attendre les données, Lustre a trouvé une croissance renouvelée dans son adoption. Les clients des secteurs qui tirent parti du calcul hautes performances recherchent une infrastructure de bout en bout transparente englobant le calcul, le stockage et la mise en réseau, qui est à la fois rapide à déployer et facile à utiliser.

Azure Managed Lustre active :

• Expérience PaaS managée pour le déploiement sans souci et la consommation du système de fichiers Lustre.
• Réduction du coût total avec paiement à l’utilisation.
• Options de débit à différents niveaux tarifaires pour différentes charges de travail.
• Déploiement facile de clusters indépendants avec des performances prévisibles, éliminant le problème de voisin bruyant couramment rencontré dans les déploiements Lustre locaux.
• Déploiement rapide en quelques minutes, réduisant ainsi la nécessité de planifier des mois ou des années à l’avance et de répondre aux exigences de conformité et de résidence des données.
• Région de choix pour les déploiements dans de nombreuses régions Azure, prenant en charge les exigences de conformité et de résidence des données.
• Scalabilité à des centaines de pétaoctets (PB), avec les avantages associés de la durabilité, de la disponibilité et des coûts de hiérarchisation vers le stockage Blob Azure.
• Intégration transparente avec les services de calcul Azure existants, notamment les services Azure HPC, Azure Machine Apprentissage et Azure Kubernetes Service.
• Protection des investissements pour le développement existant de l’automatisation et de la plateforme des clients lors de la migration à partir de déploiements Lustre locaux.

Aujourd’hui, deux instances durables persistantes sont disponibles pour les clients à utiliser. Celles-ci sont basées sur des disques SSD (SSD) qui sont différenciés par leur option de performances fournie pour le Tebibyte provisionné de capacité.

• AMLFS Standard – 125 Mo/s
• AMLFS Premium – 250 Mo/s

Les utilisateurs d’Azure Managed Lustre peuvent télécharger les packages clients Lustre à partir de packages.microsoft.com pour leur version de noyau et de distribution Linux souhaitée. En outre, nous aurons la prise en charge des images HPC prédéfinies avec les packages clients Lustre pour Ubuntu – 18.04, 20.04, 22.04 et Alma 8.7. 

Azure Managed Lustre est disponible aujourd’hui à partir du Portail Azure dans plusieurs régions. Pour vous tenir à jour sur les régions que vous pouvez utiliser, reportez-vous à nos produits disponibles par page de région. Pour en savoir plus sur la tarification, consultez notre page de tarification.

Les clients voient déjà des résultats avec Azure Managed Lustre

Azure Managed Lustre sert diverses entreprises et organisations qui ont besoin d’un accès de stockage à haut débit dans l’énergie, les sciences de la vie, la météorologie, l’automobile, les soins de santé et les industries du secteur public.

Azure Managed Lustre vous a abordé si vous exécutez des outils pour simuler des modèles de produits 3D afin d’accélérer le délai de commercialisation, de servir des milliers d’utilisateurs interrogeant des informations financières sur des plateformes d’analyse de données ou de créer le supercalculateur IA suivant pour votre solution IA générative. 

Quand Petronas, leader mondial de l’énergie, devait accélérer sa recherche énergétique amont avec une interprétation quantitative très complexe des charges de travail de traitement sismique qui ont besoin de grands jeux de données pour être alimentés aux machines virtuelles de calcul avec un débit très élevé, ils ont choisi Azure Managed Lustre.

« Azure Managed Lustre est un système de fichiers exceptionnel spécialement conçu pour répondre aux exigences uniques des charges de travail HPC (High Performance Computing) et IA de PETRONAS. Il offre des performances exceptionnelles, offrant une bande passante de stockage élevée et une intégration transparente avec les services Azure essentiels. » —Faizal B Zainol Alam, PETRONAS Digital General Manager

Les météomatiques, un leader et un disrupteur dans la démocratisation de l’intelligence météorologique ont besoin d’un système de fichiers hautes performances pour leurs simulations et modélisations météorologiques, ils ont choisi Azure Managed Lustre pour leurs besoins. L’intégration d’Azure Managed Lustre à Azure CycleCloud permet aux Meteomatics de déployer rapidement leurs clusters HPC et de leur permettre par programmation de fournir de la valeur à leurs clients finaux à la recherche d’un accès rapide et cohérent aux données météorologiques.

« Chez Meteomatics, nous nous appuyons sur le calcul haute performance (HPC) pour exécuter des modèles de prédiction météorologiques numériques complexes, fournissant des prévisions précises à nos clients. En tirant parti de Lustre, d’un système de fichiers approuvé dans la communauté HPC et du déploiement transparent de LustreFS, nous obtenons le nombre élevé d’IOPS et de débit essentiels pour la gestion de volumes de données massifs. Azure Managed Lustre accélère nos simulations de prévisions météorologiques avec une résolution spatiale et temporelle élevée, réduisant considérablement le délai d’achèvement et permettant une livraison plus rapide des données de prévision à nos clients valeurux. » — Dr Martin Fengler, PDG Meteomatics

« Duke Clinical Research Institute cherchait une solution évolutive pour leurs besoins élevés en E/S pour soutenir leurs outils d’analyse servant la recherche clinique. Azure Managed Lustre a traité ce besoin avec un modèle de déploiement simple qui leur permet de se concentrer sur la fourniture de valeur à leurs clients rapidement. Je vois la simplicité et la puissance sans effort d’AMLFS comme le choix ultime pour le stockage partagé haute vitesse, permettant à vos outils d’analyse avec une simplicité et une polyvalence inégalées pour les besoins immédiats et à long terme. — Emilio Power, Responsable d’analyse de la recherche, architecte système SAS, Duke Clinical Research Institute

Utilisation d’Azure Managed Lustre

Azure Managed Lustre est fourni dans un abonnement hébergé pour le compte, via une interface simple au sein du réseau virtuel client. Les clients n’ont pas à se soucier des éléments internes du déploiement, de la gestion et du fonctionnement du système de fichiers Lustre, y compris les serveurs/cibles de métadonnées (MDS/MDT), les serveurs d’administration/cibles (MGS/MGT) et les serveurs/cibles de stockage d’objets (OSS/OST).

Le Portail Azure offre une interface simple pour configurer et déployer Azure Managed Lustre, où les clients fournissent des entrées telles que l’ID de groupe de ressources, l’ID de sous-réseau, la taille du cluster et les options de performances souhaitées. Les utilisateurs ont la possibilité de surveiller et d’observer les performances de leur cluster avec des métriques de débit, de latence et d’E/S par seconde.

La fonctionnalité de gestion du stockage hiérarchique dans Azure Managed Lustre permet aux utilisateurs de transférer en toute transparence des données entre Azure Managed Lustre et Azure Blob. Cela permet aux utilisateurs d’établir des stratégies d’archivage, de rétention et de protection des données. Lorsque vous traitez de jeux de données volumineux, les utilisateurs peuvent importer uniquement les données actuellement actives et cruciales pour leurs tâches de traitement des données dans des clusters Azure Managed Lustre, tout en archivant et en conservant les données restantes dans l’objet blob Azure. Cette approche réduit efficacement les coûts d’exécution. En outre, en utilisant la hiérarchisation des données pour Azure Blob, les utilisateurs peuvent tirer parti de sa présence et de sa disponibilité globales pour créer des clusters Azure Managed Lustre dans plusieurs régions en fonction des besoins. L’intégration à Azure Blob facilite également l’accessibilité des données via plusieurs protocoles, tels que les systèmes de fichiers réseau (NFS), le système de fichiers distribués Hadoop (HDFS) et REST.

Nous sommes également très heureux d’annoncer la disponibilité générale du pilote CSI pour Azure Managed Lustre. À présent, les applications conteneurisées s’exécutant sur Azure Kubernetes Service peuvent facilement consommer Azure Managed Lustre.

Étapes suivantes

Découvrez comment utiliser Azure Managed Lustre et ses différentes fonctionnalités prises en charge dans notre documentation.

En savoir plus sur les solutions HPC et IA

• En savoir plus sur Azure Managed Lustre.
• Lire notre blog technique Azure Managed Lustre.
• Consulter notre hub Azure HPC pour obtenir du contenu plus technique développé pour le calcul HPC.
• En savoir plus sur notre HPC Azure.
• En savoir plus sur Azure AI Infrastructure.