Azure Managed Lustre : système de fichiers parallèle pour les charges de travail HPC et IA
Aujourd’hui, Microsoft annonce la préversion publique d’Azure Managed Lustre, un nouvel ajout aux offres de stockage dans notre solution Azure HPC + IA.
Aujourd’hui, Microsoft annonce la préversion publique d’Azure Managed Lustre, un nouvel ajout aux offres de stockage dans notre solution Azure HPC + IA. Lustre est un système de fichiers parallèle open source renommé pour l’informatique haute performance (HPC) et est adapté à l’informatique en cluster à grande échelle. Azure Managed Lustre fournit le stockage hautes performances de Lustre avec le contrôle et la cohérence du cloud de Microsoft. Par conséquent, les clients peuvent se concentrer sur leurs objectifs métier, qu’il s’agisse de créer un système de détection des fraudes basé sur l’analytique SAS, de décoder le génome humain pour créer la prochaine percée en médecine, de repousser les frontières de l’exploration énergétique avec le traitement des données sismiques et les solutions énergétiques durables ou de prédire les modèles climatiques et météorologiques impactant la vie humaine sur la planète terre.
Lustre comme service managé Azure
Avec Lustre comme service managé, les utilisateurs peuvent désormais se concentrer sur la création et l’exécution de leurs applications HPC et IA sans devoir gérer un système de fichiers parallèle avancé. Les charges de travail HPC et IA peuvent migrer en toute fluidité vers le cloud, en conservant leur compatibilité avec Lustre et en protégeant les investissements existants en matière d’automatisation et de plateforme, développés lors de leur exécution locale. Azure Managed Lustre permet un déploiement à la demande rapide de clusters qui servent des régions mondiales, réduisant ainsi la planification anticipée tout en répondant aux exigences de conformité et de résidence des données. Grâce à une large gamme d’options de performances, Azure Managed Lustre fournit une solution élastique dans laquelle les utilisateurs peuvent déployer des clusters indépendants et exclusifs avec des performances prévisibles, éliminant le problème du voisin bruyant (noisy-neighbor) couramment rencontré dans les infrastructures partagées locales.
La préversion publique comprend deux SKU basés sur SSD durables qui offrent un choix d’options de performances pour les charges de travail stratégiques : 125 Mo/s et 250 Mo/s pour chaque Tio approvisionné de capacité. Pendant la préversion, vous pouvez créer des tailles de cluster jusqu’à 128 Tio par défaut, avec une option permettant d’effectuer un scale-up jusqu’à 768 Tio à la demande. Azure Managed Lustre repose sur des disques managés Azure hautement durables avec un stockage localement redondant composé de 3 réplicas. Même si un ou deux réplicas rencontrent des problèmes, vous disposez néanmoins d’une tolérance aux défaillances. Azure Managed Lustre fournit un Lustre compatible POSIX version 2.15 (LTS), qui offre plusieurs améliorations de performances. Nous nous sommes concentrés sur les fonctionnalités qui permettent aux utilisateurs d’utiliser Azure Managed Lustre facilement, sans avoir à se soucier de la création et du déploiement des clients Lustre sur leurs machines virtuelles et conteneurs de calcul. Avec la préversion d’Azure Managed Lustre, les clients peuvent choisir entre :
- Utiliser des images Azure HPC prédéfinies avec des packages client Lustre pour Ubuntu 18.04 et 20.04 (ou)
- Télécharger les packages client Lustre à partir de packages.microsoft.com pour les distributions Linux – Ubuntu 18.04, 20.04 & 22.04 ; RHEL 7.8 & RHEL 8.0
L’étagement des données à l’aide de la gestion hiérarchique du stockage permet aux utilisateurs d’importer et d’exporter des données entre Azure Managed Lustre et Azure Blob. Cette fonctionnalité permet aux utilisateurs de définir l’archivage, la rétention et la protection des données en fonction de stratégies prédéfinies. Les utilisateurs de jeux de données volumineux peuvent importer les données qui sont chaudes et pertinentes pour leur traitement de données actif dans les clusters Azure Managed Lustre, et archiver ou conserver les données restantes dans Azure Blob. Cela leur permet de conserver des coûts d’exécution peu élevés. En outre, l’étagement des données vers Azure Blob permet aux utilisateurs de tirer parti de sa présence et de sa disponibilité globales pour instancier des clusters Azure Managed Lustre dans plusieurs régions à la demande. L’intégration à Azure Blob facilite également l’accès aux données multiprotocoles via NFS, HDFS et REST. Les applications en conteneur modernes d’IA, de Machine Learning (ML) et d’analyse peuvent désormais s’exécuter sur Azure Kubernetes Service en tirant parti du pilote CSI pour Azure Managed Lustre. Par exemple, les applications d’analyse basées sur SAS Viya peuvent exploiter en toute fluidité les performances de stockage par cœur élevées dont elles ont besoin en s’intégrant au pilote CSI Azure Managed Lustre.
Conçu pour les charges de travail HPC et IA
Nous sommes reconnaissants à nos clients en préversion privée de nous avoir aidés à créer et à perfectionner le produit, tout en répondant à leurs besoins essentiels. Nous nous engageons à créer et à prendre en charge Azure Managed Lustre car il vous aide dans les expériences d’exécution de vos applications hautes performances dans Azure.
« Nous travaillons avec des clients qui ont de nombreux types de charges de travail HPC différents et nous avons fréquemment atteint les contraintes de performances de stockage, car leurs projets peuvent impliquer entre quelque milliers et plusieurs dizaines de milliers de fichiers, tous devant être lus et écrits en parallèle. Lorsque nous rencontrons des goulots d’étranglement de stockage ou des erreurs de limitation sur nos plateformes HPC, nous savons que c’est le moment de passer à Azure Managed Lustre. Avec Azure Managed Lustre, nous pouvons ajouter un stockage extrêmement performant qui peut facilement suivre le rythme du calcul HPC et synchroniser automatiquement les données d’entrée et de résultats avec le stockage blob persistant. Azure Managed Lustre pouvant être démarré et arrêté à la demande, en quelques minutes, il est relativement rentable et est amorti en nous donnant la possibilité d’augmenter ou de diminuer notre puissance de calcul HPC, générant des résultats beaucoup plus rapidement »; Felipe Ayora, directeur de la recherche et de l’informatique avancée, BizData.
« Le nouveau système de fichiers Azure Managed Lustre change véritablement la donne. Il accélère le déploiement HPC de nos logiciels et élimine le besoin d’exécuter des serveurs de stockage persistants. Le programme d’installation est simple et les performances d’E/S parallèles sont suffisamment rapides pour prendre en charge des charges de travail à débit très élevé ». Bill Shea, PDG de Sharp Reflections.
Étapes suivantes
Pour essayer gratuitement Azure Managed Lustre, remplissez le formulaire d’inscription. Découvrez comment utiliser Azure Managed Lustre et ses différentes fonctionnalités prises en charge dans notre documentation.
En savoir plus sur les solutions HPC et IA
- Lire la documentation Azure Managed Lustre.
- Lire notre blog technique Azure Managed Lustre.
- Consulter notre hub Azure HPC pour obtenir du contenu plus technique développé pour le calcul HPC.
- Découvrir notre solution Azure HPC + IA.