Heute freuen wir uns, die allgemeine Verfügbarkeit von Azure Managed Lustre, einem verwalteten parallelen Dateisystem mit hoher Leistung für HPC-Workloads (High Performance Computing) und KI-Workloads bekannt zu geben. Azure Managed Lustre liefert das zeitgeprüfte Lustre-Dateisystem als erstanbieterverwalteter Dienst in Azure. Lange Zeit können Benutzer von Lustre lokal die Vorteile einer vollständigen HPC-Lösung nutzen, einschließlich Compute- und Hochleistungsspeicher, der in Azure bereitgestellt wird. Die Benutzer profitieren von den hohen Durchsatz- und Leistungsfunktionen von Lustre als nahtlose verwaltete Erfahrung und können sich jetzt auf ihre geschäftlichen Imperative konzentrieren.
Bedarf für Azure Managed Lustre
Lustre, eines der beliebtesten verteilten parallelen Dateisysteme in der HPC-Welt, ist seit langem lokal für skalierbare und hohe Speicheranforderungen von HPC-Workloads bereitgestellt. Als Open-Source-Lösung hat es ein florierendes Ökosystem von Benutzern und Entwicklern genossen. Mit dem jüngsten explosiven Wachstum der generativen KI und der Notwendigkeit eines hohen Durchsatzspeichers, der die teuren GPU-Kerne daran hindert, auf Daten zu warten, hat Lustre ein erneutes Wachstum in seiner Einführung gefunden. Kunden in Branchen, die hochleistungsbasiertes Computing nutzen, suchen nach einer nahtlosen End-to-End-Infrastruktur, die Rechen-, Speicher- und Netzwerkfunktionen umfasst, die sowohl schnell bereitzustellen als auch einfach zu bedienen sind.
Azure Managed Lustre ermöglicht Folgendes:
- Eine verwaltete PaaS-Erfahrung für die beunruhigende Bereitstellung und den Verbrauch des Lustre-Dateisystems.
- Reduzierte TCO mit kostenpflichtigen Preisen.
- Durchsatzoptionen auf unterschiedlichen Preisniveaus für unterschiedliche Workloads.
- Einfache Bereitstellung von unabhängigen Clustern mit vorhersagbarer Leistung, wodurch das laute Nachbarproblem beseitigt wird, das häufig in lokalen Lustre-Bereitstellungen aufgetreten ist.
- Schnelle Bereitstellung in wenigen Minuten, um die Notwendigkeit zu verringern, Monate oder Jahre im Voraus zu planen und Compliance- und Data Residency-Anforderungen zu erfüllen.
- Region der Wahl für Bereitstellungen in vielen Azure-Regionen, unterstützung von Compliance- und Datenhaltungsanforderungen.
- Skalierbarkeit auf Hunderte von Petabytes (PB) mit der damit verbundenen Haltbarkeit, Verfügbarkeit und Kostenvorteile des Tierings in Azure Blob Storage.
- Nahtlose Integration mit vorhandenen Azure-Computediensten, einschließlich Azure HPC-Diensten, Azure Machine Learning und Azure Kubernetes-Dienst.
- Investitionsschutz für die vorhandene Automatisierungs- und Plattformentwicklung von Kunden bei der Migration von lokalen Lustre-Bereitstellungen.
Heute stehen für Kunden zwei dauerhafte dauerhafte Instanzen zur Verfügung. Diese basieren auf Festkörperlaufwerken (Solid State Drives, SSDs), die durch ihre Leistungsoption unterschieden werden, die für bereitgestellte Tebibyte Kapazität bereitgestellt wird.
- AMLFS Standard – 125 MB/s
- AMLFS Premium – 250 MB/s
Benutzer von Azure Managed Lustre können die Lustre-Clientpakete von packages.microsoft.com für ihre gewünschte Linux-Distribution und Kernelversion herunterladen. Darüber hinaus werden wir Unterstützung für HPC-Bilder vorkonfiguriert mit Lustre-Clientpaketen für Ubuntu – 18.04, 20.04, 22.04 und Alma 8.7 haben.
Azure Managed Lustre ist heute über die Azure-Portal in mehreren Regionen verfügbar. Um auf dem neuesten Stand zu bleiben, welche Regionen Sie verwenden können, lesen Sie bitte unsere Produkte, die auf der Regionsseite verfügbar sind. Weitere Informationen zum Preis finden Sie auf unserer Preisseite.
Kunden sehen bereits Ergebnisse mit Azure Managed Lustre
Azure Managed Lustre dient verschiedenen Unternehmen und Organisationen, die den Zugriff auf speicherstarken Durchsatz innerhalb von Energie, Life Sciences, Meteorologie, Automotive, Gesundheitswesen und öffentlichen Branchen benötigen.
Azure Managed Lustre hat Sie behandelt, ob Sie Tools zum Simulieren von 3D-Produktmodellen ausführen, um Die Zeit bis zum Markt zu beschleunigen, Tausende von Benutzern, die Finanzinformationen auf Datenanalyseplattformen abfragen, oder den nächsten KI-Supercomputer für Ihre generative KI-Lösung zu erstellen.
Als Petronas, ein weltweit führender Energieführer, ihre vorgelagerte Energieforschung mit hochkomplexer quantitativer Interpretation von seismischen Verarbeitungsworkloads beschleunigen musste, die große Datasets benötigen, um mit sehr hohem Durchsatz an die Compute-VMs gespeist zu werden, wählten sie Azure Managed Lustre.
"Azure Managed Lustre ist ein hervorragendes Dateisystem, das speziell entwickelt wurde, um die einzigartigen Anforderungen der HIGH Performance Computing (HPC) und AI-Workloads von PETRONAS zu erfüllen. Es bietet außergewöhnliche Leistung, bietet hohe Speicherbandbreite und nahtlose Integration mit wichtigen Azure-Diensten."" — Faizal B Zainol Alam, PETRONAS Digital General Manager
Meteomatics, ein Führer und Disruptor bei der Demokratisierung der Wetterintelligenz benötigten ein leistungsfähiges Dateisystem für ihre Wettermodellierung und Simulationen, sie wählten Azure Managed Lustre für ihre Bedürfnisse aus. Die Integration von Azure Managed Lustre in Azure CycleCloud ermöglicht Meteomatics, ihre HPC-Cluster schnell und programmgesteuert bereitzustellen, sodass sie ihren Endbenutzern einen schnellen und konsistenten Zugriff auf Wetterdaten bieten können.
"Bei Meteomatics setzen wir auf High Performance Computing (HPC), um komplexe numerische Wettervorhersagemodelle auszuführen und unseren Kunden genaue Prognosen zu liefern. Durch die Nutzung von Lustre, einem vertrauenswürdigen Dateisystem in der HPC-Community und der nahtlosen Bereitstellung von LustreFS gewinnen wir die hohe Anzahl von IOPS und Durchsatz, die für die Verarbeitung massiver Datenvolumes entscheidend sind. Azure Managed Lustre beschleunigt unsere Wettervorhersagesimulationen mit hoher räumlicher und zeitlicher Auflösung, wodurch die Zeit bis zum Abschluss erheblich reduziert und eine schnellere Übermittlung von Prognosedaten an unsere geschätzten Kunden ermöglicht wird."" — Dr. Martin Fengler, Ceo Meteomatics
"Duke Clinical Research Institute suchte eine skalierbare Lösung für ihre hohen E/A-Anforderungen, um ihre Analysewerkzeuge zu unterstützen, die klinische Forschung dienen. Azure Managed Lustre hat sich mit einem einfachen Bereitstellungsmodell befasst, mit dem sie sich schnell auf die Bereitstellung von Mehrwert für ihre Kunden konzentrieren können. Ich sehe die mühelose Einfachheit und Leistungsfähigkeit von AMLFS als die ultimative Wahl für high-speed Shared Storage, die Ihre Analysetools mit unvergleichlicher Einfachheit und Vielseitigkeit sowohl für sofortige als auch langfristige Bedürfnisse befähigen."" — Emilio Power, Research Analytics Lead, SAS System Architect, Duke Clinical Research Institute
Verwenden von Azure Managed Lustre
Azure Managed Lustre wird in einem gehosteten Im-Auftrag-Of-Abonnement über eine einfache Schnittstelle innerhalb des virtuellen Kundennetzwerks bereitgestellt. Kunden müssen sich keine Gedanken über die internen Bereitstellungs-, Verwaltungs- und Betriebsinternen des Lustre-Dateisystems machen, darunter Metadatenserver/Ziele (MDS/MDT), Verwaltungsserver/Ziele (MGS/MGT) und Objektspeicherserver/Ziele (OSS/OSTs).
Die Azure-Portal bietet eine einfache Schnittstelle zum Konfigurieren und Bereitstellen von Azure Managed Lustre, wo Kunden einige Eingaben wie Ressourcengruppen-ID, Subnetz-ID, Clustergröße und gewünschte Leistungsoptionen bereitstellen. Benutzer können ihre Clusterleistung mit Durchsatz-, Latenz- und IOPS-Metriken überwachen und beobachten.
Die hierarchische Speicherverwaltungsfunktionalität in Azure Managed Lustre ermöglicht Es Benutzern, Daten nahtlos zwischen Azure Managed Lustre und Azure Blob zu übertragen. Dadurch können Benutzer Archivierungs-, Aufbewahrungs- und Schutzstrategien für Daten einrichten. Beim Umgang mit großen Datasets können Benutzer nur die Daten importieren, die derzeit aktiv sind und für ihre Datenverarbeitungsaufgaben in Azure Managed Lustre-Cluster wichtig sind, während sie die Standard Neudaten in Azure Blob archivieren und aufbewahren. Dieser Ansatz minimiert effektiv die Laufzeitkosten. Darüber hinaus können Benutzer, indem Sie datenebenen auf Azure Blob nutzen, ihre globale Präsenz und Verfügbarkeit nutzen, um Azure Managed Lustre-Cluster nach Bedarf in mehreren Regionen zu erstellen. Die Integration mit Azure Blob erleichtert auch die Barrierefreiheit von Daten über mehrere Protokolle, z. B. Netzwerkdateisysteme (NFS), hadoop distributed file system (HDFS) und REST.
Wir freuen uns auch sehr, die allgemeine Verfügbarkeit des CSI-Treibers für Azure Managed Lustre bekannt zu geben. Jetzt können containerisierte Anwendungen, die auf Azure Kubernetes Service ausgeführt werden, problemlos Azure Managed Lustre nutzen.
Nächste Schritte
Erfahren Sie mehr über die Verwendung von Azure Managed Lustre und die verschiedenen unterstützten Funktionen in unserer Dokumentation.
Weitere Informationen zu HPC- und KI-Lösungen
- Erfahren Sie mehr über Azure Managed Lustre.
- Lesen Sie unseren technischen Blog zu Azure Managed Lustre.
- Besuchen Sie unseren Azure HPC-Hub für weitere technische Inhalte, die für HPC entwickelt wurden.
- Erfahren Sie mehr über unser Azure HPC.
- Weitere Informationen zur Azure AI-Infrastruktur.