Azure HPCAI

Azure Managed Lustre, ein paralleles Dateisystem für HPC- und KI-Workloads 

By Dilip Sundarraj, Principal Program Manager, Azure Edge + Platform

Heute kündigt Microsoft die öffentliche Vorschau von Azure Managed Lustre an, eine neue Ergänzung zu den Speicherangeboten in unserer Azure HPC + KI-Lösung. Lustre ist ein paralleles Open-Source-Dateisystem, das für Hochleistungs-Computing (HPC) bekannt ist und sich hervorragend für Computing mit großen Clustern eignet.

Heute kündigt Microsoft die öffentliche Vorschau von Azure Managed Lustre an, eine neue Ergänzung zu den Speicherangeboten in unserer Azure HPC + KI-Lösung. Lustre ist ein paralleles Open-Source-Dateisystem, das für Hochleistungs-Computing (HPC) bekannt ist und sich hervorragend für Computing mit großen Clustern eignet. Azure Managed Lustre bietet den hochleistungsfähigen Speicher von Lustre mit der Kontrolle und Konsistenz der Microsoft-Cloud. So können sich Kunden auf ihre Geschäftsziele konzentrieren, sei es der Aufbau eines Betrugserkennungssystems auf der Grundlage von SAS-Analysen, die Entschlüsselung des menschlichen Genoms, um den nächsten Durchbruch in der Medizin zu erzielen, die Vorreiterrolle bei der Energiegewinnung mit seismischer Datenverarbeitung und nachhaltigen Energielösungen oder die Vorhersage von Klima- und Wettermustern, die das menschliche Leben auf dem Planeten Erde beeinflussen.

Lustre als Azure Managed Service

Mit Lustre als verwalteter Dienst können sich Benutzer jetzt auf das Erstellen und Ausführen ihrer HPC- und KI-Anwendungen konzentrieren, ohne ein erweitertes paralleles Dateisystem verwalten zu müssen. HPC- und KI-Workloads können nahtlos in die Cloud migriert werden, wobei die Kompatibilität mit Lustre erhalten bleibt und bestehende Automatisierungs- und Plattforminvestitionen geschützt werden, die zuvor für die lokale Ausführung entwickelt wurden. Azure Managed Lustre ermöglicht eine schnelle On-Demand-Bereitstellung von Clustern, die globale Regionen bedienen und die Vorausplanung verringern, während sie Compliance- und Datenaufbewahrungsanforderungen erfüllen. Mit einer Palette von Leistungsoptionen bietet Azure Managed Lustre eine elastische Lösung, bei der Benutzer unabhängige und exklusive Cluster mit vorhersehbarer Leistung einsetzen können, wodurch das Noisy Neighbor-Problem, das bei gemeinsam genutzten lokalen Infrastrukturen häufig auftritt, vermieden wird.

Die öffentliche Vorschau umfasst zwei langlebige SSD-basierte SKUs, die eine Auswahl an Leistungsoptionen für geschäftskritische Workloads bieten: 125 MB/s und 250 MB/s für jede bereitgestellte TiB Kapazität. Während der Vorschau können Sie standardmäßig Clustergrößen bis zu 128 TiB erstellen, mit einer Option zum Skalieren von bis zu 768 TiB auf Anfrage. Azure Managed Lustre basiert auf den äußerst langlebigen von Azure verwalteten Datenträgern mit lokal redundantem Speicher, der aus drei Replikaten besteht. Dies gilt auch dann, wenn ein oder zwei Replikate weiterhin Toleranz gegenüber Fehlern haben. Azure Managed Lustre liefert die POSIX-kompatible Lustre Version 2.15 (LTS), die mehrere Leistungsverbesserungen bietet. Wir konzentrieren uns auf Funktionen, mit denen Benutzer Azure Managed Lustre problemlos nutzen können, ohne sich Gedanken darüber zu machen, wie Sie die Lustre-Clients auf ihren Compute-VMs und -Containern erstellen und bereitstellen können. Mit der Azure Managed Lustre Vorschau haben Kunden folgende Optionen:

Datenebenen mithilfe der hierarchischen Speicherverwaltung ermöglichen es Benutzern, Daten zwischen Azure Managed Lustre und Azure Blob zu importieren und zu exportieren. Mit dieser Funktion können Benutzer Datenarchivierung, Aufbewahrung und Schutz basierend auf vordefinierten Richtlinien definieren. Benutzer großer Datensätze können die Daten, die für ihre aktive Datenverarbeitung relevant sind, in Azure Managed Lustre-Cluster importieren und den Rest in Azure Blob archivieren/aufbewahren. Dies ermöglicht es ihnen, ihre Laufzeitkosten niedrig zu halten. Darüber hinaus ermöglicht das Datentiering in Azure Blob den Benutzern, seine globale Präsenz und Verfügbarkeit zu nutzen, um Azure Managed Lustre-Cluster bei Bedarf in mehreren Regionen zu instanziieren. Die Integration mit Azure Blob erleichtert zusätzlich den Multiprotokoll-Datenzugriff über NFS, HDFS und REST. Moderne containerisierte Anwendungen in KI/Machine Learning (ML) und Analysen können jetzt auf Azure Kubernetes Service ausgeführt werden, indem der CSI-Treiber für Azure Managed Lustre genutzt wird. So können beispielsweise Analyseanwendungen, die auf SAS Viya aufbauen, durch die Integration mit dem Azure Managed Lustre CSI-Treiber nahtlos die hohe Speicherleistung pro Kern nutzen, die sie benötigen.

Speziell für HPC- und KI-Workloads entwickelt

Wir sind unseren privaten Vorschau-Kunden dankbar, die uns geholfen haben, das Produkt zu entwickeln und zu perfektionieren, während wir auf ihre wichtigsten Bedürfnisse eingegangen sind. Wir engagieren uns für den Aufbau und die Unterstützung von Azure Managed Lustre, um Ihnen bei der Ausführung Ihrer Hochleistungsanwendungen in Azure zu helfen.

Bizdata logo

„Wir arbeiten mit Kunden zusammen, die viele verschiedene Arten von HPC-Workloads haben, und wir stoßen häufig auf Einschränkungen bei der Speicherleistung, weil ihre Projekte Tausende bis Zehntausende von Dateien umfassen können, die alle parallel gelesen und geschrieben werden müssen. Wenn auf unseren HPC-Plattformen Speicherengpässe oder Drosselungsfehler auftreten, wissen wir, dass es Zeit für Azure Managed Lustre ist. Mit Azure Managed Lustre können wir einen extrem leistungsstarken Speicher hinzufügen, der problemlos mit den HPC-Rechnern mithalten kann, und Eingabe- und Ergebnisdaten automatisch mit einem persistenten Blobspeicher synchronisieren. Da Azure Managed Lustre bei Bedarf innerhalb weniger Minuten gestartet und gestoppt werden kann, ist es sehr kosteneffizient und macht sich bezahlt, indem es uns die Möglichkeit gibt, unsere HPC-Rechenleistung zu vergrößern oder zu verkleinern und so viel schneller Ergebnisse zu erzielen.“ – Felipe Ayora, Director-Research and Advanced Computing, BizData.

Sharp Reflections logo

„Das neue Azure Managed Lustre-Dateisystem ist eine echte Neuerung. Es beschleunigt die HPC-Bereitstellung unserer Software und beseitigt die Notwendigkeit, persistente Speicherserver auszuführen. Das Setup ist einfach, und parallele I/O-Leistung ist schnell genug, um Workloads mit sehr hohem Durchsatz zu unterstützen.“ – Bill Shea, CEO Sharp Reflections.

Nächste Schritte

Um Azure Managed Lustre kostenlos zu testen, füllen Sie das Registrierungsformular aus. Erfahren Sie mehr über die Verwendung von Azure Managed Lustre und die verschiedenen unterstützten Funktionen in unserer Dokumentation.

Weitere Informationen zu HPC- und KI-Lösungen