Navigation überspringen

Silo Busting 2.0: Multiprotokollzugriff für Azure Data Lake Storage

Veröffentlicht am 18 Juli, 2019

Senior Program Manager, Azure Storage

Cloud Data Lakes lösen ein grundlegendes Problem für Big Data Analytics: Sie stellen einen sicheren, skalierbaren Speicher für Daten bereit, die traditionell in separaten Datensilos gespeichert werden. Data Lakes wurden von Anfang an entwickelt, um Datenbarrieren abzubauen und Big Data-Analyseaufgaben zu ermöglichen. Allerdings blieb eine letzte „Silo Busting“-Grenze bestehen, die Datenzugriffsmethoden für alle Daten (strukturiert, halbstrukturiert und unstrukturiert) ermöglicht, die im Data Lake gespeichert sind.

Die Bereitstellung mehrerer Datenzugriffspunkte für gemeinsam genutzte Datasets ermöglicht es Tools und Datenanwendungen, mit den Daten auf natürlichste Weise zu interagieren. Darüber hinaus kann Ihr Data Lake von den Tools und Frameworks profitieren, die für eine Vielzahl von Ökosystemen entwickelt wurden. So können Sie beispielsweise Ihre Daten über eine Objektspeicher-API erfassen, die Daten über die HDFS-API (Hadoop Distributed File System) verarbeiten und dann die transformierten Daten über eine Objektspeicher-API in einem Data Warehouse erfassen.

Eine einzige Speicherlösung für jedes Szenario

Wir freuen uns sehr, die Vorschau des Multiprotokollzugriffs für Azure Data Lake Storage bekannt zu geben! Azure Data Lake Storage ist eine einzigartige Cloudspeicherlösung für Analysen, die Multiprotokollzugriff auf dieselben Daten bietet. Multiprotokollzugriff auf dieselben Daten über die Azure Blob Storage-API und die Azure Data Lake Storage-API ermöglicht es Ihnen, vorhandene Objektspeicherfunktionen für Data Lake Storage-Konten zu nutzen, die für hierarchische Namenspaces aktivierte Speicherkonten sind, die auf Blobspeicher aufbauen. Dies gibt Ihnen die Flexibilität, alle Ihre verschiedenen Arten von Daten in Ihrem Cloud Data Lake zu speichern, da Sie wissen, dass Sie Ihre Daten optimal nutzen können, wenn sich Ihr Anwendungsfall weiterentwickelt.

Abbildung

Eine einzelne Speicherlösung

Erweiterter Funktionsumfang, Ökosystem und Anwendungen

Vorhandene Blobfunktionen wie Zugriffsebenen und Lebenszyklus-Verwaltungsrichtlinien sind nun für Ihre Data Lake Storage-Konten verfügbar. Dies ist ein Paradigmenwechsel, da Ihre Blobdaten nun für Analysen verwendet werden können. Darüber hinaus lassen sich Dienste wie Azure Stream Analytics, IoT Hub, Azure Event Hubs-Erfassung, Azure Data Box, Azure Search und viele andere nahtlos in Data Lake Storage integrieren. Wichtige Szenarien wie die lokale Migration in die Cloud können nun problemlos Datensätze in PB-Größenordnung über Data Box in Data Lake Storage verschieben.

Multiprotokollzugriff für Data Lake Storage ermöglicht es dem Partnerökosystem auch, seinen vorhandenen Blobspeicherconnector mit Data Lake Storage zu nutzen.  Dies sagen unsere Ökosystempartner:

„Multiprotokollzugriff für Azure Data Lake Storage ist ein entscheidender Faktor für unsere Kunden. Informatica bekennt sich zur nativen Unterstützung von Azure Data Lake Storage, und der Multiprotokollzugriff wird Kunden dabei unterstützen, ihre Initiativen zur Analyse und Modernisierung von Data Lakes mit einem Minimum an Unterbrechungen zu beschleunigen.“

– Ronen Schwartz, Senior Vice President und General Manager für Datenintegration und Cloudintegration, Informatica

Sie müssen vorhandene Anwendungen nicht aktualisieren, um Zugriff auf Ihre in Data Lake Storage gespeicherten Daten zu erhalten. Darüber hinaus können Sie die Leistungsfähigkeit Ihrer Analyse- und Objektspeicheranwendungen nutzen, um Ihre Daten auf effektivste Weise zu nutzen.Abbildung mit Multiprotokollzugriff, der Speicherfunktionen, das Azure-Ökosystem, das Partnerökosystem und benutzerdefinierte Anwendungen ermöglicht.

Multiprotokollzugriff ermöglicht Funktionen und das Ökosystem

Mehrere API-Endpunkte: Gleiche Daten, gemeinsam genutzte Funktionen

Diese Funktionalität ist für Cloudanalysedienste beispiellos, da sie nicht nur mehrere Protokolle unterstützt, sondern auch mehrere Speicherparadigmen. Wir ermöglichen Ihnen jetzt die Nutzung dieser leistungsstarken Funktion für Ihren Speicher in der Cloud. Vorhandene Tools und Anwendungen, die die Blobspeicher-API verwenden, profitieren von diesen Vorteilen ohne jegliche Änderung. Zugriffssteuerungslisten (ACL) auf Verzeichnis- und Dateiebene werden konsequent durchgesetzt, und zwar unabhängig davon, ob eine Azure Data Lake Storage-API oder Blob Storage-API für den Zugriff auf die Daten verwendet wird.  

Sowohl die Blob Storage-API als auch die Azure Data Lake Storage-API durchlaufen den hierarchischen Namespace, der auf dem Blobspeicher aufgebaut ist.

Multiprotokollzugriff für Azure Data Lake Storage

Funktionen und erweitertes Ökosystem jetzt für Data Lake Storage verfügbar

Multiprotokollzugriff für Data Lake Storage vereint die besten Funktionen von Data Lake Storage und Blob Storage in einem ganzheitlichen Paket. Er ermöglicht zahlreiche Blobspeicherfunktionen und unterstützt das Ökosystem für die Speicherung in Data Lakes.

Funktionen Weitere Informationen
Zugriffsebenen Kalte und Archivspeicherebenen sind jetzt für Data Lake Storage verfügbar. Weitere Informationen finden Sie in der Dokumentation unter „Azure Blob Storage: Heiße, kalte und Archivzugriffsebenen“.
Richtlinien für die Lebenszyklusverwaltung Sie können nun Richtlinien für eine Ebene festlegen oder Daten in Data Lake Storage löschen. Weitere Informationen finden Sie in der Dokumentation unter Verwalten des Azure Blob Storage-Lebenszyklus.
Diagnoseprotokolle Protokolle für die Blob Storage-API und die Azure Data Lake Storage-API sind nun in den Formaten v1.0 und v2.0 verfügbar. Weitere Informationen finden Sie in der Dokumentation unter „Azure Storage-Analyseprotokollierung“.
SDKs Vorhandene Blob-SDKs können nun mit Data Lake Storage verwendet werden. Weitere Informationen finden Sie in der folgenden Dokumentation:
PowerShell PowerShell für Datenebenenvorgänge ist jetzt für Data Lake Storage verfügbar. Weitere Informationen finden Sie im Schnellstart zu Azure PowerShell.
CLI Die Azure CLI für Datenebenenvorgänge ist jetzt für Data Lake Storage verfügbar. Weitere Informationen finden Sie im Schnellstart zur Azure CLI.
Benachrichtigungen über Azure Event Grid Sie können nun Blobbenachrichtigungen über Event Grid erhalten. Weitere Informationen finden Sie in der Dokumentation Reaktion auf Blob Storage-Ereignisse. Azure Data Lake Storage Gen2-Benachrichtigungen sind zurzeit verfügbar.

 

Ökosystempartner Weitere Informationen
Azure Stream Analytics Azure Stream Analytics kann nun in Data Lake Storage schreiben und daraus lesen.
Azure Event Hubs-Erfassung Die Erfassungsfunktion in Azure Event Hubs ermöglicht es Ihnen nun, Data Lake Storage als eines der Ziele auszuwählen.
IoT Hub IoT Hub-Nachrichtenrouting ermöglicht nun die Weiterleitung an Azure Data Lake Storage Gen 2.
Azure Search Sie können nun mit Azure Search den Data Lake Storage-Inhalt indizieren und Machine Learning-Modelle darauf anwenden.
Azure Data Box Mit Data Box können Sie jetzt enorme Datenmengen aus dem lokalen Speicher in Data Lake Storage erfassen.

Bleiben Sie auf dem Laufenden, da wir mit dieser erstaunlichen Funktion weitere Blobspeicherfunktionen ermöglichen werden.

Nächste Schritte

Diese neuen Funktionen sind ab heute in folgenden dokumentierten Regionen verfügbar. Registrieren Sie sich noch heute für die Vorschau. Weitere Informationen finden Sie in unserer Dokumentation zum Multiprotokollzugriff für Azure Data Lake Storage.