Die rasante Zunahme datengesteuerter Entscheidungen motiviert Unternehmen zur Entwicklung einer Datenstrategie, die eine bessere Kundenerfahrung und betriebliche Effizienz gewährleistet und datenbasierte Entscheidungen in Echtzeit ermöglicht. Während Unternehmen ihre Entscheidungen zunehmend auf Daten stützen, nutzen mehr Kunden Data Lakes in Azure. Außerdem sind die bessere Kostenoptimierung und Leistung zwei der wichtigsten Aspekte der Data Lake-Architektur in Azure. Normalerweise schließen sich diese beiden Eigenschaften aus: Wenn Sie mehr Leistung benötigen, müssen Sie mehr investieren. Wenn Sie Kosten sparen möchten, flacht Ihre Leistungskurve ab.

Daher kündigen wir heute die Vorschau der Abfragebeschleunigung für Azure Data Lake Storage an – einer neuen Fähigkeit von Azure Data Lake Storage, die sowohl die Leistung als auch die Kosten optimiert. Die Funktion ist ab sofort verfügbar und ermöglicht es Kunden, diese Vorteile umzusetzen und ihre Data Lake-Bereitstellung in Azure zu verbessern.

Wie die Leistung und die Kosten durch die Abfragebeschleunigung für Azure Data Lake optimiert werden

Bei Big Data-Analyseframeworks, z. B. Spark und Hive, sowie bei umfangreichen Datenverarbeitungsanwendungen werden sämtliche Daten unter Verwendung einer horizontal skalierbaren Plattform für verteilte Verarbeitung mit Techniken wie MapReduce gelesen. Normalerweise werden aber nicht alle Daten benötigt, damit eine bestimmte Abfrage oder Transformation erfolgreich ausgeführt werden kann. Daher entfällt der Aufwand für das Lesen der Daten, die Übertragung über das Netzwerk, die Analyse im Speicher und zuletzt das Herausfiltern der meisten Daten, die nicht benötigt werden, in der Regel auf die Anwendungen. Durch die Größe dieser Data Lake-Bereitstellungen werden die Kosten zu einem wichtigen Faktor, der nicht nur das Design, sondern auch die Ziele beeinflusst, die Sie erreichen können. Wenn Sie die Kosten und die Leistung gleichzeitig verbessern, erhöhen sich die Chancen, wertvolle Erkenntnisse aus Ihren Daten zu gewinnen.

Die Abfragebeschleunigung für Azure Data Lake Storage ermöglicht Anwendungen und Frameworks die Weitergabe von Prädikaten und Spaltenprojektionen, sodass sie beim ersten Lesen der Daten angewendet werden können. Dadurch vereinfacht sich die gesamte Downstreamverarbeitung der Daten, da keine unnötigen Daten gefiltert und verarbeitet werden müssen.

Im folgenden Diagramm wird veranschaulicht, wie eine typische Anwendung die Abfragebeschleunigung zum Verarbeiten von Daten nutzt:

1. Die Clientanwendung fordert Dateidaten an, indem sie Prädikate und Spaltenprojektionen angibt.
2. Bei der Abfragebeschleunigung wird die angegebene Abfrage analysiert, wobei die Aufgaben für die Datenanalyse und -filterung verteilt werden.
3. Die Daten werden von Prozessoren vom Datenträger gelesen, mithilfe des geeigneten Formats analysiert und dann gefiltert, indem die angegebenen Prädikate und Spaltenprojektionen angewendet werden.
4. Bei der Abfragebeschleunigung werden die Antwortshards kombiniert, um diese an die Clientanwendung zurückzustreamen.
5. Die Clientanwendung empfängt und analysiert die gestreamte Antwort. Die Anwendung muss keine zusätzlichen Daten filtern und kann die gewünschte Berechnung oder Transformation direkt anwenden.

Azure bietet leistungsstarke Analysedienste

Die Abfragebeschleunigung für Azure Data Lake Storage unterstreicht ein weiteres Mal unsere Bestrebungen, Azure zur besten Lösung für Unternehmen zu machen, die transformative Erkenntnisse aus all ihren Daten gewinnen möchten. Kunden können dank der nahtlosen Integration andere Azure-Dienste nutzen, um leistungsstarke End-to-End-Analyselösungen auf Cloudniveau zu entwickeln. Diese Lösungen unterstützen auf einfache und wirtschaftlichere Weise modernes Data Warehousing, erweiterte Analysen und Echtzeitanalysen.

Wir setzen uns auch dafür ein, weiterhin eine offene Plattform für die besten Open-Source-Lösungen zu bieten. So profitieren alle gleichermaßen von Innovationen, die sich über die gesamte Plattform erstrecken. Da Azure Data Lake Storage ein vollständiges Ökosystem leistungsfähiger Analysedienste unterstützt, können Kunden transformative Erkenntnisse aus allen Datenressourcen gewinnen.

Weitere Informationen

Erfahren Sie mehr über die Abfragebeschleunigung für Azure Data Lake Storage:

• Registrieren Sie sich für das Azure Data Lake Storage-Programm (Vorschau).
• Lesen Sie die Dokumentation zu Azure Data Lake Storage.
• Erfahren Sie, wie Sie die Abfragebeschleunigung für Java und .NET nutzen.
• Informieren Sie sich über das Preismodell für die Abfragebeschleunigung.
• Erfahren Sie mehr über Azure Data Lake Storage.