Echtzeitanalysen in Big Data-Architekturen

Azure Analysis Services
Azure Event Hubs
Azure Synapse Analytics

Lösungsmöglichkeiten

Dieser Artikel ist ein Lösungsvorschlag. Wenn Sie möchten, dass wir diesen Artikel um weitere Informationen ergänzen, z. B. potenzielle Anwendungsfälle, alternative Dienste, Überlegungen zur Implementierung oder Preisempfehlungen, lassen Sie es uns über Feedback auf GitHub wissen.

Diese Lösungsidee beschreibt, wie Sie Erkenntnisse aus Livestreamingdaten gewinnen können. Erfassen Sie kontinuierlich Daten von jedem IoT-Gerät oder Protokolle des Websiteclickstreams, und verarbeiten Sie sie nahezu in Echtzeit.

Aufbau

Diagramm: Echtzeitanalyselösung für eine Big Data-Architektur, die Azure Synapse Analytics mit Azure Data Lake Storage, Event Hubs, Azure Analysis Services, Azure Cosmos DB und Power BI verwendet

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

  1. Problemloses Erfassen von Livestreamingdaten für eine Anwendung mit Azure Event Hubs.
  2. Kombinieren aller strukturierten Daten mithilfe von Synapse Pipelines in Azure Blob Storage.
  3. Nutzen Sie die Vorteile von Apache Spark-Pools, um die Streaming-Daten zu bereinigen, umzuwandeln und zu analysieren, und kombinieren Sie diese mit strukturierten Daten aus operativen Datenbanken oder Data-Warehouse.
  4. Verwendung von skalierbaren Machine Learning-/Deep-Learning-Techniken, um tiefere Erkenntnisse aus diesen Daten abzuleiten, unter Verwendung von Python, Scala oder .NET mit Notebook-Erfahrung in Apache Spark-Pools.
  5. Nutzen Sie Apache Spark-Pool und Synapse Pipelines in Azure Synapse Analytics, um auf Daten zuzugreifen und diese im großen Stil zu verschieben.
  6. Erstellen Sie analytische Dashboards und eingebettete Berichte im dedizierten SQL Pool, um Einblicke in Ihrem Unternehmen zu teilen, und stellen Sie diese Daten Tausenden von Benutzern mit Azure Analysis Services zur Verfügung.
  7. Übertragen Sie die Erkenntnisse aus Apache Spark-Pools in Azure Cosmos DB, um sie über Apps in Echtzeit zugänglich zu machen.

Komponenten

  • Azure Synapse Analytics ist das schnelle, flexible und vertrauenswürdige Cloud-Data Warehouse, mit dem Sie elastisch und unabhängig mit einer leistungsstarken Parallelverarbeitungsarchitektur Daten skalieren, berechnen und speichern können.
  • Synapse Pipelines Dokumentation erlaubt es Ihnen, Ihre ETL/ELT-Workflows zu erstellen, zu planen und zu orchestrieren.
  • Azure Data Lake Storage: Hochgradig skalierbare, sichere Data Lake-Funktionalität auf Basis von Azure Blob Storage
  • Azure Synapse Analytics Spark Pools ist eine schnelle, einfache und gemeinschaftliche Analyseplattform auf Apache Spark-Basis.
  • Azure Event Hubs ist eine Big Data-Streamingplattform und ein Ereigniserfassungsdienst.
  • Azure Cosmos DB ist ein global verteilter Datenbankdienst mit Unterstützung mehrerer Modelle. Anschließend wird beschrieben, wie Sie Ihre Daten in einer beliebigen Zahl von Azure-Regionen replizieren und Ihren Durchsatz unabhängig von Ihrem Speicher skalieren.
  • Azure Synapse Link für Azure Cosmos DB ermöglicht Ihnen die Ausführung von Analysen über Betriebsdaten in Azure Cosmos DB in Quasi-Echtzeit ohne Auswirkungen auf die Leistung oder Kosten Ihrer Transaktionsworkload. Verwenden Sie dazu die beiden in Ihrem Azure Synapse-Arbeitsbereich verfügbaren Analyse-Engines: SQL (serverlos) und Spark-Pools.
  • Azure Analysis Services ist ein Analysedienst auf Unternehmensniveau, mit dem Sie Ihre BI-Lösung zuverlässig steuern, testen und bereitstellen können.
  • Power BI ist eine Suite von Business Analytics-Tools, die für Ihre gesamte Organisation Erkenntnisse bereitstellen. Stellen Sie eine Verbindung mit Hunderten von Datenquellen her, vereinfachen Sie die Datenvorbereitung und führen Sie ungeplante Analysen durch. Erzeugen Sie hochwertige Berichte, und veröffentlichen Sie sie dann für Ihre Organisation zur Nutzung im Web und auf mobilen Geräten.

Alternativen

  • Synapse Link ist die von Microsoft bevorzugte Lösung für Analysen, die auf Azure Cosmos DB-Daten basiert.
  • Azure IoT Hub kann anstelle von Azure Event Hubs verwendet werden. IoT Hub ist ein verwalteter Dienst, der in der Cloud gehostet wird und als zentraler Nachrichten-Hub für die Kommunikation zwischen einer IoT-Anwendung und deren angeschlossenen Geräten fungiert. Sie können Millionen von Geräten und deren Back-End-Lösungen zuverlässig und sicher verbinden. Fast jedes Gerät kann mit einem IoT Hub verbunden werden.

Szenariodetails

In diesem Szenario wird veranschaulicht, wie Sie Erkenntnisse aus Livestreamingdaten gewinnen können. Sie können kontinuierlich Daten von jedem beliebigen IoT-Gerät oder Protokolle aus Websiteclickstreams erfassen und sie in Quasi-Echtzeit verarbeiten.

Mögliche Anwendungsfälle

Diese Lösung eignet sich ideal für die Medien- und Unterhaltungsbranchen. Das Szenario dient zum Erstellen von Analysen aus Livestreamingdaten.

Überlegungen

Diese Überlegungen setzen die Säulen des Azure Well-Architected Framework um, das eine Reihe von Leitprinzipien enthält, die zur Verbesserung der Qualität eines Workloads verwendet werden können. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

Kostenoptimierung

Bei der Kostenoptimierung geht es um die Suche nach Möglichkeiten, unnötige Ausgaben zu reduzieren und die Betriebseffizienz zu verbessern. Weitere Informationen finden Sie unter Übersicht über die Säule „Kostenoptimierung“.

Sie können den Azure-Preisrechner verwenden, um eine angepasste Preisschätzung zu erhalten.

Nächste Schritte