Redigera

Arkitektur för realtidsanalys av stordata

Azure Analysis Services
Azure Event Hubs
Azure Synapse Analytics

Lösningsidéer

Den här artikeln är en lösningsidé. Om du vill att vi ska utöka innehållet med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du meddela oss genom att ge GitHub-feedback.

Den här lösningsidén beskriver hur du kan få insikter från liveuppspelningsdata. Hämta data kontinuerligt från valfri IoT-enhet eller loggar från webbplatsers klickströmmar och bearbeta dem i nära nog realtid.

Arkitektur

Diagram över en realtidsanalyslösning för en stordataarkitektur som använder Azure Synapse Analytics med Azure Data Lake Storage, Event Hubs, Azure Analysis Services, Azure Cosmos DB och Power BI.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

  1. Mata enkelt in direktuppspelningsdata för ett program med hjälp av Azure Event Hubs.
  2. Samla alla dina strukturerade data med synapse-pipelines till Azure Blob Storage.
  3. Dra nytta av Apache Spark-pooler för att rensa, transformera och analysera strömmande data och kombinera dem med strukturerade data från driftdatabaser eller informationslager.
  4. Använd skalbara maskininlärnings-/djupinlärningstekniker för att härleda djupare insikter från dessa data med hjälp av Python, Scala eller .NET med notebook-funktioner i Apache Spark-pooler.
  5. Använd Apache Spark-poolen och Synapse Pipelines i Azure Synapse Analytics för att komma åt och flytta data i stor skala.
  6. Skapa analysinstrumentpaneler och inbäddade rapporter i en dedikerad SQL-pool för att dela insikter inom din organisation och använda Azure Analysis Services för att hantera dessa data till tusentals användare.
  7. Ta insikterna från Apache Spark-pooler till Azure Cosmos DB för att göra dem tillgängliga via realtidsappar.

Komponenter

  • Azure Synapse Analytics är det snabba, flexibla och betrodda molndatalagret som gör att du kan skala, beräkna och lagra elastiskt och oberoende, med en massivt parallell bearbetningsarkitektur.
  • Med Dokumentation om Synapse Pipelines kan du skapa, schemalägga och orkestrera dina ETL/ELT-arbetsflöden.
  • Azure Data Lake Storage: Massivt skalbara och säkra datasjöfunktioner som bygger på Azure Blob Storage
  • Azure Synapse Analytics Spark-pooler är en snabb, enkel och samarbetsbaserad Apache Spark-baserad analysplattform.
  • Dokumentation om Azure Azure Event Hubs är en plattform för stordataströmning och händelseinmatning.
  • Azure Cosmos DB är en globalt distribuerad databastjänst med flera modeller. Lär dig sedan att replikera data över flera Azure-regioner och skala dataflödet oberoende av lagringen.
  • Med Azure Synapse Link för Azure Cosmos DB kan du köra nästan realtidsanalyser över driftdata i Azure Cosmos DB, utan prestanda eller kostnadspåverkan på din transaktionsarbetsbelastning, med hjälp av de två analysmotorer som är tillgängliga från din Azure Synapse-arbetsyta: SQL Serverless och Spark Pools.
  • Azure Analysis Services är en analys i företagsklass som en tjänst som låter dig styra, distribuera, testa och leverera din BI-lösning med tillförsikt.
  • Power BI är en uppsättning verktyg för affärsanalys som ger insikter i hela organisationen. Anslut till hundratals datakällor, förenkla dataförberedelser och köra oplanerad analys. Producera snygga rapporter och publicera dem därefter så att organisationen kan använda dem på webben och i mobila enheter.

Alternativ

  • Synapse Link är microsofts föredragna lösning för analys ovanpå Azure Cosmos DB-data.
  • Azure IoT Hub kan användas i stället för Azure Event Hubs. IoT Hub är en hanterad tjänst i molnet som fungerar som en central meddelandehubb för kommunikation mellan ett IoT-program och dess anslutna enheter. Du kan ansluta miljontals enheter och deras serverdelslösningar på ett tillförlitligt och säkert sätt. Nästan vilken enhet som helst kan anslutas till en IoT-hubb.

Information om scenario

Det här scenariot illustrerar hur du kan få insikter från liveuppspelningsdata. Du kan samla in data kontinuerligt från valfri IoT-enhet eller loggar från webbplatsklickströmmar och bearbeta dem i nästan realtid.

Potentiella användningsfall

Den här lösningen är perfekt för medie- och underhållningsindustrin. Scenariot är att skapa analys från liveuppspelningsdata.

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som kan användas för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.

Kostnadsoptimering

Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Översikt över kostnadsoptimeringspelare.

Du kan använda Priskalkylatorn för Azure för att få en anpassad prisuppskattning.

Nästa steg