Oplossingsideeën
Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door GitHub-feedback te geven.
In dit oplossingsidee wordt beschreven hoe u inzichten krijgt uit livestreamgegevens. Leg continu gegevens vast vanuit een IoT-apparaat of in logboeken vanuit klikgedrag op websites en verwerk deze in bijna realtime.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Gegevensstroom
- U kunt eenvoudig livestreaminggegevens opnemen voor een toepassing met behulp van Azure Event Hubs.
- Breng al uw gestructureerde gegevens samen met behulp van Synapse Pipelines naar Azure Blob Storage.
- Profiteer van Apache Spark-pools om de streaminggegevens op te schonen, te transformeren en te analyseren en deze te combineren met gestructureerde gegevens uit operationele databases of datawarehouses.
- Gebruik schaalbare machine learning-/deep learning-technieken om meer inzicht te krijgen in deze gegevens, met behulp van Python, Scala of .NET, met notebookervaringen in Apache Spark-pools.
- Pas Apache Spark-pool en Synapse Pipelines toe in Azure Synapse Analytics om gegevens op schaal te openen en te verplaatsen.
- Bouw analysedashboards en ingesloten rapporten in een toegewezen SQL-pool om inzichten binnen uw organisatie te delen en Azure Analysis Services te gebruiken om deze gegevens aan duizenden gebruikers te leveren.
- Neem de inzichten van Apache Spark-pools naar Azure Cosmos DB om ze toegankelijk te maken via realtime-apps.
Onderdelen
- Azure Synapse Analytics is het snelle, flexibele en vertrouwde clouddatawarehouse waarmee u elastisch en onafhankelijk kunt schalen, berekenen en opslaan met een zeer parallelle verwerkingsarchitectuur.
- Met synapse Pipelines-documentatie kunt u uw ETL-/ELT-werkstromen maken, plannen en organiseren.
- Azure Data Lake Storage: Zeer schaalbare, veilige data lake-functionaliteit die is gebouwd op Azure Blob Storage
- Azure Synapse Analytics Spark-pools zijn een snel, eenvoudig en gezamenlijk op Apache Spark gebaseerd analyseplatform.
- Documentatie voor Azure Event Hubs is een streamingplatform voor big data en een service voor gebeurtenisopname.
- Azure Cosmos DB is een wereldwijd gedistribueerde databaseservice met meerdere modellen. Leer vervolgens hoe u uw gegevens kunt repliceren naar een willekeurig aantal Azure-regio's en u uw doorvoer onafhankelijk van uw opslag kunt schalen.
- Met Azure Synapse Link voor Azure Cosmos DB kunt u bijna realtime analyses uitvoeren op operationele gegevens in Azure Cosmos DB, zonder dat dit gevolgen heeft voor de prestaties of kosten van uw transactionele workload, met behulp van de twee analyse-engines die beschikbaar zijn in uw Azure Synapse-werkruimte: SQL Serverloze en Spark-pools.
- Azure Analysis Services is een analyse op ondernemingsniveau als een service waarmee u uw BI-oplossing met vertrouwen kunt beheren, implementeren, testen en leveren.
- Power BI is een suite met hulpprogramma's voor zakelijke analyses die inzichten bieden in uw hele organisatie. Verbinding maken tot honderden gegevensbronnen, vereenvoudigt u het voorbereiden van gegevens en zorgt u voor ongeplande analyse. Maak schitterende rapporten die u vervolgens voor uw organisatie kunt publiceren voor gebruik op internet en op mobiele apparaten.
Alternatieven
- Synapse Link is de voorkeursoplossing van Microsoft voor analyses boven op Azure Cosmos DB-gegevens.
- Azure IoT Hub kan worden gebruikt in plaats van Azure Event Hubs. IoT Hub is een beheerde service die wordt gehost in de cloud die fungeert als een centrale berichtenhub voor communicatie tussen een IoT-toepassing en de gekoppelde apparaten. U kunt miljoenen apparaten en hun back-endoplossingen betrouwbaar en veilig verbinden. Bijna elk apparaat kan worden verbonden met een IoT-hub.
Scenariodetails
In dit scenario ziet u hoe u inzichten kunt krijgen uit livestreamgegevens. U kunt continu gegevens vastleggen vanaf elk IoT-apparaat of logboeken van clickstreams van websites en deze in bijna realtime verwerken.
Potentiële gebruikscases
Deze oplossing is ideaal voor de media- en entertainmentindustrie. Het scenario is bedoeld voor het bouwen van analyses van livestreamgegevens.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.
Kostenoptimalisatie
Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.
U kunt de Azure-prijscalculator gebruiken om een aangepaste prijsraming op te halen.
Volgende stappen
- Documentatie voor Azure Synapse Analytics
- Documentatie voor Synapse Pipelines
- Documentatie voor Azure Data Lake Storage
- Azure Data Explorer
- Spark-pools voor Azure Synapse Analytics
- Documentatie voor Azure Event Hubs
- Documentatie voor Azure Cosmos DB
- Documentatie voor Analysis Services
- Power BI-documentatie