Modifier

Architecture d’analytique en temps réel du Big Data

Azure Analysis Services
Hubs d'événements Azure
Azure Synapse Analytics

Idées de solution

Cet article présente une idée de solution. Si vous souhaitez que nous développions le contenu avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, adressez-nous vos commentaires GitHub.

Cette idée de solution décrit comment obtenir des insights à partir de données de streaming en direct. Capturez des données en continu à partir de n’importe quel appareil IoT ou de journaux de parcours de navigation sur le web, et traitez-les en quasi-temps réel.

Architecture

Diagramme d’une solution d’analyse en temps réel sur une architecture Big Data qui utilise Azure Synapse Analytics avec Azure Data Lake Storage, Event Hubs, Azure Analysis Services, Azure Cosmos DB et Power BI.

Téléchargez un fichier Visio de cette architecture.

Dataflow

  1. Ingérez facilement les données de streaming en direct d’une application à l’aide d’Azure Event Hubs.
  2. Rassemblez toutes vos données structurées à l’aide de pipelines Synapse dans le Stockage Blob Azure.
  3. Tirez parti des pools Apache Spark pour nettoyer, transformer et analyser les données de streaming, et les combiner avec des données structurées de bases de données ou d’entrepôts de données opérationnels.
  4. Utilisez des techniques de Machine Learning/Deep Learning évolutives pour obtenir des insights plus détaillés à partir de ces données à l'aide de Python, Scala ou .NET, avec des expériences de notebook dans les pools Apache Spark.
  5. Utilisez un pool Apache Spark et des pipelines Synapse dans Azure Synapse Analytics pour accéder aux données et les déplacer à grande échelle.
  6. Créez des tableaux de bord analytiques et des rapports incorporés dans un pool SQL dédié pour partager des insights au sein de votre organisation, et utilisez Azure Analysis Services pour servir ces données à des milliers d’utilisateurs.
  7. Exportez les insights des pools Apache Spark vers Azure Cosmos DB afin de les rendre accessibles dans des applications en temps réel.

Components

  • Azure Synapse Analytics est un entrepôt de données cloud rapide, flexible et fiable qui vous permet de mettre à l'échelle, de calculer et de stocker de manière élastique et indépendante, avec une architecture de traitement massivement parallèle.
  • La documentation sur les pipelines Synapse vous permet de créer, de planifier et d’orchestrer vos workflows ETL/ELT.
  • Azure Data Lake Storage : Fonctionnalité de lac de données sécurisée et extrêmement scalable qui repose sur le Stockage Blob Azure
  • Les pools Spark Azure Synapse Analytics constituent une plateforme analytique rapide, simple et collaborative basée sur Apache Spark.
  • La documentation Azure Event Hubs est une plateforme de streaming de Big Data et un service d’ingestion d’événements.
  • Azure Cosmos DB est un service de base de données multimodèle distribué à l’échelle mondiale. Apprenez ensuite à répliquer vos données sur autant de régions Azure que vous le souhaitez, et à mettre à l’échelle votre débit indépendamment de votre stockage.
  • Azure Synapse Link pour Azure Cosmos DB vous permet d’effectuer de l’analytique en quasi temps réel sur les données opérationnelles dans Azure Cosmos DB, sans aucun impact en termes de perfomances ou de coûts sur votre charge de travail transactionnelle, en utilisant les deux moteurs d’analytique disponibles depuis votre espace de travail Azure Synapse : SQL Serverless et des pools Spark.
  • Azure Analysis Services est une analyse de niveau entreprise en tant que service qui vous permet de gérer, déployer, tester et fournir votre solution décisionnelle en toute confiance.
  • Power BI est une suite d’outils d’analytique métier qui fournit des insights à l’échelle de votre organisation. Connectez-vous à des centaines de sources de données, simplifiez la préparation des données et effectuez des analyses non planifiées. Créez de superbes rapports, puis publiez-les pour que votre organisation les utilise sur le web et sur des appareils mobiles.

Autres solutions

  • Synapse Link est la solution Microsoft par défaut pour l’analyse des données Azure Cosmos DB.
  • Azure IoT Hub peut être utilisé à la place d’Azure Event Hubs. IoT Hub est un service géré, hébergé dans le cloud, qui joue le rôle de hub de messages central pour la communication entre une application IoT et les appareils attachés. Vous pouvez connecter des millions d’appareils et leurs solutions back-end de manière fiable et sécurisée. Presque tous les appareils peuvent être connectés à un hub IoT.

Détails du scénario

Ce scénario illustre comment obtenir des insights à partir de données de streaming en direct. Vous pouvez capturer des données en continu à partir de n’importe quel appareil IoT ou des journaux à partir de parcours de visite sur des sites web, et les traiter en temps quasi réel.

Cas d’usage potentiels

Cette solution est idéale pour le secteur des médias et du divertissement. Le scénario consiste à générer des analyses à partir de données de streaming en direct.

Considérations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework qui est un ensemble de principes directeurs qui permettent d’améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Microsoft Azure Well-Architected Framework.

Optimisation des coûts

L’optimisation des coûts consiste à examiner les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez Vue d’ensemble du pilier d’optimisation des coûts.

Vous pouvez utiliser la calculatrice de prix Azure pour obtenir des estimations de prix personnalisées.

Étapes suivantes