Upravit

Analýzy v reálném čase v architektuře pro velké objemy dat

Azure Analysis Services
Azure Event Hubs
Azure Synapse Analytics

Nápady na řešení

Tento článek je myšlenkou řešení. Pokud chcete, abychom obsah rozšířili o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět tím, že nám poskytnete zpětnou vazbu k GitHubu.

Toto řešení popisuje, jak můžete získat přehledy z dat živého streamování. Můžete průběžně zachycovat data z libovolného zařízení IoT nebo protokoly z navštívených webových stránek a zpracovávat je téměř v reálném čase.

Architektura

Diagram řešení analýzy v reálném čase v architektuře velkých objemů dat, která používá Azure Synapse Analytics se službou Azure Data Lake Storage, Event Hubs, Azure Analysis Services, Azure Cosmos DB a Power BI

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Snadné ingestování živých streamovaných dat pro aplikaci pomocí služby Azure Event Hubs
  2. Spojte všechna strukturovaná data pomocí kanálů Synapse do služby Azure Blob Storage.
  3. Využijte fondy Apache Sparku k vyčištění, transformaci a analýze streamovaných dat a jejich kombinování se strukturovanými daty z provozních databází nebo datových skladů.
  4. Pomocí škálovatelných technik strojového učení a hlubokého učení můžete z těchto dat odvodit hlubší přehledy pomocí Pythonu, Scaly nebo .NET s prostředími poznámkových bloků ve fondech Apache Sparku.
  5. Použití fondu Apache Sparku a kanálů Synapse v Azure Synapse Analytics pro přístup k datům a jejich přesun ve velkém měřítku
  6. Vytvářejte analytické řídicí panely a vložené sestavy ve vyhrazeném fondu SQL, abyste mohli sdílet přehledy ve vaší organizaci, a pomocí služby Azure Analysis Services můžete tato data poskytovat tisícům uživatelů.
  7. Využijte přehledy z fondů Apache Sparku do služby Azure Cosmos DB, abyste je zpřístupnili prostřednictvím aplikací v reálném čase.

Komponenty

  • Azure Synapse Analytics je rychlý, flexibilní a důvěryhodný cloudový datový sklad, který umožňuje elasticky, výpočetní prostředky a ukládat elasticky a nezávisle na sobě s architekturou masivního paralelního zpracování.
  • Dokumentace ke službě Synapse Pipelines umožňuje vytvářet, plánovat a orchestrovat pracovní postupy ETL/ELT.
  • Azure Data Lake Storage: Široce škálovatelné a zabezpečené funkce data lake založené na službě Azure Blob Storage
  • Fondy sparků Azure Synapse Analytics jsou rychlá, snadná a společnou analytickou platformou založenou na Apache Sparku.
  • Dokumentace ke službě Azure Event Hubs je platforma pro streamování velkých objemů dat a služba pro příjem událostí.
  • Azure Cosmos DB je globálně distribuovaná databázová služba s více modely. Potom se naučíte replikovat data do libovolného počtu oblastí Azure a škálovat propustnost nezávisle na úložišti.
  • Azure Synapse Link pro Azure Cosmos DB umožňuje spouštět analýzy téměř v reálném čase přes provozní data ve službě Azure Cosmos DB bez jakéhokoli dopadu na výkon nebo náklady na transakční úlohy pomocí dvou analytických modulů dostupných z pracovního prostoru Azure Synapse: BEZserverové asparkové fondy.
  • Azure Analysis Services je analýza na podnikové úrovni jako služba, která umožňuje řídit, nasazovat, testovat a dodávat řešení BI s jistotou.
  • Power BI je sada nástrojů pro obchodní analýzy, které poskytují přehledy v celé organizaci. Připojení na stovky zdrojů dat, zjednodušit přípravu dat a řídit neplánovanou analýzu. Můžete vytvářet působivé sestavy a potom je pro vaši organizaci publikovat na webu a napříč mobilními zařízeními.

Alternativy

  • Synapse Link je upřednostňovaným řešením Microsoftu pro analýzu nad daty Azure Cosmos DB.
  • Azure IoT Hub je možné použít místo služby Azure Event Hubs. IoT Hub je spravovaná služba hostovaná v cloudu, která funguje jako centrum zpráv pro komunikaci mezi aplikací IoT a připojenými zařízeními. Miliony zařízení a jejich back-endových řešení můžete spolehlivě a bezpečně připojit. Téměř jakékoli zařízení je možné připojit k centru IoT.

Podrobnosti scénáře

Tento scénář ukazuje, jak získat přehledy z živých streamovaných dat. Data můžete průběžně zaznamenávat z libovolného zařízení IoT nebo protokolů z clickstreamů webu a zpracovávat je téměř v reálném čase.

Potenciální případy použití

Toto řešení je ideální pro mediální a zábavní průmysl. Scénář je pro vytváření analýz z živých streamovaných dat.

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Optimalizace nákladů

Optimalizace nákladů se zabývá způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.

Cenovou kalkulačku Azure můžete použít k získání přizpůsobeného odhadu cen.

Další kroky