Nápady na řešení
Tento článek je myšlenkou řešení. Pokud chcete, abychom obsah rozšířili o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět tím, že nám poskytnete zpětnou vazbu k GitHubu.
Toto řešení popisuje, jak můžete získat přehledy z dat živého streamování. Můžete průběžně zachycovat data z libovolného zařízení IoT nebo protokoly z navštívených webových stránek a zpracovávat je téměř v reálném čase.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Tok dat
- Snadné ingestování živých streamovaných dat pro aplikaci pomocí služby Azure Event Hubs
- Spojte všechna strukturovaná data pomocí kanálů Synapse do služby Azure Blob Storage.
- Využijte fondy Apache Sparku k vyčištění, transformaci a analýze streamovaných dat a jejich kombinování se strukturovanými daty z provozních databází nebo datových skladů.
- Pomocí škálovatelných technik strojového učení a hlubokého učení můžete z těchto dat odvodit hlubší přehledy pomocí Pythonu, Scaly nebo .NET s prostředími poznámkových bloků ve fondech Apache Sparku.
- Použití fondu Apache Sparku a kanálů Synapse v Azure Synapse Analytics pro přístup k datům a jejich přesun ve velkém měřítku
- Vytvářejte analytické řídicí panely a vložené sestavy ve vyhrazeném fondu SQL, abyste mohli sdílet přehledy ve vaší organizaci, a pomocí služby Azure Analysis Services můžete tato data poskytovat tisícům uživatelů.
- Využijte přehledy z fondů Apache Sparku do služby Azure Cosmos DB, abyste je zpřístupnili prostřednictvím aplikací v reálném čase.
Komponenty
- Azure Synapse Analytics je rychlý, flexibilní a důvěryhodný cloudový datový sklad, který umožňuje elasticky, výpočetní prostředky a ukládat elasticky a nezávisle na sobě s architekturou masivního paralelního zpracování.
- Dokumentace ke službě Synapse Pipelines umožňuje vytvářet, plánovat a orchestrovat pracovní postupy ETL/ELT.
- Azure Data Lake Storage: Široce škálovatelné a zabezpečené funkce data lake založené na službě Azure Blob Storage
- Fondy sparků Azure Synapse Analytics jsou rychlá, snadná a společnou analytickou platformou založenou na Apache Sparku.
- Dokumentace ke službě Azure Event Hubs je platforma pro streamování velkých objemů dat a služba pro příjem událostí.
- Azure Cosmos DB je globálně distribuovaná databázová služba s více modely. Potom se naučíte replikovat data do libovolného počtu oblastí Azure a škálovat propustnost nezávisle na úložišti.
- Azure Synapse Link pro Azure Cosmos DB umožňuje spouštět analýzy téměř v reálném čase přes provozní data ve službě Azure Cosmos DB bez jakéhokoli dopadu na výkon nebo náklady na transakční úlohy pomocí dvou analytických modulů dostupných z pracovního prostoru Azure Synapse: BEZserverové asparkové fondy.
- Azure Analysis Services je analýza na podnikové úrovni jako služba, která umožňuje řídit, nasazovat, testovat a dodávat řešení BI s jistotou.
- Power BI je sada nástrojů pro obchodní analýzy, které poskytují přehledy v celé organizaci. Připojení na stovky zdrojů dat, zjednodušit přípravu dat a řídit neplánovanou analýzu. Můžete vytvářet působivé sestavy a potom je pro vaši organizaci publikovat na webu a napříč mobilními zařízeními.
Alternativy
- Synapse Link je upřednostňovaným řešením Microsoftu pro analýzu nad daty Azure Cosmos DB.
- Azure IoT Hub je možné použít místo služby Azure Event Hubs. IoT Hub je spravovaná služba hostovaná v cloudu, která funguje jako centrum zpráv pro komunikaci mezi aplikací IoT a připojenými zařízeními. Miliony zařízení a jejich back-endových řešení můžete spolehlivě a bezpečně připojit. Téměř jakékoli zařízení je možné připojit k centru IoT.
Podrobnosti scénáře
Tento scénář ukazuje, jak získat přehledy z živých streamovaných dat. Data můžete průběžně zaznamenávat z libovolného zařízení IoT nebo protokolů z clickstreamů webu a zpracovávat je téměř v reálném čase.
Potenciální případy použití
Toto řešení je ideální pro mediální a zábavní průmysl. Scénář je pro vytváření analýz z živých streamovaných dat.
Důležité informace
Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.
Optimalizace nákladů
Optimalizace nákladů se zabývá způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.
Cenovou kalkulačku Azure můžete použít k získání přizpůsobeného odhadu cen.
Další kroky
- Dokumentace ke službě Azure Synapse Analytics
- Dokumentace ke službě Synapse Pipelines
- Dokumentace ke službě Azure Data Lake Storage
- Azure Data Explorer
- Fondy Spark ve službě Azure Synapse Analytics
- Dokumentace ke službě Azure Event Hubs
- Dokumentace ke službě Azure Cosmos DB
- Dokumentace ke službě Analysis Services
- Dokumentace k Power BI