Pomysły dotyczące rozwiązań
Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.
W tym rozwiązaniu opisano sposób uzyskiwania szczegółowych informacji z danych przesyłania strumieniowego na żywo. Przechwytuj ciągle dane z dowolnego urządzenia IoT lub z dzienników ze strumienia kliknięć z witryn internetowych i przetwarzaj je niemal w czasie rzeczywistym.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
- Łatwe pozyskiwanie danych transmisji strumieniowej na żywo dla aplikacji przy użyciu usługi Azure Event Hubs.
- Połącz wszystkie dane ustrukturyzowane przy użyciu potoków usługi Synapse w usłudze Azure Blob Storage.
- Korzystaj z pul platformy Apache Spark w celu czyszczenia, przekształcania i analizowania danych przesyłanych strumieniowo oraz łączenia ich ze strukturą z operacyjnych baz danych lub magazynów danych.
- Użyj skalowalnych technik uczenia maszynowego/uczenia głębokiego, aby uzyskać bardziej szczegółowe informacje na podstawie tych danych, korzystając z języka Python, języka Scala lub platformy .NET z środowiskami notesów w pulach platformy Apache Spark.
- Stosowanie puli platformy Apache Spark i potoków synapse w usłudze Azure Synapse Analytics w celu uzyskiwania dostępu do danych i przenoszenia ich na dużą skalę.
- Twórz pulpity nawigacyjne analizy i osadzone raporty w dedykowanej puli SQL, aby udostępniać szczegółowe informacje w organizacji i używać usług Azure Analysis Services do udostępniania tych danych tysiącom użytkowników.
- Skorzystaj ze szczegółowych informacji z pul platformy Apache Spark do usługi Azure Cosmos DB, aby udostępnić je za pośrednictwem aplikacji czasu rzeczywistego.
Składniki
- Usługa Azure Synapse Analytics to szybki, elastyczny i zaufany magazyn danych w chmurze, który pozwala skalować, obliczać i przechowywać elastycznie i niezależnie przy użyciu architektury masowego przetwarzania równoległego.
- Dokumentacja usługi Synapse Pipelines umożliwia tworzenie, planowanie i organizowanie przepływów pracy ETL/ELT.
- Azure Data Lake Storage: wysoce skalowalna, bezpieczna funkcja magazynu data lake oparta na usłudze Azure Blob Storage
- Pule platformy Spark usługi Azure Synapse Analytics to szybka, łatwa i wspólna platforma analizy oparta na platformie Apache Spark.
- Dokumentacja usługi Azure Event Hubs to platforma przesyłania strumieniowego danych big data i usługa pozyskiwania zdarzeń.
- Azure Cosmos DB to globalnie rozproszona, wielomodelowa usługa bazy danych. Następnie dowiedz się, jak replikować dane w dowolnej liczbie regionów świadczenia usługi Azure i skalować przepływność niezależnie od magazynu.
- Usługa Azure Synapse Link dla usługi Azure Cosmos DB umożliwia uruchamianie analizy niemal w czasie rzeczywistym na danych operacyjnych w usłudze Azure Cosmos DB bez wpływu na wydajność i koszt obciążenia transakcyjnego przy użyciu dwóch aparatów analitycznych dostępnych w obszarze roboczym usługi Azure Synapse: SQL Serverless i Spark Pools.
- Azure Analysis Services to analiza klasy korporacyjnej jako usługa, która umożliwia zarządzanie, wdrażanie, testowanie i dostarczanie rozwiązania analizy biznesowej z pewnością.
- Usługa Power BI to zestaw narzędzi do analizy biznesowej, które zapewniają wgląd w szczegółowe informacje w całej organizacji. Połączenie do setek źródeł danych, uprościć przygotowywanie danych i zwiększyć nieplanowaną analizę. Twórz piękne raporty, a następnie publikuj je, aby inne osoby w organizacji mogły skorzystać z nich w Internecie lub na swoich urządzeniach przenośnych.
Alternatywy
- Usługa Synapse Link to preferowane przez firmę Microsoft rozwiązanie do analizy danych usługi Azure Cosmos DB.
- Usługi Azure IoT Hub można używać zamiast usługi Azure Event Hubs. Usługa IoT Hub to zarządzana usługa hostowana w chmurze, która działa jako centralne centrum komunikatów na potrzeby komunikacji między aplikacją IoT a dołączonymi urządzeniami. Miliony urządzeń i ich rozwiązań zaplecza można połączyć niezawodnie i bezpiecznie. Prawie każde urządzenie może być połączone z centrum IoT Hub.
Szczegóły scenariusza
W tym scenariuszu pokazano, jak można uzyskać szczegółowe informacje z danych transmisji strumieniowej na żywo. Dane można przechwytywać w sposób ciągły z dowolnego urządzenia IoT lub dzienników z strumieni kliknięć witryny internetowej i przetwarzać je niemal w czasie rzeczywistym.
Potencjalne przypadki użycia
To rozwiązanie jest idealne dla branży mediów i rozrywki. Scenariusz jest przeznaczony do tworzenia analiz z danych transmisji strumieniowej na żywo.
Kwestie wymagające rozważenia
Te zagadnienia implementują filary struktury Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.
Optymalizacja kosztów
Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów.
Kalkulator cen platformy Azure umożliwia uzyskanie dostosowanego oszacowania cen.
Następne kroki
- Dokumentacja usługi Azure Synapse Analytics
- Dokumentacja potoków usługi Synapse
- Dokumentacja usługi Azure Data Lake Storage
- Azure Data Explorer
- Pule platformy Spark usługi Azure Synapse Analytics
- Dokumentacja usługi Azure Event Hubs
- Dokumentacja usługi Azure Cosmos DB
- Dokumentacja usług Analysis Services
- Dokumentacja usługi Power BI
Powiązane zasoby
- Kompleksowa analiza w usłudze Azure Synapse
- Analiza geoprzestrzenna za pomocą usługi Azure Synapse Analytics
- Analiza danych big data z zabezpieczeniami klasy korporacyjnej przy użyciu usługi Azure Synapse
- Wykonywanie zapytań względem usługi Data Lake lub lakehouse przy użyciu usługi Azure Synapse bezserwerowych