Adatstreamelés az AKS-sel

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Megoldási ötletek

Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, az alternatív szolgáltatásokat, a megvalósítási szempontokat vagy a díjszabással kapcsolatos útmutatást, tudassa velünk a GitHub visszajelzésével.

Ez a cikk egy megoldást mutat be a Azure Kubernetes Service (AKS) használatával nagy mennyiségű streamelési adat gyors feldolgozására és elemzésére az eszközökről.

Az Apache®, az Apache Kafka és az Apache Spark az Apache Software Foundation bejegyzett védjegyei vagy védjegyei a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.

Architektúra

Architektúradiagram, amely bemutatja, hogyan történik az eszközökről streamelt adatok betöltése, feldolgozása és elemzése.

Töltse le az architektúra Visio-fájlját.

Adatfolyam

  1. Az érzékelők adatokat hoznak létre és streamelnek az Azure API Management.
  2. Az AKS-fürtök olyan mikroszolgáltatásokat futtatnak, amelyek tárolóként vannak üzembe helyezve egy szolgáltatásháló mögött. A tárolók devOps-folyamattal vannak létrehozva, és Azure Container Registry tárolókban vannak tárolva.
  3. A betöltési szolgáltatás adatokat tárol az Azure Cosmos DB-ben.
  4. Aszinkron módon egy elemzési szolgáltatás fogadja az adatokat, és streameli az Apache Kafkába és az Azure HDInsightba.
  5. Az adatelemzők gépi tanulási modelleket és a Splunk platformot használják az adatok elemzéséhez.
  6. A feldolgozó szolgáltatás feldolgozza az adatokat, és az eredményt Azure Database for PostgreSQL tárolja. A szolgáltatás a Azure Cache for Redis is gyorsítótárazza az adatokat.
  7. A Azure App Service-ben futó webalkalmazás vizualizációkat hoz létre az eredményekről.

Összetevők

A megoldás a következő fő technológiákat használja:

Forgatókönyv részletei

Ez a megoldás jó választás olyan forgatókönyvekhez, amelyek több millió adatpontot foglalnak magukban, ahol az adatforrások közé tartoznak az eszközök internetes hálózata (IoT) eszközök, érzékelők és járművek. Ilyen helyzetben a nagy mennyiségű adat feldolgozása kihívást jelent. Az adatok gyors elemzése szintén nagy feladat, mivel a szervezetek összetett forgatókönyvekbe próbálnak betekintést nyerni.

Az AKS-ben a tárolóalapú mikroszolgáltatások a megoldás kulcsfontosságú részét képezik. Ezek az önálló szolgáltatások betöltik és feldolgozzák a valós idejű adatfolyamot. Szükség szerint méretezhetőek is. A tárolók hordozhatósága lehetővé teszi, hogy a szolgáltatások különböző környezetekben fussanak, és több forrásból származó adatokat dolgozzanak fel. A mikroszolgáltatások fejlesztéséhez és üzembe helyezéséhez a DevOps és a folyamatos integráció/folyamatos teljesítés (CI/CD) használható. Ezek a megközelítések lerövidítik a fejlesztési ciklust.

A betöltött adatok tárolásához a megoldás az Azure Cosmos DB-t használja. Ez az adatbázis rugalmasan skálázza az átviteli sebességet és a tárolást, ami jó választás nagy mennyiségű adathoz.

A megoldás a Kafkát is használja. Ez az alacsony késésű streamelési platform rendkívül nagy sebességgel kezeli a valós idejű adatcsatornákat.

Egy másik kulcsfontosságú megoldási összetevő a HDInsight, amely egy felügyelt, nyílt forráskódú felhőelemzési szolgáltatás. A HDInsight leegyszerűsíti a big data-keretrendszerek nagy mennyiségű és sebességű futtatását, miközben az Apache Sparkot használja az Azure-ban. A Splunk segít az adatelemzési folyamatban. Ez a platform valós idejű adatokból hoz létre vizualizációkat, és üzleti intelligenciát biztosít.

Lehetséges használati esetek

Ez a megoldás a következő területeken hasznos:

  • Járműbiztonság, különösen az autóiparban
  • Ügyfélszolgálat a kiskereskedelemben és más iparágakban
  • Egészségügyi felhőmegoldások
  • Pénzügyi technológiai megoldások a pénzügyi iparágban

Következő lépések

Termékdokumentáció:

Microsoft-képzési modulok: