Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, az alternatív szolgáltatásokat, a megvalósítási szempontokat vagy a díjszabással kapcsolatos útmutatást, tudassa velünk a GitHub visszajelzésével.
Ez a cikk egy megoldást mutat be a Azure Kubernetes Service (AKS) használatával nagy mennyiségű streamelési adat gyors feldolgozására és elemzésére az eszközökről.
Az Apache®, az Apache Kafka és az Apache Spark az Apache Software Foundation bejegyzett védjegyei vagy védjegyei a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.
Architektúra
Töltse le az architektúra Visio-fájlját.
Adatfolyam
- Az érzékelők adatokat hoznak létre és streamelnek az Azure API Management.
- Az AKS-fürtök olyan mikroszolgáltatásokat futtatnak, amelyek tárolóként vannak üzembe helyezve egy szolgáltatásháló mögött. A tárolók devOps-folyamattal vannak létrehozva, és Azure Container Registry tárolókban vannak tárolva.
- A betöltési szolgáltatás adatokat tárol az Azure Cosmos DB-ben.
- Aszinkron módon egy elemzési szolgáltatás fogadja az adatokat, és streameli az Apache Kafkába és az Azure HDInsightba.
- Az adatelemzők gépi tanulási modelleket és a Splunk platformot használják az adatok elemzéséhez.
- A feldolgozó szolgáltatás feldolgozza az adatokat, és az eredményt Azure Database for PostgreSQL tárolja. A szolgáltatás a Azure Cache for Redis is gyorsítótárazza az adatokat.
- A Azure App Service-ben futó webalkalmazás vizualizációkat hoz létre az eredményekről.
Összetevők
A megoldás a következő fő technológiákat használja:
- API Management
- APP SERVICE
- Azure Cache for Redis
- Container Registry
- Azure Cosmos DB
- Azure Database for PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
Forgatókönyv részletei
Ez a megoldás jó választás olyan forgatókönyvekhez, amelyek több millió adatpontot foglalnak magukban, ahol az adatforrások közé tartoznak az eszközök internetes hálózata (IoT) eszközök, érzékelők és járművek. Ilyen helyzetben a nagy mennyiségű adat feldolgozása kihívást jelent. Az adatok gyors elemzése szintén nagy feladat, mivel a szervezetek összetett forgatókönyvekbe próbálnak betekintést nyerni.
Az AKS-ben a tárolóalapú mikroszolgáltatások a megoldás kulcsfontosságú részét képezik. Ezek az önálló szolgáltatások betöltik és feldolgozzák a valós idejű adatfolyamot. Szükség szerint méretezhetőek is. A tárolók hordozhatósága lehetővé teszi, hogy a szolgáltatások különböző környezetekben fussanak, és több forrásból származó adatokat dolgozzanak fel. A mikroszolgáltatások fejlesztéséhez és üzembe helyezéséhez a DevOps és a folyamatos integráció/folyamatos teljesítés (CI/CD) használható. Ezek a megközelítések lerövidítik a fejlesztési ciklust.
A betöltött adatok tárolásához a megoldás az Azure Cosmos DB-t használja. Ez az adatbázis rugalmasan skálázza az átviteli sebességet és a tárolást, ami jó választás nagy mennyiségű adathoz.
A megoldás a Kafkát is használja. Ez az alacsony késésű streamelési platform rendkívül nagy sebességgel kezeli a valós idejű adatcsatornákat.
Egy másik kulcsfontosságú megoldási összetevő a HDInsight, amely egy felügyelt, nyílt forráskódú felhőelemzési szolgáltatás. A HDInsight leegyszerűsíti a big data-keretrendszerek nagy mennyiségű és sebességű futtatását, miközben az Apache Sparkot használja az Azure-ban. A Splunk segít az adatelemzési folyamatban. Ez a platform valós idejű adatokból hoz létre vizualizációkat, és üzleti intelligenciát biztosít.
Lehetséges használati esetek
Ez a megoldás a következő területeken hasznos:
- Járműbiztonság, különösen az autóiparban
- Ügyfélszolgálat a kiskereskedelemben és más iparágakban
- Egészségügyi felhőmegoldások
- Pénzügyi technológiai megoldások a pénzügyi iparágban
Következő lépések
Termékdokumentáció:
- Az Azure Cache for Redis névjegye
- Mi az az Azure API Management?
- Az App Service áttekintése
- Azure Kubernetes Service
- Az Azure-beli privát Docker-tárolójegyzékek bemutatása
- Bevezetés az Azure Cosmos DB-e
- Mi az az Azure Database for PostgreSQL?
- Mi az az Azure HDInsight?
- Mi az Azure Pipelines?
Microsoft-képzési modulok:
- Tárolórendszerképek összeállítása és tárolása az Azure Container Registry használatával
- Azure App Service-csomagok konfigurálása
- Az Azure Cosmos DB használata
- Azure Database for PostgreSQL létrehozása és csatlakozás
- Fejlesztés Azure Cache for Redis
- Ismerkedés API Management
- Infrastruktúra kezelése kódként az Azure és a DSC használatával
- Az Azure HDInsight bemutatása