Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatást, a GitHub visszajelzésével tudassa velünk.
Ez a megoldásötlet azt ismerteti, hogyan kaphat megállapításokat élő streamelési adatokból. Folyamatosan nyerhet adatokat bármely IoT-eszközből vagy webes kattintássorozat-naplóból, majd valós időben elemezheti őket.
Architektúra
Töltse le az architektúra Visio-fájlját.
Adatfolyam
- Az Azure Event Hubs használatával egyszerűen betölthet élő streamelési adatokat egy alkalmazáshoz.
- Hozza össze az összes strukturált adatot a Synapse Pipelines használatával az Azure Blob Storage-ba.
- Használja ki az Apache Spark-készletek előnyeit a streamelési adatok tisztításához, átalakításához és elemzéséhez, valamint az operatív adatbázisokból vagy adattárházakból származó strukturált adatokkal való kombinálásához.
- Skálázható gépi tanulási/mélytanulási technikákkal mélyebb elemzéseket nyerhet ezekből az adatokból a Python, a Scala vagy a .NET használatával az Apache Spark-készletekben található jegyzetfüzet-élményekkel.
- Apache Spark-készlet és Synapse-folyamatok alkalmazása az Azure Synapse Analyticsben az adatok nagy léptékű eléréséhez és áthelyezéséhez.
- Elemzési irányítópultokat és beágyazott jelentéseket hozhat létre dedikált SQL-készletben, hogy megossza az elemzéseket a szervezeten belül, és az Azure Analysis Services használatával több ezer felhasználó számára szolgálhassa ki ezeket az adatokat.
- Az Apache Spark-készletekből az Azure Cosmos DB-be való betekintéssel valós idejű alkalmazásokon keresztül érheti el őket.
Összetevők
- Az Azure Synapse Analytics egy gyors, rugalmas és megbízható felhőbeli adattárház, amellyel rugalmasan és egymástól függetlenül skálázhatja, kiszámíthatja és tárolhatja a nagy mértékben párhuzamos feldolgozási architektúrát.
- A Synapse Pipelines dokumentációja lehetővé teszi az ETL-/ELT-munkafolyamatok létrehozását, ütemezését és vezénylésére.
- Azure Data Lake Storage: Az Azure Blob Storage-ra épülő, nagymértékben skálázható, biztonságos Data Lake-funkciók
- Az Azure Synapse Analytics Spark-készletek egy gyors, egyszerű és együttműködésen alapuló Apache Spark-alapú elemzési platform.
- Az Azure Azure Event Hubs dokumentációja egy big data streamelési platform és eseménybetöltési szolgáltatás.
- Az Azure Cosmos DB egy globálisan elosztott, többmodelles adatbázis-szolgáltatás. Azt is megismerheti, hogyan replikálhatja adatait tetszőleges számú Azure-régióban és hogyan méretezheti az átviteli sebességet a tárolótól függetlenül.
- Az Azure Cosmos DB-hez készült Azure Synapse Link lehetővé teszi a közel valós idejű elemzések futtatását az Azure Cosmos DB-ben, anélkül, hogy a tranzakciós számítási feladatra bármilyen teljesítményre vagy költségre hatással lenne, az Azure Synapse-munkaterületről elérhető két elemzési motor használatával: az SQL Serverless és a Spark-készletek használatával.
- Az Azure Analysis Services egy nagyvállalati szintű elemzési szolgáltatás, amellyel magabiztosan szabályozhatja, üzembe helyezheti, tesztelheti és szolgáltathatja üzletiintelligencia-megoldását.
- A Power BI egy üzleti elemzési eszközcsomag, amely a szervezet egészében nyújt elemzéseket. Csatlakozás több száz adatforrásra, egyszerűsítheti az adat-előkészítést, és nem tervezett elemzéseket hajthat. Látványosan illusztrált jelentéseket készíthet, majd közzéteheti őket a vállalaton belül az interneten és a mobileszközök számára is elérhetően.
Alternatívák
- A Synapse Link a Microsoft által előnyben részesített megoldás az Azure Cosmos DB-adatokon alapuló elemzésekhez.
- Az Azure IoT Hub az Azure Event Hubs helyett használható. Az IoT Hub egy felhőben üzemeltetett felügyelt szolgáltatás, amely központi üzenetközpontként szolgál az IoT-alkalmazások és a csatlakoztatott eszközök közötti kommunikációhoz. Több millió eszközt és azok háttérmegoldásait megbízhatóan és biztonságosan csatlakoztathatja. Szinte bármilyen eszköz csatlakoztatható egy IoT Hubhoz.
Forgatókönyv részletei
Ez a forgatókönyv bemutatja, hogyan kaphat megállapításokat élő streamelési adatokból. Az adatokat folyamatosan rögzítheti bármely IoT-eszközről vagy a webhely kattintásstreamjeiről származó naplókból, és közel valós időben feldolgozhatja azokat.
Lehetséges használati esetek
Ez a megoldás ideális a média- és szórakoztatóipar számára. A forgatókönyv az élő streamelési adatokból származó elemzések készítése.
Megfontolások
Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.
Költségoptimalizálás
A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információ: A költségoptimalizálási pillér áttekintése.
Az Azure díjkalkulátorával személyre szabott díjszabási becslést kaphat.
Következő lépések
- Az Azure Synapse Analytics dokumentációja
- A Synapse Pipelines dokumentációja
- Az Azure Data Lake Storage dokumentációja
- Azure Data Explorer
- Azure Synapse Analytics Spark-készletek
- Az Azure Event Hubs dokumentációja
- Azure Cosmos DB-dokumentáció
- Az Analysis Services dokumentációja
- A Power BI dokumentációja