Operace strojového učení (MLOps)
Urychlení automatizace, spolupráce a reprodukovatelnosti pracovních postupů strojového učení
Zjednodušené nasazování a správa tisíců modelů napříč produkčními prostředími, od místního až po hraniční prostředí
Plně spravované koncové body pro dávkové predikce a predikce v reálném čase pro rychlejší nasazování a hodnocení modelů
Opakovatelné kanály k automatizaci pracovních postupů strojového učení pro kontinuální integraci a průběžné doručování (CI/CD)
Průběžně monitoruje metriky výkonu modelů, zjišťuje posun dat a aktivuje opětovné trénování za účelem zlepšení výkonu modelu.
Rychlé zavádění inovací
MLOps – operace strojového učení neboli DevOps pro strojové učení – představuje spojení lidí, procesů a platforem s cílem získat obchodní hodnotu ze strojového učení. Zefektivňuje vývoj a nasazování prostřednictvím monitorování, ověřování a řízení modelů strojového učení.
Vytvářejte pracovní postupy a modely strojového učení
Pomocí datových sad a bohatých registrů modelů můžete sledovat prostředky. Povolte vylepšenou sledovatelnost díky sledování kódu, dat a metrik v historii spuštění. Vytvářejte kanály strojového učení, které umožní návrh, nasazení a správu reprodukovatelných pracovních postupů modelů pro konzistentní doručování modelů.
Snadné nasazování vysoce přesných modelů kdekoli
Nasazujte rychle a s jistotou. Pomocí spravovaných online koncových bodů můžete nasazovat modely na různých počítačích s výkonnými procesory, aniž byste museli spravovat základní infrastrukturu. Rychle vytvářejte balíčky modelů a zajistěte vysokou kvalitu při každém kroku pomocí nástrojů pro profilaci a ověřování modelů. Využijte řízené zavádění k propagaci modelů do produkčního prostředí.
Efektivní správa celého životního cyklu strojového učení
Využijte integrovanou interoperabilitu s Azure DevOps a GitHub Actions pro bezproblémovou správu a automatizaci pracovních postupů. Optimalizujte trénování modelů a kanály nasazení, sestavujte pro CI/CD pro usnadnění opětovného trénování a snadné začlenění strojového učení do stávajících procesů vydávání. Využijte pokročilou analýzu posunu dat ke zlepšení výkonu modelů v průběhu času.
Dodržování zásad správného řízení napříč prostředky
Sledujte historii verzí modelů a rodokmeny pro zajištění auditovatelnosti. Nastavte kvóty pro výpočetní prostředky a použijte zásady, které zajistí dodržování standardů zabezpečení, ochrany osobních údajů a předpisů. Využijte pokročilé funkce ke splnění cílů zásad správného řízení a k podpoře transparentnosti a nestrannosti modelů.
Výhody interoperability s MLflow
Vytvářejte flexibilní a bezpečnější koncové pracovní postupy strojového učení s využitím MLflow a Azure Machine Learning. Využijte možnost bezproblémového škálování stávajících úloh od místního spuštění až po inteligentní cloud a hraniční zařízení. Ukládejte experimenty MLflow, spouštějte metriky, parametry a artefakty modelu v centralizovaném pracovním prostoru Azure Machine Learning.
Urychlení spolupráce MLOps napříč pracovními prostory
Usnadněte spolupráci mezi pracovními prostory a MLOps využitím registrů. Hostujte prostředky strojového učení v centrálním umístění a zpřístupněte je všem pracovním prostorům ve vaší organizaci. Propagujte, sdílejte a objevujte modely, prostředí, komponenty a datové sady napříč týmy. Opakovaně používejte kanály a nasazujte modely vytvořené týmy v jiných pracovních prostorech při současném zachování rodokmenu a sledovatelnosti.
Centrum prostředků
Zobrazit operace strojového učení v akci
Vytváření kanálů strojového učení pro návrh, nasazení a správu pracovních postupů modelu
Vytváření kanálů strojového učení pro návrh, nasazení a správu pracovních postupů modelu
Automatizace kanálu strojového učení
Sam je datový vědec pracující pro internetový obchod s módou. Společnost nedávno začala využívat strojové učení k poskytování včasných a přesných doporučení, což zlepšilo spokojenost zákazníků i prodeje.
Po aktualizaci katalogu byl Sam požádán, aby aktualizoval model doporučení značek – jenže nikdo neví, odkud současný model pochází. Sam se proto obrátil na Azure Machine Learning, aby vytvořil reprodukovatelný a sledovatelný pracovní postup.
Sam je odborník na data pracující pro online prodejce, který po nedávné aktualizaci katalogu dostal za úkol aktualizovat model doporučování. Sam hledá kanál modelu, ale nikdo neví, jak model vzniknul.
Sam proto s využitím Azure ML vytvoří sledovatelný pracovní postup modelu.
Použití Azure Machine Learning s existujícími nástroji
Sam pomocí sady SDK služby Azure Machine Learning přesunul svou práci z Jupyter Notebook do Azure Machine Learning, aby využil možnosti škálování a spolupráce. Pomocí zvolené architektury vytvořil verze cvičebního kódu a datových sad a propojil je se sledovatelným experimentem.
Zachytávání metrik z každého spuštění experimentu
Pokaždé, když Sam spustí kód, Azure Machine Learning sleduje metriky a protokoluje je ke kontrole. Zachycuje tak vstupy (např. datové sady, kód a parametry) a výstupy (např. protokoly, metriky a modely) za účelem posouzení a porovnání.
Kontrola modelů a experimentů v pracovním prostoru
Zatímco Sam pokračuje v práci v prostředí svého notebooku, jeho tým používá studio Azure Machine Learning, skrze které snadno sleduje jednotlivé prostředky a kroky použité k vytvoření finálního modelu v registru modelů.
Vytváření opakovaně použitelných kanálů pro zajištění efektivity a konzistence
Sam vytvoří opakovaně použitelný kanál strojového učení, který poskytne pracovní postup trénování modelu a automaticky ho aktivuje, když dojde ke změnám ve zdrojových datech. V případě potřeby může výsledky kroků opakovaně použít, aniž by musel měnit vstupy.
Vytváření reprodukovatelných kanálů strojového učení
Sam vytvořil reprodukovatelný a sledovatelný pracovní postup pomocí Azure Machine Learning. Každý model, který tým vytvoří, je teď propojený s experimentálním spuštěním pro kontrolu a iteraci. S reprodukovatelným kanálem Sam nechává Azure Machine Learning automatizovat opětovné trénování, zatímco se soustředí na další velký projekt.
Azure Machine Learning pomáhá vytvářet kanály strojového učení na podnikové úrovni prostřednictvím reprodukovatelnosti a sledovatelnosti. To vede ke konzistentnějšímu poskytování modelů s menší variabilitou a vyšší odolností proti chybám.
Další informace o kanálech strojového učení Zobrazit ukázku v úložišti GitHub
S využitím Azure ML Sam vytvořil reprodukovatelný a sledovatelný pracovní postup. Každý model, který tým vytvoří, je teď vázaný na spuštění experimentu a tým tak má možnost provádět kontroly a iterovat. Díky reprodukovatelnému kanálu může Sam nechat automatizaci přetrénování na Azure ML a soustředit se na další velké věci.
Azure ML pomáhá vytvářet kanály strojového učení na podnikové úrovni díky reprodukovatelnosti a sledovatelnosti. To vede ke konzistentnějšímu doručování modelů s nižší variabilitou a zvýšenou odolností proti chybám.
Další informace o kanálech strojového učení Zobrazit ukázku v úložišti GitHub
Rychlé a sebejisté nasazování pomocí automatického škálování a spravovaných distribuovaných clusterů pro odvozování
Rychlé a sebejisté nasazování pomocí automatického škálování a spravovaných distribuovaných clusterů pro odvozování
Nasazení koncového bodu webové služby pro model
Sam, datový vědec pracující pro internetový obchod s módou, přidal do svého pracovního postupu Azure Machine Learning, což mu umožní vytvářet lepší modely. Jeho automatizovaný kanál právě zaregistroval finální model s přiloženými experimentálními výsledky, které ukazují lepší výkon.
Tým pro vývoj webu si není jistý, jak do webové aplikace vložit model strojového učení, a tak místo toho požádal o webovou službu. Sam se s žádostí o pomoc s přidáním koncového bodu webové služby do svého modelu obrátí na Azure Machine Learning.
Sam, datový vědec zaměstnaný u online maloobchodníka, vytvořil a zaregistroval model pomocí Azure ML. Jeho tým webových vývojářů ho požádal o webový koncový bod, aby se jeho model dal volat a využít k odvozování. Sam tento koncový bod webové služby vytvořil přes Azure ML.
Načtení nejnovějšího modelu a jeho profilace pro produkční prostředí
Sam načte nejnovější model z registru a profiluje ho, aby zjistil, jaké typy prostředků by mohl potřebovat v produkčním prostředí.
Nasdílení změn modelu do Azure Container Instances
Jakmile má Sam profilovací data k dispozici, použije Azure Machine Learning k zabalení modelu do kontejneru a jeho nasazení do Azure Container Instances pro odvozování v reálném čase nebo hromadně. Po nasazení využije funkce automatického generování schémat a monitorování v Azure Machine Learning.
Nasazení na různé škálovatelné koncové body a implementace testování A/B
Stačí pár řádků kódu a Sam nasdílí ten samý model do lépe škálovatelné instance služby Azure Kubernetes Service (AKS). K ověření nového modelu využije pokročilé možnosti testování A/B. Nyní může modely nasadit, kdekoli jsou potřeba – od cloudu až po hraniční zařízení – pomocí výpočetních možností včetně CPU, GPU a FPGA.
Umožnění týmu webových vývojářů používat nasazený model
Po nasazení modelu do instance AKS se tým pro vývoj webu připojí ke koncovému bodu webové služby, aby zavolal ze své aplikace pro odvozování v reálném čase nebo hromadně. Sam monitoruje koncový bod modelu a sleduje posun dat a další metriky, které je možné podle potřeby auditovat.
Publikování modelů kdekoli, kde jsou potřeba
Sam proměnil svůj opensourcový model ve webovou službu připravenou na produkční prostředí pro svůj vývojový tým. Místo toho, aby se musel naučit ovládat mnoho technologií potřebných pro hostování služeb, včetně Kubernetes, Flask a Swagger, se mohl soustředit na vývoj modelu.
Azure Machine Learning vám pomůže bezproblémově převést modely na vyspělé a plně vybavené webové služby a umožní jejich rychlou adaptaci v aplikacích.
S využitím Azure ML Sam rychle proměnil svůj open source model na webovou službu připravenou pro produkční prostředí, kterou může využívat vývojový tým. Jako odborník na data se mohl stále soustředit na vývoj modelu a nemusel získávat nové dovednosti související s celou řadou služeb, které jsou potřeba k hostování služeb (mezi které patří Kubernetes, Flask nebo Swagger).
Azure ML pomáhá odborníkům na data bezproblémově měnit modely na vyspělé a plně vybavené webové služby, které umožňují rychlou implementaci modelů v aplikacích.
Spolupráce s Azure DevOps a GitHub Actions v rámci automatizace pracovních postupů strojového učení
Spolupráce s Azure DevOps a GitHub Actions v rámci automatizace pracovních postupů strojového učení
Integrace s pracovním postupem DevOps
Sam, datový vědec pracující pro internetový obchod s módou, použil Azure Machine Learning k vytvoření a nasazení svých modelů. Nedávno svůj model vydal do produkční instance služby Azure Kubernetes Service (AKS) a webový tým ho integroval do webové aplikace se slibnými výsledky.
Rebecca, členka provozního týmu, chce zajistit, aby sestavení a nasazení modelu bylo součástí pracovních postupů DevOps. Sam si není jistý, jak model začlenit, a tak Rebeccu zaškolí v oblasti Azure Machine Learning a spolupracuje s ní s cílem určit, jak vyhovět požadavkům obou stran.
Datový vědec Sam nedávno použil Azure ML k vytváření a nasazování modelů. Právě vydal model do produkční instance AKS. Rebecca ho chce integrovat do svých pracovních postupů DevOps. Sam ji nasměruje na Azure ML.
Vytvoření nového kanálu verze s využitím služby Azure Pipelines
Rebecca vytvoří kanál v Azure Pipelines, který zautomatizuje proces nasazení. První krok kanálu provádí úkoly, jako je sestavení modelu se všemi závislostmi a kontrola chyb. Pro automatické spuštění tohoto kanálu ho Rebecca propojí s registrem modelů Azure Machine Learning, čímž zajistí, aby se spustil vždy, když se zaregistruje nový model nebo nová verze modelu.
Publikování modelu k ověření
Před přechodem modelu do produkčního prostředí přidá Rebecca úlohu pro zveřejnění modelu do Azure Container Instances k jeho ověření. K interakci s Azure Machine Learning používá rozhraní Azure CLI, což jí poskytuje přístup ke stejným funkcím uvnitř jejích nástrojů, jaké má Sam ve svém notebooku. Tento krok napodobuje testy integrace v procesu DevOps jejich aplikace.
Přesunutí modelu do produkčního prostředí po ověření
Rebecca přidá úlohu kanálu verze pro nasazení modelu do produkčního prostředí pomocí AKS. Před aktivací této úlohy Rebecca nakonfiguruje bránu, která před pokračováním vyžaduje posouzení a schválení vedoucím pracovníkem nebo manažerem. Tím se zajistí, že kanál nezpůsobí závažné poruchy, pokud by skriptovaná ověření případný problém nezachytila.
Nastavte detekci posunu dat tak, aby se aktivovalo opakované trénování
Zatímco Rebecca nastavuje automatizovaný kanál pro nasazení modelů, Sam umožňuje monitorování posunu dat pomocí Azure Machine Learning. Díky monitorování využití služeb může Sam zjistit, jestli se požadavky na odvozování v produkčním prostředí začínají odchylovat od trénovací datové sady, což značí potřebu opětovného trénování.
Monitorování stability a výkonu služby
Pomocí funkce Application Insights, která je součástí služby Azure Monitor, monitoruje Rebecca operace služby, jako je počet požadavků, zatížení clusteru AKS a latence odezvy, zatímco Sam monitoruje výkon modelu, aby určil, jestli je třeba provést optimalizace.
Vytvoření zjednodušeného pracovního postupu modelu
Rebecca začlenila Azure Machine Learning do pracovního postupu DevOps – od automatizace vydání až po monitorování produkce. Zatímco ona dohlíží na provoz služeb, Sam monitoruje a spravuje výkonnost modelů a podle potřeby je optimalizuje.
Azure Machine Learning pomáhá zvýšit úroveň datové vědy v procesu DevOps vaší organizace, což vede ke spolehlivějším a robustnějším projektům strojového učení.
Služba Azure ML se díky nativním integracím se stávajícími nástroji, jako jsou Azure DevOps nebo Azure App Insights, bezproblémově integrovala do Rebečina stávajícího pracovního postupu DevOps, od automatizace vydávání verzí až po monitorování produkčního prostředí. A zatímco Rebecca dává pozor na operace služby, Azure ML poskytuje Samovi nástroje, pomocí kterých může monitorovat a spravovat výkon modelu a podle potřeby ho optimalizovat.
Azure ML pomáhá plně integrovat datové vědy do stávajícího procesu DevOps vaší organizace, což vede ke spolehlivějším a robustnějším projektům strojového učení.
Zlepšení zásad správného řízení a správy nákladů napříč projekty strojového učení
Zlepšení zásad správného řízení a správy nákladů napříč projekty strojového učení
Povolení zásad správného řízení modelů strojového učení
Phil, manažer IT v internetovém obchodě s módou, je nadšený z práce, kterou datové a provozní týmy odvádějí s Azure Machine Learning.
Přestože je Phil zodpovědný za IT infrastrukturu společnosti, není si jistý, co se vytváří, kdo má přístup a kolik to bude stát. Rozhodne se využít službu Azure Machine Learning, aby mu pomohla splnit jeho povinnosti v oblasti správného řízení.
Phil, IT manažer zaměstnaný u online maloobchodníka, je nadšený z práce Sama a Rebeccy. Phil je ale zodpovědný za IT infrastrukturu a neví, jak zajistit zásady správného řízení pro projekt ML. Hledá pomoc v Azure ML.
Kontrola modelů v produkčním prostředí
Phil používá Azure Machine Learning k auditování produkčních koncových bodů. Může navigovat zpět k základním modelům a experimentům spolu s výstupy vysvětlení modelů a analýzou nestrannosti. Díky tomu může sledovat každý krok v procesu tvorby modelu a auditovat model pro zjištění případných odchylek.
Kontrola podrobné historie modelů v protokolech auditu
Phil využívá protokoly auditu Azure Machine Learning. Ty doplňují sledovatelnost nalezenou v modelech a experimentech o podrobný protokol, který sleduje každou akci (datum, čas a uživatele). Tyto protokoly pomáhají Philovi sledovat akce iniciované v rámci služby nebo službou pro účely odpovědnosti v rámci celé organizace.
Zabezpečení pracovního prostoru pomocí správy identit a přístupu Azure
Phil používá řešení správy identit a přístupu Azure ke správě přístupu k pracovnímu prostoru Azure Machine Learning. K omezení úloh, které můžou uživatelé provádět, a k řízení přístupu ke zdrojům používá vestavěné i vlastní role.
Zajištění zodpovědnosti s využitím prostředků Azure
Phil používá možnost kvót ke konfiguraci limitů prostředků a sdílení. To mu pomáhá spravovat výdaje, kontrolovat náklady a zajistit spravedlivé přidělování zdrojů mezi týmy. Zároveň tím také podporuje odpovědnost příslušných projektových týmů.
Dodržování předpisů a zásad správného řízení modelů
Phil teď může zjistit, co se vytváří, a zajistit soulad s předpisy organizace prostřednictvím auditování, řízení přístupu na základě role a správy kvót. Oceňuje, že Azure Machine Learning nejen podporuje datové a provozní týmy, ale také poskytuje potřebné funkce správy na podnikové úrovni.
Azure Machine Learning poskytuje organizační ovládací prvky nezbytné pro zajištění toho, že projekty strojového učení budou úspěšné a zabezpečené.
Monitorování Azure Machine Learning Plánování a správa nákladů pro Azure Machine Learning
Phil je vděčný, že Azure ML nejenže podporuje tým pro datové vědy a provozní tým, ale poskytuje také možnosti zásad správného řízení na podnikové úrovni, které potřebuje ke zvládnutí svých povinností. Má dokonalý přehled o všem v produkčním prostředí a prostřednictvím auditování, řízení přístupu na základě role a správy kvót může zajistit dodržování předpisů organizace.
Azure ML poskytuje organizační kontrolní prvky důležité pro úspěch a zabezpečení projektů strojového učení.
Monitorování Azure Machine Learning Plánování a správa nákladů pro Azure Machine Learning
Komplexní a předem integrované zabezpečení a dodržování předpisů
-
Microsoft investuje do výzkumu a vývoje v oblasti kybernetického zabezpečení více než USD 1 miliardu ročně.
-
Zaměstnáváme více než 3,500 odborníků na zabezpečení, kteří se plně věnují zabezpečení dat a ochraně osobních údajů.
-
Azure má víc certifikací než jakýkoli jiný poskytovatel cloudu. Podívejte se na kompletní seznam.
Začínáme s bezplatným účtem Azure
Začněte zdarma. Získejte kredit ve výši $200 a použijte ho do 30 dnů. Když máte kredit, získáte zdarma mnoho našich nejpopulárnějších služeb a navíc více než 40 dalších služeb, které jsou vždy zdarma.
Po vyčerpání kreditu přejděte na průběžné platby, abyste mohli dál tvořit pomocí stejných služeb. Plaťte pouze v případě, že využijete více než bezplatné měsíční částky.
Po 12 měsících budete dál využívat více než 40 služeb, které jsou vždy zdarma, a stále budete platit jen za to, co používáte nad rámec bezplatných měsíčních částek.
Podívejte se, jak zákazníci předávají hodnotu pomocí operací strojového učení.
FedEx
Bikram Virk, produktový manažer, AI a Machine Learning, FedEx"Customers expect timely and accurate information on their packages and a data-based delivery experience. We're helping FedEx stay on the leading edge with Azure Machine Learning, and we're building expertise for future projects."
BRF
Alexandre Biazin, Technology Executive Manager, BRF"We're scaling with automated machine learning in Azure and MLOps capabilities in Azure Machine Learning so that our 15 analysts can focus on more strategic tasks instead of the mechanics of merging spreadsheets and running analyses."
Nestle
Ignasi Paredes-Oliva, vedoucí odborník na data, Nestlé Global Security Operations Center"MLOps is at the core of our product. Because of its reproducible ML pipelines, ...registered models, and automatic model scoring, we're definitely detecting things that we missed before. Which, in terms of risk management, is really, really important."
PepsiCo
Michael Cleavinger, ředitel oddělení Shopper Insights, Data Science, and Advanced Analytics, PepsiCo"We've used the MLOps capabilities in Azure Machine Learning to simplify the whole machine learning process. That allows us to focus more on data science and let Azure Machine Learning take care of end-to-end operationalization."
Další zdroje informací o MLOps
Začínáme
Vzdělávání
Ucelený studijní program MLOpsBlog
- Sjednocení MLOps v Microsoftu
- Koncepty modelu vyspělosti MLOps
- Azure Machine Learning vyniká v připravenosti pro podniky
- Umění testování systémů strojového učení
- Testování robustnosti systémů strojového učení
- Testování škálovatelnosti systémů strojového učení
- Testování zabezpečení systémů strojového učení