Co je Správce orchestrace pracovních postupů?
PLATÍ PRO:
Azure Data Factory 
Azure Synapse Analytics
Tip
Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.
Poznámka:
Správce orchestrace pracovních postupů využívá Apache Airflow.
Poznámka:
Tato funkce je ve verzi Public Preview. Pokud máte dotazy nebo návrhy funkcí, pošlete e-mail ManagedAirflow@microsoft.com s podrobnostmi.
Poznámka:
Správce orchestrace pracovních postupů pro Azure Data Factory spoléhá na opensourcovou aplikaci Apache Airflow. Dokumentaci a další kurzy pro Airflow najdete na stránkách dokumentace nebo komunity Apache Airflow.
Azure Data Factory nabízí bezserverové kanály pro orchestraci procesů dat, přesun dat s více než 100 spravovanými konektory a vizuální transformace s tokem dat mapování.
Služba Orchestration Manager pracovního postupu služby Azure Data Factory je jednoduchý a efektivní způsob vytváření a správy prostředí Apache Airflow , který umožňuje snadno spouštět datové kanály ve velkém měřítku. Apache Airflow je opensourcová platforma používaná k programovému vytváření, plánování a monitorování složitých datových pracovních postupů. Umožňuje definovat sadu úloh označovaných jako operátory, které se dají kombinovat do směrovaných acyklických grafů (DAG), které představují datové kanály. Airflow umožňuje spouštět tyto dagy podle plánu nebo v reakci na událost, sledovat průběh pracovních postupů a poskytovat přehled o stavu jednotlivých úloh. Je široce používán v oblasti přípravy dat a datových věd k orchestraci datových kanálů a je známý díky své flexibilitě, rozšiřitelnosti a snadnému použití.
Kdy použít Správce orchestrace pracovního postupu?
Azure Data Factory nabízí kanály pro vizuální orchestraci datových procesů (vytváření na základě uživatelského rozhraní). Zatímco Správce orchestrace pracovních postupů nabízí dagy Pythonu založené na Airflowu (vytváření kódu zaměřené na kód Pythonu) pro definování procesu orchestrace dat. Pokud máte pozadí Airflow nebo aktuálně používáte Apache Airflow, můžete místo kanálů raději použít Správce orchestrace pracovního postupu. Naopak pokud nechcete psát nebo spravovat daG založené na Pythonu pro orchestraci procesů dat, můžete raději používat kanály.
Díky Nástroji Orchestraation Manageru pracovních postupů teď Azure Data Factory nabízí možnosti pro více orchestrací, které pokrývají požadavky na orchestraci vizuálů, orientovaných na kód a orchestraci operačního systému.
Funkce
Správce orchestrace pracovních postupů ve službě Azure Data Factory nabízí celou řadu výkonných funkcí, mezi které patří:
- Rychlé a jednoduché nasazení – Apache Airflow můžete rychle a snadno nastavit tak, že při vytváření Správce orchestrace pracovního postupu vyberete verzi Apache Airflow.
- Cloudové škálování – Správce orchestrace pracovního postupu automaticky škáluje uzly Apache Airflow v případě potřeby na základě specifikace rozsahu (min, max).
- Integrace Microsoft Entra – Microsoft Entra RBAC můžete povolit v prostředí Airflow pro jednotné přihlašování, které je zabezpečené pomocí Microsoft Entra ID.
- Šifrování metadat – Správce orchestrace pracovního postupu automaticky šifruje metadata pomocí klíčů spravovaných v Azure, aby se zajistilo, že vaše prostředí je ve výchozím nastavení zabezpečené. Podporuje také dvojité šifrování pomocí klíče spravovaného zákazníkem (CMK).
- Monitorování a upozorňování Azure – Všechny protokoly vygenerované Správcem orchestrace pracovního postupu se exportují do služby Azure Monitor. Poskytuje také metriky pro sledování kritických podmínek a pomáhá upozorňovat, pokud je to potřeba.
Architektura
Dostupnost oblastí (Public Preview)
- Usa – východ
- Usa – středojižní
- Usa – západ
- Brazílie – jih
- Velká Británie – jih
- Severní Evropa
- West Europe
- Jižní Asie
Poznámka:
Ve verzi GA se budou podporovat všechny oblasti ADF. Oblast prostředí Airflow je ve výchozím nastavení nastavená na oblast Data Factory a není konfigurovatelná, proto se ujistěte, že používáte službu Data Factory ve výše podporované oblasti, abyste měli přístup k verzi Preview Správce orchestrace pracovního postupu.
Podporované verze Apache Airflow
- 2.6.3
Poznámka:
Změna verze Airflow v existujícím prostředí IR se nepodporuje. Místo toho doporučujeme vytvořit nové prostředí AIRflow IR s požadovanou verzí.
Integrace
Apache Airflow se integruje se službami Microsoft Azure prostřednictvím poskytovatele microsoft.azure.
Libovolný balíček zprostředkovatele můžete nainstalovat úpravou prostředí airflow z uživatelského rozhraní služby Azure Data Factory. Instalace balíčku trvá přibližně několik minut.
Omezení
- Správce orchestrace pracovních postupů v jiných oblastech je dostupný ve verzi GA.
- Zdroje dat připojující se přes tok vzduchu by měly být přístupné prostřednictvím veřejného koncového bodu (sítě).
- Skupiny DAG, které se nacházejí ve službě Blob Storage ve virtuální síti nebo za bránou firewall, se v současné době nepodporují. Místo toho doporučujeme použít funkci synchronizace Gitu ve Správci orchestrace pracovních postupů. Viz, Synchronizace úložiště GitHubu ve Správci orchestrace pracovního postupu
- Import dagů ze služby Azure Key Vault se v LinkedServices nepodporuje.