Co to jest Menedżer orkiestracji przepływu pracy?
DOTYCZY:
Azure Data Factory 
Azure Synapse Analytics
Napiwek
Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !
Uwaga
Menedżer orkiestracji przepływu pracy jest obsługiwany przez platformę Apache Airflow.
Uwaga
Ta funkcja jest dostępna w publicznej wersji zapoznawczej. W przypadku pytań lub sugestii dotyczących funkcji wyślij wiadomość e-mail na ManagedAirflow@microsoft.com adres ze szczegółami.
Uwaga
Program Workflow Orchestration Manager dla usługi Azure Data Factory korzysta z aplikacji typu open source Apache Airflow. Dokumentację i więcej samouczków dotyczących rozwiązania Airflow można znaleźć na stronach dokumentacji lub społeczności platformy Apache Airflow.
Usługa Azure Data Factory oferuje potoki bezserwerowe na potrzeby orkiestracji procesów danych, przenoszenia danych z ponad 100 łącznikami zarządzanymi oraz wizualnych przekształceń przy użyciu przepływu danych mapowania.
Usługa Azure Data Factory Workflow Orchestration Manager to prosty i wydajny sposób tworzenia środowisk Apache Airflow i zarządzania nimi, co ułatwia uruchamianie potoków danych na dużą skalę. Apache Airflow to platforma typu open source używana do programowego tworzenia, planowania i monitorowania złożonych przepływów pracy danych. Umożliwia zdefiniowanie zestawu zadań nazywanych operatorami, które można połączyć w skierowane grafy acykliczne (DAG) do reprezentowania potoków danych. Przepływ powietrza umożliwia wykonywanie tych grup DAG zgodnie z harmonogramem lub w odpowiedzi na zdarzenie, monitorowanie postępu przepływów pracy i zapewnienie wglądu w stan każdego zadania. Jest on powszechnie używany w inżynierii danych i nauce o danych do organizowania potoków danych i jest znany ze swojej elastyczności, rozszerzalności i łatwości użycia.
Kiedy używać menedżera orkiestracji przepływu pracy?
Usługa Azure Data Factory oferuje potoki do wizualnego organizowania procesów danych (tworzenie oparte na interfejsie użytkownika). Program Workflow Orchestration Manager oferuje zestawy DAGs języka Python oparte na przepływie powietrza (tworzenie skoncentrowane na kodzie języka Python) do definiowania procesu aranżacji danych. Jeśli masz tło airflow lub obecnie używasz platformy Apache Airflow, możesz użyć Menedżera orkiestracji przepływu pracy zamiast potoków. Wręcz przeciwnie, jeśli nie chcesz pisać/ zarządzać grupami DAG opartymi na języku Python na potrzeby orkiestracji procesów danych, możesz użyć potoków.
Dzięki usłudze Workflow Orchestration Manager usługa Azure Data Factory oferuje teraz wieloaranżowe możliwości obejmujące wizualne, skoncentrowane na kodzie wymagania dotyczące orkiestracji systemu operacyjnego.
Funkcje
Menedżer orkiestracji przepływu pracy w usłudze Azure Data Factory oferuje szereg zaawansowanych funkcji, w tym:
- Szybkie i proste wdrażanie — możesz szybko i łatwo skonfigurować przepływ powietrza Apache, wybierając wersję systemu Apache Airflow podczas tworzenia menedżera orkiestracji przepływu pracy.
- Skala chmury — Menedżer orkiestracji przepływu pracy automatycznie skaluje węzły Apache Airflow, jeśli jest to wymagane na podstawie specyfikacji zakresu (minimalna, maksymalna).
- Integracja z firmą Microsoft Entra — możesz włączyć kontrolę dostępu opartą na rolach firmy Microsoft w środowisku airflow na potrzeby środowiska logowania jednokrotnego zabezpieczonego przez identyfikator Firmy Microsoft Entra.
- Szyfrowanie metadanych — Menedżer orkiestracji przepływu pracy automatycznie szyfruje metadane przy użyciu kluczy zarządzanych przez platformę Azure w celu zapewnienia, że środowisko jest domyślnie bezpieczne. Obsługuje również podwójne szyfrowanie za pomocą klucza zarządzanego przez klienta (CMK).
- Monitorowanie i alerty platformy Azure — wszystkie dzienniki generowane przez program Workflow Orchestration Manager są eksportowane do usługi Azure Monitor. Udostępnia również metryki do śledzenia warunków krytycznych i ułatwiają powiadamianie o potrzebie.
Architektura
Dostępność regionów (publiczna wersja zapoznawcza)
- Wschodnie stany USA
- Południowo-środkowe stany USA
- Zachodnie stany USA
- Brazylia Południowa
- Południowe Zjednoczone Królestwo
- Europa Północna
- West Europe
- Azja Południowo-Wschodnia
Uwaga
Według ogólnie dostępnej wersji wszystkie regiony usługi ADF będą obsługiwane. Region środowiska Airflow jest domyślnie ustawiony na region usługi Data Factory i nie można go skonfigurować, dlatego upewnij się, że używasz usługi Data Factory w powyższym obsługiwanym regionie, aby mieć dostęp do wersji zapoznawczej programu Workflow Orchestration Manager.
Obsługiwane wersje platformy Apache Airflow
- 2.6.3
Uwaga
Zmiana wersji systemu Airflow w ramach istniejącego środowiska IR nie jest obsługiwana. Zamiast tego zalecanym rozwiązaniem jest utworzenie nowego środowiska Ir Airflow z żądaną wersją
Integracje
Platforma Apache Airflow integruje się z usługami platformy Microsoft Azure za pośrednictwem dostawcy microsoft.azure.
Dowolny pakiet dostawcy można zainstalować, edytując środowisko przepływu powietrza z poziomu interfejsu użytkownika usługi Azure Data Factory. Zainstalowanie pakietu trwa około kilku minut.
Ograniczenia
- Menedżer orkiestracji przepływu pracy w innych regionach jest dostępny przez ga.
- Źródła danych łączące się za pośrednictwem przepływu powietrza powinny być dostępne za pośrednictwem publicznego punktu końcowego (sieć).
- Grupy DAG, które znajdują się w usłudze Blob Storage w sieci wirtualnej/za zaporą, nie są obecnie obsługiwane. Zamiast tego zalecamy korzystanie z funkcji synchronizacji git programu Workflow Orchestration Manager. Zobacz Synchronizowanie repozytorium GitHub w programie Workflow Orchestration Manager
- Importowanie dags z usługi Azure Key Vault nie jest obsługiwane w usłudze LinkedServices.