Azure Data Factory: narzędzia wizualne udostępnione w publicznej wersji zapoznawczej

Publiczna wersja zapoznawcza usługi Azure Data Factory (ADF) w wersji 2 została zapowiedziana na konferencji Microsoft Ignite 25 września 2017 r. Wraz z usługą ADF w wersji 2 dodaliśmy do modelu aplikacji usługi ADF elastyczność i umożliwiliśmy konstrukcje przepływów sterowania, które pozwalają teraz na tworzenie pętli oraz gałęzi, konstrukcje warunkowe, wykonania na żądanie i elastyczne planowanie za pomocą różnych interfejsów programistycznych, takich jak Python, .Net, PowerShell, interfejsy API REST i szablony ARM. Jedną z najwyraźniej komunikowanych przez klientów potrzeb jest zapewnienie rozbudowanego interakcyjnego środowiska do monitorowania i tworzenia wizualnego, za pomocą którego użytkownicy mogliby bezproblemowo tworzyć, konfigurować, testować, wdrażać i monitorować potoki integracji danych. Wysłuchaliśmy tych opinii i z przyjemnością zapowiadamy wydanie narzędzi wizualnych dla usługi ADF w wersji 2. Głównym zadaniem narzędzi wizualnych usługi ADF jest umożliwienie produktywnej pracy z usługą ADF przez szybkie tworzenie i uruchamianie potoków bez konieczności pisania nawet wiersza kodu. Za pomocą prostego i intuicyjnego interfejsu, pozbawionego kodu, można przeciągać i upuszczać działania na kanwę potoku, wykonywać przebiegi testowe, interakcyjnie debugować, wdrażać i monitorować uruchomienia potoków. Wraz z tą wersją zapewniamy też przewodniki dotyczące używania udostępnionych funkcji do wizualnego tworzenia i monitorowania oraz możliwość przekazywania nam opinii.

Narzędzia wizualne dla usługi ADF w wersji 2 mają zwiększyć produktywność i wydajność nowych i zaawansowanych użytkowników dzięki zapewnieniu intuicyjnych środowisk. Aby rozpocząć, wystarczy kliknąć kafelek Tworzenie i monitorowanie w bloku fabryki danych w wersji 2 z zainicjowaną obsługą administracyjną.

 

Wypróbuj niektóre z interesujących funkcji udostępnionych w nowych narzędziach wizualnych dla usługi ADF w wersji 2. Możesz też obejrzeć krótki film poniżej.

 

Szybkie rozpoczynanie pracy

1. Tworzenie pierwszego potoku usługi ADF w wersji 2

2. Szybkie kopiowanie danych z wielu źródeł danych za pomocą kreatora kopiowania

3. Konfigurowanie przenoszenia pakietów SSIS na platformę Azure w środowisku SSIS IR

4. Konfigurowanie repozytorium kodu (VSTS GIT) pod kątem kontroli kodu źródłowego, współpracy, obsługi wersji itp.

Tworzenie wizualne

Tworzenie potoków przepływów sterowania

Twórz potoki, przeciągaj i upuszczaj działania oraz łącz je warunkami typu „w przypadku powodzenia”, „w przypadku niepowodzenia” i „po ukończeniu”.

Tworzenie środowisk Integration Runtime — typu Self Hosted i Azure

Utwórz środowisko Integration Runtime (Self Hosted) do hybrydowego przenoszenia danych lub środowisko Azure-SSIS IR do przenoszenia pakietów SSIS na platformę Azure. Twórz połączenia usług połączonych z magazynami danych lub wystąpieniami obliczeniowymi.

Obsługa wszystkich działań przepływów sterowania działających w rozwiązaniach obliczeniowych na platformie Azure

Działania przepływów sterowania:

• HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Stored Procedure, Web, For Each, Get Metadata, Look up, Execute Pipeline

Obsługa rozwiązań obliczeniowych platformy Azure:

• HDI (na żądanie, BYOC), ADLA, Azure Batch

Debugowanie i programowanie przyrostowe

Uruchamiaj przebiegi testowe przed dołączeniem wyzwalacza do potoku i uruchomieniem go na żądanie lub zgodnie z harmonogramem.

Parametryzowanie potoków i zestawów danych

Parametryzuj, używając wyrażeń i zmiennych systemowych.

Rozbudowana obsługa weryfikacji

Potoki można teraz weryfikować, aby ustalić, czy nie brakuje konfiguracji właściwości lub czy nie występują konfiguracje niepoprawne. Wystarczy kliknąć przycisk Weryfikuj na kanwie potoku. W zasobniku bocznym zostaną wygenerowane dane wyjściowe weryfikacji. Poszczególne wpisy można klikać, aby przejść bezpośrednio do lokalizacji brakującej weryfikacji.

Wyzwalanie potoków

Potoki można wyzwalać na żądanie i uruchamiać zgodnie z harmonogramem.

Używanie repozytorium VSTS GIT

Repozytorium (VSTS GIT) można używać na potrzeby kontroli kodu źródłowego, współpracy, obsługi wersji itp.

Kopiowanie danych

Magazyny danych (65)

Obsługa 65 magazynów danych. 18 magazynów podlega obsłudze pierwszej klasy — użytkownicy muszą podać tylko wartości konfiguracji. Pozostałych 47 magazynów można używać z notacją JSON.

18 magazynów z obsługą pierwszej klasy:

• Azure Blob, Azure CosmosDB, Azure Database for MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, tabela platformy Azure, system plików, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 magazynów z obsługą notacji JSON:

• Indeks wyszukiwania, Cassandra, plik HTTP, Mongo DB, OData, tabela relacyjna, Dynamics 365, Dynamics CRM, tabela internetowa, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for Customer

Szybkie kopiowanie danych z wielu źródeł danych za pomocą kreatora kopiowania

Znany kreator kopiowania usługi ADF w wersji 1 jest teraz dostępny w usłudze ADF w wersji 2 na potrzeby szybkiego jednorazowego importu. Kreator kopiowania generuje potoki z działaniami kopiowania na kanwie tworzenia. Działania kopiowania można teraz rozszerzać w celu uruchamiania innych działań, takich jak Spark, USQL, Stored Procedure (procedura składowana) itd., „w przypadku powodzenia”, „w przypadku niepowodzenia” itd. oraz w celu tworzenia całego potoku przepływu sterowania.

Przewodnik

Kliknij ikonę informacji w lewej dolnej części. Następnie możesz kliknąć pozycję Przewodnik, aby uzyskać instrukcje krok po kroku dotyczące wizualnego monitorowania potoku i uruchomień działań.

Opinia

Kliknij ikonę Opinia, aby przekazać nam opinię na temat różnych funkcji i napotkanych problemów.

Wybieranie fabryki danych

Umieść wskaźnik myszy na ikonie Fabryka danych w lewej górnej części. Kliknij ikonę Strzałka, aby wyświetlić listę subskrypcji platformy Azure i fabryk danych, które możesz monitorować.

Monitorowanie wizualne

Monitorowanie w widoku listy

Monitoruj potoki, działania i uruchomienia wyzwalaczy za pomocą prostego interfejsu widoku listy. Wszystkie uruchomienia są wyświetlane z uwzględnieniem lokalnej strefy czasowej przeglądarki. Strefę czasową można zmienić, a wszystkie pola daty i godziny zostaną odpowiednio dostosowane.

Monitorowanie uruchomień potoków:

Widok listy z poszczególnymi uruchomieniami potoków fabryki danych w wersji 2.

Monitorowanie uruchomień działań:

Widok listy z uruchomieniami działań odpowiadającymi poszczególnym uruchomieniom potoków. Kliknij ikonę Uruchomienia działania w kolumnie Akcje, aby wyświetlić uruchomienia działań odpowiadające poszczególnym uruchomieniom potoków.

Ważna uwaga: należy kliknąć ikonę Odśwież u góry, aby odświeżyć listę uruchomień potoków i działań. Automatyczne odświeżanie nie jest obecnie obsługiwane.

Monitorowanie uruchomień wyzwalaczy:

Rozbudowane porządkowanie i filtrowanie

Porządkuj uruchomienia potoków rosnąco lub malejąco według czasów uruchomień i filtruj je według nazw potoków, czasów uruchomień i stanów uruchomień.

Dodawanie/usuwanie kolumn w widoku listy

Kliknij prawym przyciskiem myszy nagłówek w widoku listy i wybierz kolumny, które mają być wyświetlane.

Zmienianie szerokości kolumn w widoku listy

Szerokości kolumn w widoku listy można zwiększać i zmniejszać, umieszczając wskaźnik myszy na nagłówkach kolumn.

Monitorowanie środowisk Integration Runtime

Monitoruj kondycję środowisk Integration Runtime typu Self Hosted, Azure i Azure-SSIS.

Anulowanie/ponowne uruchamianie uruchomień potoków

Anuluj uruchomienia potoków lub uruchamiaj ponownie uruchomienia potoków z już zdefiniowanymi parametrami.

To jest pierwsza wersja publiczna narzędzi wizualnych dla usługi ADF w wersji 2. Nieustannie pracujemy nad odświeżaniem opublikowanego oprogramowania o nowe funkcje oparte na opiniach klientów. Uzyskaj więcej informacji i szczegółowe procedury używania narzędzi wizualnych dla usługi ADF w wersji 2.

Szybko i łatwo rozpocznij tworzenie potoków za pomocą usługi Azure Data Factory. Jeśli masz propozycję nowej funkcji lub chcesz podzielić się opinią, odwiedź forum usługi Azure Data Factory.