Wykonywanie i wyzwalacze potoku w usłudze Azure Data Factory lub Azure Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Uruchomienie potoku w usłudze Azure Data Factory i usłudze Azure Synapse definiuje wystąpienie wykonywania potoku. Załóżmy na przykład istnienie potoku, który jest wykonywany o godzinie 8:00, 9:00 i 10:00. W takim przypadku występują trzy osobne uruchomienia potoku. Każde uruchomienie potoku ma unikatowy identyfikator uruchomienia potoku. Identyfikator uruchomienia jest identyfikatorem GUID, który w sposób unikatowy definiuje to konkretne uruchomienie potoku.

Uruchomienia potoku są tworzone zazwyczaj przez przekazanie argumentów do parametrów, które definiujesz w potoku. Potok możesz wykonywać ręcznie albo za pomocą wyzwalacza. Ten artykuł zawiera szczegółowe informacje na temat obu metod wykonywania potoku.

Tworzenie wyzwalaczy za pomocą interfejsu użytkownika

Aby ręcznie wyzwolić potok lub skonfigurować nowy zaplanowany, wirujący okno, zdarzenie magazynu lub niestandardowy wyzwalacz zdarzeń, wybierz pozycję Dodaj wyzwalacz w górnej części edytora potoków.

Jeśli zdecydujesz się ręcznie wyzwolić potok, zostanie on wykonany natychmiast. W przeciwnym razie, jeśli wybierzesz pozycję Nowy/Edytuj, zostanie wyświetlony monit z oknem dodawania wyzwalaczy, aby wybrać istniejący wyzwalacz do edycji lub utworzyć nowy wyzwalacz.

Zostanie wyświetlone okno konfiguracji wyzwalacza, które umożliwia wybranie typu wyzwalacza.

Przeczytaj więcej na temat zaplanowanych, wirujących okien, zdarzeń magazynu i niestandardowych wyzwalaczy zdarzeń poniżej.

Ręczne wykonywanie (na żądanie) przy użyciu formatu JSON

Ręczne wykonywanie potoku nazywane jest również wykonywaniem na żądanie.

Na przykład załóżmy, że masz podstawowy potok o nazwie copyPipeline, który chcesz wykonać. Ten potok ma jedno działanie polegające na kopiowaniu elementów z folderu źródłowego w magazynie Azure Blob Storage do folderu docelowego w tym samym magazynie. W następującej definicji JSON przedstawiono ten przykładowy potok:

{
    "name": "copyPipeline",
    "properties": {
        "activities": [
            {
                "type": "Copy",
                "typeProperties": {
                    "source": {
                        "type": "BlobSource"
                    },
                    "sink": {
                        "type": "BlobSink"
                    }
                },
                "name": "CopyBlobtoBlob",
                "inputs": [
                    {
                        "referenceName": "sourceBlobDataset",
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "sinkBlobDataset",
                        "type": "DatasetReference"
                    }
                ]
            }
        ],
        "parameters": {
            "sourceBlobContainer": {
                "type": "String"
            },
            "sinkBlobContainer": {
                "type": "String"
            }
        }
    }
}

W definicji JSON potok przyjmuje dwa parametry: sourceBlobContainer i sinkBlobContainer. Wartości tych parametrów są przekazywane w czasie uruchomienia.

Możesz uruchomić potok ręcznie, używając jednej z następujących metod:

• Zestaw SDK platformy .NET
• Moduł programu Azure PowerShell
• Interfejs API REST
• Zestaw SDK dla języka Python

Interfejs API REST

Następujące przykładowe polecenie pokazuje, jak uruchomić potok przy użyciu interfejsu API REST ręcznie:

POST
https://management.azure.com/subscriptions/mySubId/resourceGroups/myResourceGroup/providers/Microsoft.DataFactory/factories/myDataFactory/pipelines/copyPipeline/createRun?api-version=2017-03-01-preview

Pełny przykład można znaleźć w artykule Szybki start: tworzenie fabryki danych przy użyciu interfejsu API REST.

Azure PowerShell

Następujące przykładowe polecenie ilustruje, jak ręcznie uruchomić potok przy użyciu programu Azure PowerShell:

Invoke-AzDataFactoryV2Pipeline -DataFactory $df -PipelineName "Adfv2QuickStartPipeline" -ParameterFile .\PipelineParameters.json -ResourceGroupName "myResourceGroup"

Parametry są przekazywane w treści ładunku żądania. W zestawie SDK platformy .NET, programie Azure PowerShell i zestawie SDK dla języka Python wartości przekazuje się w słowniku przekazywanym jako argument wywołania:

{
  "sourceBlobContainer": "MySourceFolder",
  "sinkBlobContainer": "MySinkFolder"
}

Ładunek odpowiedzi to unikatowy identyfikator uruchomienia potoku:

{
  "runId": "0448d45a-a0bd-23f3-90a5-bfeea9264aed"
}

Pełny przykład można znaleźć w artykule Szybki start: tworzenie fabryki danych przy użyciu programu Azure PowerShell.

Zestaw SDK platformy .NET

Następujące przykładowe wywołanie pokazuje, jak uruchomić potok przy użyciu zestawu SDK platformy .NET ręcznie:

client.Pipelines.CreateRunWithHttpMessagesAsync(resourceGroup, dataFactoryName, pipelineName, parameters)

Pełny przykład można znaleźć w artykule Szybki start: tworzenie fabryki danych przy użyciu zestawu SDK platformy .NET.

Wykonywanie wyzwalacza przy użyciu formatu JSON

Wyzwalacze to inny sposób wykonywania uruchomienia potoku. Wyzwalacze reprezentują jednostki przetwarzania, które określają, kiedy należy rozpocząć wykonanie potoku. Obecnie usługa obsługuje trzy typy wyzwalaczy:

• Wyzwalacz harmonogramu: wyzwalacz, który wywołuje potok zgodnie z harmonogramem zegarowym.

• Wyzwalacz okna wirowania: wyzwalacz działający w okresowych interwałach przy zachowaniu stanu.

• Wyzwalacz oparty na zdarzeniach: wyzwalacz, który odpowiada na zdarzenie.

Potoki i wyzwalacze mają relację wiele do wielu (z wyjątkiem wyzwalacza okien stałoczasowych). Wiele wyzwalaczy może uruchamiać jeden potok, a jeden wyzwalacz może uruchamiać wiele potoków. W poniższej definicji wyzwalacza właściwość pipelines odnosi się do listy potoków wyzwalanych przez określony wyzwalacz. Definicja właściwości zawiera wartości dla parametrów potoku.

Podstawowa definicja wyzwalacza

{
    "properties": {
        "name": "MyTrigger",
        "type": "<type of trigger>",
        "typeProperties": {...},
        "pipelines": [
            {
                "pipelineReference": {
                    "type": "PipelineReference",
                    "referenceName": "<Name of your pipeline>"
                },
                "parameters": {
                    "<parameter 1 Name>": {
                        "type": "Expression",
                        "value": "<parameter 1 Value>"
                    },
                    "<parameter 2 Name>": "<parameter 2 Value>"
                }
            }
        ]
    }
}

Wyzwalacz harmonogramu z plikiem JSON

Wyzwalacz harmonogramu uruchamia potoki zgodnie z harmonogramem zegarowym. Ten wyzwalacz obsługuje opcje okresowe i zaawansowane kalendarza. Na przykład wyzwalacz obsługuje interwały, takie jak "co tydzień" lub "poniedziałek o godzinie 17:00 i czwartek o godzinie 19:00". Wyzwalacz harmonogramu jest elastyczny, ponieważ wzorzec zestawu danych jest niezależny, a wyzwalacz nie rozróżnia danych szeregów czasowych i innych niż szeregi czasowe.

Aby uzyskać więcej informacji na temat wyzwalaczy harmonogramu i, na przykład, zobacz Tworzenie wyzwalacza, który uruchamia potok zgodnie z harmonogramem.

Definicja wyzwalacza harmonogramu

Tworząc wyzwalacz harmonogramu, należy określić planowanie i powtarzanie przy użyciu definicji JSON.

Aby wyzwalacz harmonogramu uruchamiał potok, należy dołączyć odwołanie do konkretnego potoku do definicji wyzwalacza. Między potokami i wyzwalaczami występuje relacja wiele-do-wielu. Wiele wyzwalaczy może uruchomić jeden potok. Jeden wyzwalacz może uruchamiać wiele potoków.

{
  "properties": {
    "type": "ScheduleTrigger",
    "typeProperties": {
      "recurrence": {
        "frequency": <<Minute, Hour, Day, Week, Year>>,
        "interval": <<int>>, // How often to fire
        "startTime": <<datetime>>,
        "endTime": <<datetime>>,
        "timeZone": "UTC",
        "schedule": { // Optional (advanced scheduling specifics)
          "hours": [<<0-24>>],
          "weekDays": [<<Monday-Sunday>>],
          "minutes": [<<0-60>>],
          "monthDays": [<<1-31>>],
          "monthlyOccurrences": [
            {
              "day": <<Monday-Sunday>>,
              "occurrence": <<1-5>>
            }
          ]
        }
      }
    },
  "pipelines": [
    {
      "pipelineReference": {
        "type": "PipelineReference",
        "referenceName": "<Name of your pipeline>"
      },
      "parameters": {
        "<parameter 1 Name>": {
          "type": "Expression",
          "value": "<parameter 1 Value>"
        },
        "<parameter 2 Name>": "<parameter 2 Value>"
      }
    }
  ]}
}

Przegląd schematu

Poniższa tabela zawiera ogólne omówienie głównych elementów schematu odnoszących się do powtarzania i planowania wyzwalacza:

Przykładowy wyzwalacz harmonogramu

{
  "properties": {
    "name": "MyTrigger",
    "type": "ScheduleTrigger",
    "typeProperties": {
      "recurrence": {
        "frequency": "Hour",
        "interval": 1,
        "startTime": "2017-11-01T09:00:00-08:00",
        "endTime": "2017-11-02T22:00:00-08:00"
      }
    },
    "pipelines": [{
        "pipelineReference": {
          "type": "PipelineReference",
          "referenceName": "SQLServerToBlobPipeline"
        },
        "parameters": {}
      },
      {
        "pipelineReference": {
          "type": "PipelineReference",
          "referenceName": "SQLServerToAzureSQLPipeline"
        },
        "parameters": {}
      }
    ]
  }
}

Wartości domyślne, limity i przykłady harmonogramów

Właściwość startTime

W poniższej tabeli przedstawiono, w jaki sposób właściwość startTime kontroluje uruchamianie wyzwalacza:

Rozpatrzmy przykład zdarzeń w przypadku, gdy czas rozpoczęcia przypada w przeszłości, z cyklem, ale bez harmonogramu. Załóżmy, że obecna data i godzina to 13:00 08-04-2017, czas rozpoczęcia to 14:00 07-04-2017, a cykl jest określony na 2 dni. (Wartość cyklu jest definiowana przez ustawienie właściwości frequency na "day" i właściwość interval na 2. Zwróć uwagę, że wartość startTime jest w przeszłości i występuje przed bieżącą godziną.

W tych warunkach pierwsze wykonanie następuje o 14:00 w dniu 09-04-2017. Aparat harmonogramu oblicza wystąpienia wykonania od czasu rozpoczęcia. Wszystkie wystąpienia w przeszłości są odrzucane. Aparat wykorzystuje następne wystąpienie, które ma miejsce w przyszłości. W tym scenariuszu godziną rozpoczęcia jest 14:00 w dniu 07-04-2017. Następne wystąpienie zostanie uruchomione za dwa dni od tego czasu, czyli o 14:00 w dniu 09-04-2017.

Czas pierwszego wykonania jest identyczny, nawet jeśli właściwość startTime ma wartość 14:00 05-04-2017 lub 14:00 01-04-2017. Po pierwszym wykonaniu kolejne wykonania są obliczane przy użyciu harmonogramu. W związku z tym kolejne wykonania zostaną uruchomione o 14:00 w dniu 11-04-2017, a następnie o 14:00 w dniu 13-04-2017, o 14:00 w dniu 15-04-2017 i tak dalej.

Na koniec, gdy godziny lub minuty nie są ustawione w harmonogramie wyzwalacza, godziny lub minuty pierwszego wykonania są używane jako domyślne.

Wartość schedule

Właściwości schedule można użyć do ograniczenia liczby wykonań wyzwalacza. Jeśli na przykład uruchomienie wyzwalacza z częstotliwością miesięczną zaplanowano na 31. dzień, wyzwalacz będzie uruchamiany tylko w miesiącach, które mają trzydzieści jeden dni.

Właściwości schedule możesz też użyć do zwiększenia liczby wykonań wyzwalacza. Na przykład wyzwalacz z częstotliwością miesięczną, którego uruchomienie zaplanowano na 1. i 2. dzień miesiąca, będzie uruchamiany pierwszego i drugiego dnia miesiąca, a nie raz na miesiąc.

Jeśli określono wiele elementów harmonogramu , kolejność oceny wynosi od największego do najmniejszego ustawienia harmonogramu: numer tygodnia, dzień miesiąca, dzień tygodnia, godzina, minuta.

W poniższej tabeli opisano szczegółowo elementy właściwości schedule:

Wyzwalacz okna wirowania

Wyzwalacze okna wirowania to rodzaj wyzwalaczy uruchamianych w określonych odstępach czasu od wskazanego czasu rozpoczęcia przy zachowaniu stanu. Okna wirowania to ciągłe, nienakładające się na siebie serie odstępów czasu o stałych rozmiarach.

Aby uzyskać więcej informacji na temat wyzwalaczy okien stałoczasowych i, na przykład, zobacz Tworzenie wyzwalacza okna wirowania.

Przykłady harmonogramów cyklu wyzwalaczy

Ta sekcja zawiera przykłady harmonogramów cyklu. Koncentruje się ona na obiekcie schedule i jego elementach.

W przykładach przyjęto założenie, że wartość interwału wynosi 1 i że wartość częstotliwości jest poprawna zgodnie z definicją harmonogramu. Na przykład nie można mieć wartości frequency równej „day” i jednocześnie mieć modyfikacji monthDays w obiekcie schedule. Tego rodzaju ograniczenia są opisane w tabeli w poprzedniej sekcji.

Porównanie typów wyzwalaczy

Zarówno wyzwalacz okna wirowania, jak i wyzwalacz harmonogramu pracują w oparciu o pulsy czasu. Czym się od siebie różnią?

Poniższa tabela zawiera porównanie wyzwalacza okna wirowania i wyzwalacza harmonogramu:

Wyzwalacz oparty na zdarzeniach

Wyzwalacz oparty na zdarzeniach uruchamia potoki w odpowiedzi na zdarzenie. Istnieją dwa warianty wyzwalaczy opartych na zdarzeniach.

• Wyzwalacz zdarzeń magazynu uruchamia potok w odniesieniu do zdarzeń wykonywanych na koncie usługi Storage, takich jak przybycie pliku lub usunięcie pliku na koncie usługi Azure Blob Storage.
• Niestandardowe procesy wyzwalacza zdarzeń i obsługują artykuły niestandardowe w usłudze Event Grid

Aby uzyskać więcej informacji na temat wyzwalaczy opartych na zdarzeniach, zobacz Wyzwalacz zdarzeń magazynu i Wyzwalacz zdarzeń niestandardowych.

Powiązana zawartość

Zobacz następujące samouczki:

• Szybki start: tworzenie fabryki danych przy użyciu zestawu SDK platformy .NET
• Tworzenie wyzwalacza harmonogramu
• Tworzenie wyzwalacza okna wirowania