Przekształcanie danych przy użyciu działania hive usługi Hadoop w usłudze Azure Data Factory lub Synapse Analytics

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Działanie hive usługi HDInsight w potoku usługi Azure Data Factory lub Synapse Analytics wykonuje zapytania Hive we własnym klastrze usługi HDInsight lub na żądanie. Ten artykuł opiera się na artykule dotyczącym działań przekształcania danych, który zawiera ogólne omówienie transformacji danych i obsługiwanych działań przekształcania.

Jeśli dopiero zaczynasz korzystać z usług Azure Data Factory i Synapse Analytics, przeczytaj artykuły wprowadzające dotyczące usługi Azure Data Factory lub Synapse Analytics i wykonaj samouczek: przekształcanie danych przed przeczytaniem tego artykułu.

Dodawanie działania hive usługi HDInsight do potoku za pomocą interfejsu użytkownika

Aby użyć działania hive usługi HDInsight dla usługi Azure Data Lake Analytics w potoku, wykonaj następujące kroki:

  1. Wyszukaj gałąź Hive w okienku Działania potoku i przeciągnij działanie Hive na kanwę potoku.

  2. Wybierz nowe działanie Programu Hive na kanwie, jeśli nie zostało jeszcze wybrane.

  3. Wybierz kartę Klaster usługi HDI, aby wybrać lub utworzyć nową połączoną usługę z klastrem usługi HDInsight, który będzie używany do wykonywania działania programu Hive.

    Shows the UI for a Hive activity.

  4. Wybierz kartę Skrypt , aby wybrać lub utworzyć nową połączoną usługę magazynu oraz ścieżkę w lokalizacji magazynu, która będzie hostować skrypt.

    Shows the UI for the Script tab for a Hive activity.

Składnia

{
    "name": "Hive Activity",
    "description": "description",
    "type": "HDInsightHive",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveSript.hql",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

Szczegóły składni

Właściwości Opis Wymagania
name Nazwa działania Tak
opis Tekst opisujący, do czego służy działanie Nie.
type W przypadku działania Hive typ działania to HDinsightHive Tak
linkedServiceName Odwołanie do klastra usługi HDInsight zarejestrowanego jako połączona usługa. Aby dowiedzieć się więcej o tej połączonej usłudze, zobacz artykuł Dotyczący połączonych usług obliczeniowych. Tak
scriptLinkedService Odwołanie do połączonej usługi Azure Storage używanej do przechowywania skryptu hive do wykonania. W tym miejscu obsługiwane są tylko połączone usługi Azure Blob Storage i ADLS Gen2. Jeśli nie określisz tej połączonej usługi, zostanie użyta połączona usługa Azure Storage zdefiniowana w połączonej usłudze HDInsight. Nie.
scriptPath Podaj ścieżkę do pliku skryptu przechowywanego w usłudze Azure Storage, do której odwołuje się skryptLinkedService. W nazwie pliku jest uwzględniana wielkość liter. Tak
getDebugInfo Określa, kiedy pliki dziennika są kopiowane do usługi Azure Storage używanej przez klaster usługi HDInsight (lub) określony przez scriptLinkedService. Dozwolone wartości: Brak, Zawsze lub Niepowodzenie. Wartość domyślna: None. Nie.
Argumenty Określa tablicę argumentów dla zadania hadoop. Argumenty są przekazywane jako argumenty wiersza polecenia do każdego zadania. Nie.
Definiuje Określ parametry jako pary klucz/wartość, aby odwoływać się do skryptu Hive. Nie.
Querytimeout Wartość limitu czasu zapytania (w minutach). Ma zastosowanie, gdy klaster usługi HDInsight jest z włączonym pakietem Enterprise Security. Nie.

Uwaga

Wartość domyślna parametru queryTimeout wynosi 120 minut.

Powiązana zawartość

Zapoznaj się z następującymi artykułami, które wyjaśniają sposób przekształcania danych na inne sposoby: