Azure HDInsight における Apache Hive と HiveQL

Apache Hive は、Apache Hadoop 用のデータ ウェアハウス システムです。 Hive を使用すると、データの集計、クエリ、および分析を行うことができます。 Hive クエリは、SQL に似たクエリ言語である HiveQL で記述します。

Hive では、大規模な非構造化データに構造を投影することができます。 構造を定義したら、HiveQL を使用することで、Java や MapReduce の知識がなくてもそのデータを照会できます。

HDInsight には、特定のワークロード用に調整されたいくつかのクラスター タイプがあります。 Hive クエリには、次のクラスター タイプが最も一般的に使用されます。

Hive の使用方法

HDInsight で Hive を使用するさまざまな方法を次の表に示します。

HiveQL 言語のリファレンス

HiveQL 言語のリファレンスは、言語マニュアルで入手できます。

Hive とデータ構造

Hive は、構造化データおよび半構造化データの操作方法を理解します。 たとえば、フィールドが特定の文字で区切られたテキスト ファイルがあるとします。 次の HiveQL ステートメントは、スペースで区切られたデータからテーブルを作成します。

CREATE EXTERNAL TABLE log4jLogs (
    t1 string,
    t2 string,
    t3 string,
    t4 string,
    t5 string,
    t6 string,
    t7 string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '
STORED AS TEXTFILE LOCATION '/example/data/';

また、Hive では、複雑なまたは不規則な構造化データのためのカスタム シリアライザー/デシリアライザー (SerDe) もサポートされます。 詳細については、「HDInsight でのカスタム JSON SerDe の使用方法」というドキュメントを参照してください。

Hive でサポートされるファイル形式の詳細については、言語マニュアル (https://cwiki.apache.org/confluence/display/Hive/LanguageManual) をご覧ください。

Hive の内部テーブルと外部テーブル

Hive で作成できるテーブルには、次の 2 種類があります。

• 内部:データは Hive データ ウェアハウスに格納されます。 データ ウェアハウスは、クラスターの既定のストレージの /hive/warehouse/ に配置されます。

  次のいずれかの条件に当てはまる場合は、内部テーブルを使用します。

  • データが一時的である。
  • Hive でテーブルとデータのライフサイクルを管理したい。

• 外部:データはデータ ウェアハウスの外部に格納されます。 データは、クラスターからアクセス可能な任意のストレージに格納できます。

  次のいずれかの条件が適用される場合は、外部テーブルを使用します。

  • Hive の外部でもデータが使用される。 たとえば、データ ファイルが別のプロセスによって更新される (ファイルがロックされない)。
  • テーブルを削除した後もデータを基になる場所に保持する必要がある。
  • 既定以外のストレージ アカウントなど、カスタムの場所が必要である。
  • データの形式、場所などが Hive 以外のプログラムによって管理される。

詳細については、Hive の内部テーブルと外部テーブルの概要に関するブログ記事を参照してください。

ユーザー定義関数 (UDF)

Hive は ユーザー定義関数 (UDF) で拡張することもできます。 UDF では、HiveQL で簡単にモデル化されない機能やロジックを実装することができます。 Hive での UDF の使用例については、以下のドキュメントを参照してください。

• Java ユーザー定義関数と Apache Hive の使用

• Python ユーザー定義関数と Apache Hive の使用

• C# ユーザー定義関数と Apache Hive の使用

• HDInsight にカスタムの Apache Hive ユーザー定義関数を追加する方法

• 日付/時刻の形式を Apache Hive タイムスタンプに変換する Hive ユーザー定義関数の例

サンプル データ

HDInsight の Hive には、hivesampletable という名前の内部テーブルがあらかじめ読み込まれています。 HDInsight には、Hive で使用できるサンプル データ セットも用意されています。 これらのデータ セットは、/example/data および /HdiSamples ディレクトリに格納されています。 これらのディレクトリは、クラスターの既定のストレージ内に存在します。

Hive クエリの例

次の HiveQL ステートメントは、/example/data/sample.log ファイルに列を投影します。

DROP TABLE log4jLogs;
CREATE EXTERNAL TABLE log4jLogs (
    t1 string,
    t2 string,
    t3 string,
    t4 string,
    t5 string,
    t6 string,
    t7 string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '
STORED AS TEXTFILE LOCATION '/example/data/';
SELECT t4 AS sev, COUNT(*) AS count FROM log4jLogs
    WHERE t4 = '[ERROR]' AND INPUT__FILE__NAME LIKE '%.log'
    GROUP BY t4;

前の例では、HiveQL ステートメントは次のアクションを実行します。

外部テーブルではなく内部テーブルを作成するには、次の HiveQL を使用します。

CREATE TABLE IF NOT EXISTS errorLogs (
    t1 string,
    t2 string,
    t3 string,
    t4 string,
    t5 string,
    t6 string,
    t7 string)
STORED AS ORC;
INSERT OVERWRITE TABLE errorLogs
SELECT t1, t2, t3, t4, t5, t6, t7 
    FROM log4jLogs WHERE t4 = '[ERROR]';

これらのステートメントは次のアクションを実行します。

Hive クエリ パフォーマンスの向上

Apache Tez

Apache Tez は、Hive などの大量のデータを扱うアプリケーションを同じ規模で遥かに効率的に実行可能にするフレームワークです。 Tez は、既定で有効になっています。 「Apache Hive on Tez」設計ドキュメントには、実装の選択肢および構成の調整に関する詳細が記載されています。

Low Latency Analytical Processing (LLAP)

LLAP (Live Long and Process と呼ばれることもあります) は、クエリのメモリ内キャッシュを使用可能にする Hive 2.0 の新機能です。

HDInsight は、Interactive Query クラスター タイプの LLAP を提供します。 詳細については、Interactive Query の使用に関するドキュメントをご覧ください。

Hive クエリのスケジュール設定

いくつかのサービスを使用して、スケジュール設定されたワークフローまたはオンデマンドのワークフローの一部として Hive クエリを実行できます。

Azure Data Factory

Azure Data Factory では、Data Factory パイプラインの一部として HDInsight を使用できます。 パイプラインから Hive を使用する方法の詳細については、Azure Data Factory での Hive アクティビティを使用したデータ変換に関するドキュメントをご覧ください。

Hive ジョブと SQL Server Integration Services

SQL Server Integration Services (SSIS) を使用して Hive ジョブを実行することができます。 Azure Feature Pack for SSIS には、HDInsight の Hive ジョブと連動する次のコンポーネントがあります。

• Azure HDInsight Hive タスク

• Azure サブスクリプション接続マネージャー

詳細については、Azure Feature Pack のドキュメントをご覧ください。

Apache Oozie

Apache Oozie は Hadoop ジョブを管理するワークフローおよび調整システムです。 Hive で Apache Oozie を使用する方法の詳細については、Oozie を使用したワークフローの定義および実行に関するドキュメントをご覧ください。

次のステップ

これで、Hive と、HDInsight での Hadoop との使用方法に関する説明は終わりです。次のリンクを使用して、Azure HDInsight を操作するその他の方法について調べることもできます。

• HDInsight へのデータのアップロード
• HDInsight 上の Apache Hive と Apache Pig で Python ユーザー定義関数 (UDF) を使用する
• HDInsight での MapReduce ジョブの使用