Azure PowerShell を使用して Azure Data Lake Storage Gen1 の使用を開始する
注意
Azure Data Lake Storage Gen1 は廃止されました。 廃止のお知らせはこちらを参照してください。リソースData Lake Storage Gen1アクセスできなくなります。 特別なサポートが必要な場合は、 お問い合わせください。
Azure PowerShell を使用して、Azure Data Lake Storage Gen1 アカウントを作成し、フォルダーの作成、データ ファイルのアップロードとダウンロード、アカウントの削除などの基本操作を行う方法について説明します。Data Lake Storage Gen1 の詳細については、Data Lake Storage Gen1 の概要に関する記事をご覧ください。
前提条件
注意
Azure を操作するには、Azure Az PowerShell モジュールを使用することをお勧めします。 作業を開始するには、Azure PowerShell のインストールに関する記事を参照してください。 Az PowerShell モジュールに移行する方法については、「AzureRM から Az への Azure PowerShell の移行」を参照してください。
- Azure サブスクリプション。 Azure 無料試用版の取得に関するページを参照してください。
- Azure PowerShell 1.0 以上。 「 Azure PowerShell のインストールと構成の方法」を参照してください。
認証
この記事では、Data Lake Storage Gen1 に対する認証に、Azure アカウントの資格情報を入力する比較的単純な方法を使用しています。 その後、Data Lake Storage Gen1 アカウントとファイル システムに対するアクセス レベルは、そのログイン ユーザーのアクセス レベルで管理されます。 ただし、Data Lake Storage Gen1 には他の認証方法も存在します (エンド ユーザー認証とサービス間認証)。 認証方法の詳細については、エンドユーザー認証またはサービス間認証に関するページを参照してください。
Data Lake Storage Gen1 アカウントを作成する
デスクトップで、新しい Windows PowerShell ウィンドウを開きます。 次のスニペットを入力して Azure アカウントにログインし、サブスクリプションを設定して、Data Lake Storage Gen1 プロバイダーを登録します。 ログインを求められたら、必ず、サブスクリプションの管理者または所有者としてログインしてください。
# Log in to your Azure account Connect-AzAccount # List all the subscriptions associated to your account Get-AzSubscription # Select a subscription Set-AzContext -SubscriptionId <subscription ID> # Register for Azure Data Lake Storage Gen1 Register-AzResourceProvider -ProviderNamespace "Microsoft.DataLakeStore"Data Lake Storage Gen1 アカウントは、Azure リソース グループに関連付けられます。 まず、リソース グループを作成します。
$resourceGroupName = "<your new resource group name>" New-AzResourceGroup -Name $resourceGroupName -Location "East US 2"
Data Lake Storage Gen1 アカウントを作成します。 指定する名前には、小文字と数字のみを含める必要があります。
$dataLakeStorageGen1Name = "<your new Data Lake Storage Gen1 account name>" New-AzDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStorageGen1Name -Location "East US 2"
アカウントが正常に作成されたことを確認します。
Test-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Nameコマンドレットの出力は True になります。
ディレクトリ構造を作成する
ご自分の Data Lake Storage Gen1 アカウントにディレクトリを作成し、データの管理と保存を行うことができます。
ルート ディレクトリを指定します。
$myrootdir = "/"指定したルートの下に mynewdirectory という新しいディレクトリを作成します。
New-AzDataLakeStoreItem -Folder -AccountName $dataLakeStorageGen1Name -Path $myrootdir/mynewdirectory新しいディレクトリが正常に作成されたことを確認します。
Get-AzDataLakeStoreChildItem -AccountName $dataLakeStorageGen1Name -Path $myrootdir次のスクリーンショットに示すように、出力が表示されます。
データをアップロードする
データは、ルート レベルで直接 Data Lake Storage Gen1 に、またはアカウント内で作成したディレクトリにアップロードすることができます。 このセクションのスニペットは、前のセクションで作成したディレクトリ (mynewdirectory) にいくつかのサンプル データをアップロードする方法を示しています。
アップロードするいくつかのサンプル データを探している場合は、 Azure Data Lake Git リポジトリ から Ambulance Dataフォルダーを取得できます。 ファイルをダウンロードし、コンピューター上のローカル ディレクトリ (C:\sampledata など) に保存します。
Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Path "C:\sampledata\vehicle1_09142014.csv" `
-Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv
データの名前変更、ダウンロード、削除
ファイルの名前を変更するには、次のコマンドを使用します。
Move-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Path $myrootdir\mynewdirectory\vehicle1_09142014.csv `
-Destination $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv
ファイルをダウンロードするには、次のコマンドを使用します。
Export-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Path $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv `
-Destination "C:\sampledata\vehicle1_09142014_Copy.csv"
ファイルを削除するには、次のコマンドを使用します。
Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Paths $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv
確認を求めるメッセージが表示されたら、「 Y 」と入力して、項目を削除します。 削除する複数のファイルがある場合は、すべてのパスをコンマで区切って指定できます。
Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv
アカウントの削除
Data Lake Storage Gen1 アカウントを削除するには、次のコマンドを使用します。
Remove-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name
確認を求めるメッセージが表示されたら、「 Y 」と入力して、アカウントを削除します。