Azure CLI kullanarak HDInsight kümeleri oluşturma

  • Makale

Bu belgedeki adımlar, Azure CLI kullanarak HDInsight 4.0 kümesi oluşturma adımlarını açıklar.

Uyarı

HDInsight kümeleri için faturalama, kullansanız da kullanmasanız da dakikada bir eşit olarak dağıtılır. Kullanmayı bitirdikten sonra kümenizi sildiğinizden emin olun. Bkz . HDInsight kümesini silme.

Azure aboneliğiniz yoksa başlamadan önce birücretsiz Azure hesabı oluşturun.

Önkoşullar

  • Azure Cloud Shell'de Bash ortamını kullanın. Daha fazla bilgi için bkz . Azure Cloud Shell'de Bash için hızlı başlangıç.

  • CLI başvuru komutlarını yerel olarak çalıştırmayı tercih ediyorsanız Azure CLI'yı yükleyin . Windows veya macOS üzerinde çalışıyorsanız Azure CLI’yi bir Docker kapsayıcısında çalıştırmayı değerlendirin. Daha fazla bilgi için bkz . Docker kapsayıcısında Azure CLI'yi çalıştırma.

    • Yerel yükleme kullanıyorsanız az login komutunu kullanarak Azure CLI ile oturum açın. Kimlik doğrulama işlemini tamamlamak için terminalinizde görüntülenen adımları izleyin. Diğer oturum açma seçenekleri için bkz . Azure CLI ile oturum açma.

    • İstendiğinde, ilk kullanımda Azure CLI uzantısını yükleyin. Uzantılar hakkında daha fazla bilgi için bkz. Azure CLI ile uzantıları kullanma.

    • Yüklü sürümü ve bağımlı kitaplıkları bulmak için az version komutunu çalıştırın. En son sürüme yükseltmek için az upgrade komutunu çalıştırın.

Küme oluşturma

  1. Azure aboneliğinizde oturum açın. Azure Cloud Shell kullanmayı planlıyorsanız kod bloğunun sağ üst köşesindeki Deneyin'i seçin. Aksi halde, aşağıdaki komutu girin:

    az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription "SUBSCRIPTIONID"

  2. Ortam değişkenlerini ayarlayın. Bu makaledeki değişkenlerin kullanımı Bash'i temel alır. Diğer ortamlar için küçük çeşitlemeler gereklidir. Küme oluşturmaya yönelik olası parametrelerin tam listesi için bkz . az-hdinsight-create .

    Parametre Açıklama
    --workernode-count Kümedeki çalışan düğümlerinin sayısı. Bu makalede, öğesine geçirilen --workernode-countdeğer olarak değişkeni clusterSizeInNodes kullanılır.
    --version HDInsight küme sürümü. Bu makalede, öğesine geçirilen --versiondeğer olarak değişkeni clusterVersion kullanılır. Ayrıca bkz. Desteklenen HDInsight sürümleri.
    --type HDInsight kümesi türü, örneğin: hadoop, etkileşimli hive, hbase, kafka, spark, , rservermlservices. Bu makalede, öğesine geçirilen --typedeğer olarak değişkeni clusterType kullanılır. Ayrıca bkz. Küme türleri ve yapılandırması.
    --component-version Çeşitli Hadoop bileşenlerinin 'component=version' biçimindeki boşlukla ayrılmış sürümlerindeki sürümleri. Bu makalede, öğesine geçirilen --component-versiondeğer olarak değişkeni componentVersion kullanılır. Ayrıca bkz. Hadoop bileşenleri.

    , , LOCATION, CLUSTERNAME, STORAGEACCOUNTNAMEve PASSWORD değerlerini istenen değerlerle değiştirinRESOURCEGROUPNAME. Diğer değişkenlerin değerlerini istediğiniz gibi değiştirin. Ardından CLI komutlarını girin.

    export resourceGroupName=RESOURCEGROUPNAME
export location=LOCATION
export clusterName=CLUSTERNAME
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export httpCredential='PASSWORD'
export sshCredentials='PASSWORD'

export AZURE_STORAGE_CONTAINER=$clusterName
export clusterSizeInNodes=1
export clusterVersion=4.0
export clusterType=hadoop
export componentVersion=Hadoop=3.1

  3. Aşağıdaki komutu girerek kaynak grubunu oluşturun:

    az group create \
    --location $location \
    --name $resourceGroupName

    Geçerli konumların listesi için komutunu kullanın az account list-locations ve ardından değerdeki name konumlardan birini kullanın.

  4. Aşağıdaki komutu girerek bir Azure Depolama hesabı oluşturun:

    # Note: kind BlobStorage is not available as the default storage account.
az storage account create \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --https-only true \
    --kind StorageV2 \
    --location $location \
    --sku Standard_LRS

  5. Azure Depolama hesabından birincil anahtarı ayıklayın ve aşağıdaki komutu girerek bir değişkende depolayın:

    export AZURE_STORAGE_KEY=$(az storage account keys list \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --query [0].value -o tsv)

  6. Aşağıdaki komutu girerek bir Azure Depolama kapsayıcısı oluşturun:

    az storage container create \
    --name $AZURE_STORAGE_CONTAINER \
    --account-key $AZURE_STORAGE_KEY \
    --account-name $AZURE_STORAGE_ACCOUNT

  7. Aşağıdaki komutu girerek HDInsight kümesini oluşturun:

    az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --component-version $componentVersion \
    --http-password $httpCredential \
    --http-user admin \
    --location $location \
    --workernode-count $clusterSizeInNodes \
    --ssh-password $sshCredentials \
    --ssh-user sshuser \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --storage-account-key $AZURE_STORAGE_KEY \
    --storage-container $AZURE_STORAGE_CONTAINER \
    --version $clusterVersion

    Önemli

    HDInsight kümeleri, kümenin ayarlandığı iş yüküne veya teknolojiye karşılık gelen çeşitli türlerde gelir. Bir kümede HBase gibi birden çok türü birleştiren bir küme oluşturmak için desteklenen bir yöntem yoktur.

    Küme oluşturma işleminin tamamlanması birkaç dakika sürebilir. Genellikle 15 civarında.

Kaynakları temizleme

Makaleyi tamamladıktan sonra kümeyi silmek isteyebilirsiniz. HDInsight ile verileriniz Azure Depolama'de depolanır, böylece kullanılmadığında kümeyi güvenle silebilirsiniz. Kullanımda olmasa bile HDInsight kümesi için de ücretlendirilirsiniz. Küme ücretleri depolama ücretlerinden çok daha fazla olduğundan, kullanımda olmayan kümeleri silmek ekonomik bir anlam ifade eder.

Kaynakları kaldırmak için aşağıdaki komutların tümünü veya bazılarını girin:

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Sorun giderme

HDInsight kümeleri oluştururken sorun yaşarsanız bkz. erişim denetimi gereksinimleri.

Sonraki adımlar

Azure CLI kullanarak bir HDInsight kümesini başarıyla oluşturduğunuza göre, kümenizle nasıl çalışacağınızı öğrenmek için aşağıdakileri kullanın:

Apache Hadoop kümeleri

Apache HBase kümeleri