HDInsight Hadoop kümelerinde Hue yükleme ve kullanma

  • Makale

HDInsight kümelerine Hue yüklemeyi ve istekleri Hue'ya yönlendirmek için tünel kullanmayı öğrenin.

Not

Hue, HDInsight 4.0 ve sonraki sürümlerde desteklenmez.

Hue nedir?

Hue, Apache Hadoop kümesiyle etkileşim kurmak için kullanılan bir Dizi Web uygulamasıdır. Hue'yu kullanarak hadoop kümesiyle ilişkili depolama alanına göz atabilirsiniz (HDInsight kümeleri söz konusu olduğunda WASB), Hive işleri ve Pig betikleri gibi işlemleri çalıştırabilirsiniz. HdInsight Hadoop kümesinde Hue yüklemeleriyle aşağıdaki bileşenler kullanılabilir.

  • Beeswax Hive Düzenleyicisi
  • Apache Pig
  • Meta veri deposu yöneticisi
  • Apache Oozie
  • FileBrowser (WASB varsayılan kapsayıcısı ile konuşan)
  • İş Tarayıcısı

Uyarı

HDInsight kümesiyle sağlanan bileşenler tam olarak desteklenir ve Microsoft Desteği bu bileşenlerle ilgili sorunları yalıtmaya ve çözmeye yardımcı olur.

Özel bileşenler, sorunu daha fazla gidermenize yardımcı olmak için ticari olarak makul bir destek alır. Bu, sorunun çözülmesine veya bu teknolojiye ilişkin derin uzmanlığın bulunduğu açık kaynak teknolojileri için kullanılabilir kanallarla etkileşim kurmanızı istemenize neden olabilir. Örneğin, kullanılabilecek birçok topluluk sitesi vardır: HDInsight için Microsoft Soru-Cevap soru sayfası, https://stackoverflow.com. Ayrıca Apache projelerinin üzerinde https://apache.orgproje siteleri vardır, örneğin: Hadoop.

Betik Eylemlerini kullanarak Hue yükleme

Betik Eyleminiz için aşağıdaki tabloda yer alan bilgileri kullanın. Betik Eylemlerini kullanmayla ilgili belirli yönergeler için bkz . Betik Eylemleri ile HDInsight kümelerini özelleştirme.

Not

HUE'yi HDInsight kümelerine yüklemek için önerilen baş düğüm boyutu en az A4 'tür (8 çekirdek, 14 GB bellek).

Özellik Değer
Betik türü: -Özel
Veri Akışı Adı Hue yükleme
Bash betik URI'si https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh
Düğüm türleri: Head

Hive sorgusu çalıştırma

  1. Hue portalından Sorgu Düzenleyicisi s'i ve ardından Hive'ı seçerek Hive düzenleyicisini açın.

    HDInsight hue portal use hive editor.

  2. Yardım sekmesindeki Veritabanı'nın altında hivesampletable ifadesini görmeniz gerekir. Bu, HDInsight üzerindeki tüm Hadoop kümeleriyle birlikte gönderilen örnek bir tablodur. Sağ bölmeye örnek bir sorgu girin ve ekran görüntüsünde gösterildiği gibi aşağıdaki bölmedeki Sonuçlar sekmesindeki çıkışı görün.

    HDInsight hue portal hive query.

    Sonucun görsel bir gösterimini görmek için Grafik sekmesini de kullanabilirsiniz.

Küme depolama alanına göz atın

  1. Hue portalından menü çubuğunun sağ üst köşesindeki Dosya Tarayıcısı'nı seçin.

  2. Varsayılan olarak dosya tarayıcısı /user/myuser dizininde açılır. Yoldaki kullanıcı dizininden hemen önce eğik çizgiyi seçerek kümeyle ilişkili Azure depolama kapsayıcısının köküne gidin.

    HDInsight hue portal file browser.

  3. Kullanılabilir işlemleri görmek için bir dosyaya veya klasöre sağ tıklayın. Dosyaları geçerli dizine yüklemek için sağ köşedeki Karşıya Yükle düğmesini kullanın. Yeni dosya veya dizin oluşturmak için Yeni düğmesini kullanın.

Not

Hue dosya tarayıcısı yalnızca HDInsight kümesiyle ilişkili varsayılan kapsayıcının içeriğini gösterebilir. Kümeyle ilişkilendirmiş olabileceğiniz ek depolama hesaplarına/kapsayıcılara dosya tarayıcısı kullanılarak erişilemez. Ancak, hive işleri için kümeyle ilişkili ek kapsayıcılara her zaman erişilebilir. Örneğin, Hive düzenleyicisine komutunu dfs -ls wasbs://newcontainer@mystore.blob.core.windows.net girerseniz, ek kapsayıcıların içeriğini de görebilirsiniz. Bu komutta newcontainer, bir kümeyle ilişkilendirilmiş varsayılan kapsayıcı değildir.

Dikkat edilmesi gereken önemli hususlar

  1. Hue'u yüklemek için kullanılan betik bunu yalnızca kümenin birincil baş düğümüne yükler.

  2. Yükleme sırasında, yapılandırmayı güncelleştirmek için birden çok Hadoop hizmeti (HDFS, YARN, MR2, Oozie) yeniden başlatılır. Betik Hue'yu yüklemeyi tamamladıktan sonra diğer Hadoop hizmetlerinin başlatılması biraz zaman alabilir. Bu, Başlangıçta Hue'nun performansını etkileyebilir. Tüm hizmetler başladıktan sonra Hue tamamen işlevsel olacaktır.

  3. Hue, Hive için geçerli varsayılan olan Apache Tez işlerini anlamaz. Hive yürütme altyapısı olarak MapReduce kullanmak istiyorsanız betiği, betiğinizde aşağıdaki komutu kullanacak şekilde güncelleştirin:

    set hive.execution.engine=mr;

  4. Linux kümelerinde, Resource Manager ikincil kümede çalışırken hizmetlerinizin birincil baş düğümde çalıştığı bir senaryonuz olabilir. Böyle bir senaryo, kümede ÇALıŞAN işlerin ayrıntılarını görüntülemek için Hue kullanılırken hatalara (aşağıda gösterilmiştir) neden olabilir. Ancak, iş tamamlandığında iş ayrıntılarını görüntüleyebilirsiniz.

    Hue portal error sample message.

    Bunun nedeni bilinen bir sorundur. Geçici bir çözüm olarak, Etkin Resource Manager'ın birincil baş düğümde de çalışması için Ambari'yi değiştirin.

  5. Hue, HdInsight kümeleri kullanarak wasbs://Azure Depolama kullanırken WebHDFS'yi anlar. Bu nedenle, betik eylemiyle kullanılan özel betik, WASB ile konuşmak için WebHDFS uyumlu bir hizmet olan WebWasb'ı yükler. Bu nedenle, Hue portalı yerlerde HDFS dese de (farenizi Dosya Tarayıcısı üzerinde hareket ettirdiğinizde olduğu gibi), WASB olarak yorumlanmalıdır.

Sonraki adımlar

HDInsight kümelerini Betik Eylemleri ile özelleştirme