Azure sanal ağlarında Apache HBase küme çoğaltmasını ayarlama

Bir sanal ağ içinde veya Azure'da iki sanal ağ arasında Apache HBase çoğaltmasını ayarlamayı öğrenin.

Küme çoğaltması bir kaynak gönderme metodolojisi kullanır. HBase kümesi bir kaynak veya hedef olabileceği gibi her iki rolü de aynı anda gerçekleştirebilir. Çoğaltma zaman uyumsuzdur. Çoğaltmanın amacı nihai tutarlılıktır. Çoğaltma etkinleştirildiğinde kaynak bir sütun ailesinde düzenleme aldığında, düzenleme tüm hedef kümelere yayılır. Veriler bir kümeden diğerine çoğaltıldığında, çoğaltma döngülerini önlemek için kaynak küme ve izlenen verileri zaten tüketmiş olan tüm kümeler.

Bu makalede, bir kaynak hedef çoğaltması ayarlamış olursunuz. Diğer küme topolojileri için Apache HBase başvuru kılavuzuna bakın.

Tek bir sanal ağ için HBase çoğaltma kullanım örnekleri şunlardır:

• Yük dengeleme. Örneğin, hedef kümede taramalar veya MapReduce işleri çalıştırabilir ve kaynak kümedeki verileri alabilirsiniz.
• Yüksek kullanılabilirlik ekleme.
• Verileri bir HBase kümesinden diğerine geçirme.
• Azure HDInsight kümesini bir sürümden diğerine yükseltme.

İki sanal ağ için HBase çoğaltma kullanım örnekleri şunlardır:

• Olağanüstü durum kurtarmayı ayarlama.
• Yük dengeleme ve uygulamayı bölümleme.
• Yüksek kullanılabilirlik ekleme.

GitHub'dan betik eylem betiklerini kullanarak kümeleri çoğaltabilirsiniz.

Önkoşullar

Bu makaleye başlamadan önce bir Azure aboneliğiniz olmalıdır. Bkz . Ücretsiz Azure denemesi alma.

Ortamları ayarlama

Üç yapılandırma seçeneğiniz vardır:

• Bir Azure sanal ağında iki Apache HBase kümesi.
• Aynı bölgedeki iki farklı sanal ağda iki Apache HBase kümesi.
• İki farklı bölgede (coğrafi çoğaltma) iki farklı sanal ağda iki Apache HBase kümesi.

Bu makale coğrafi çoğaltma senaryolarını kapsar.

Ortamları ayarlamanıza yardımcı olmak için bazı Azure Resource Manager şablonları oluşturduk. Ortamları diğer yöntemleri kullanarak ayarlamayı tercih ediyorsanız bkz:

• HDInsight'ta Apache Hadoop kümeleri oluşturma
• Azure Sanal Ağ'de Apache HBase kümeleri oluşturma

İki farklı bölgede iki sanal ağ ayarlama

İki farklı bölgede iki sanal ağ ve sanal ağlar arasında VPN bağlantısı oluşturan bir şablon kullanmak için aşağıdaki Azure'a dağıt düğmesini seçin.

Şablondaki sabit kodlanmış değerlerden bazıları:

VNet 1

Sanal Ağ 2

Alternatif olarak, iki farklı sanal ağı ve VM'yi el ile ayarlamak için aşağıdaki adımları izleyin

1. Farklı Bölgede İki Sanal Ağ (Sanal Ağ) Oluşturma
2. Her iki sanal ağda da Eşlemeyi etkinleştirin. Yukarıdaki adımlarda oluşturulan sanal ağ'a gidin, ardından eşlemeyetıklayın ve başka bir bölgenin eşleme bağlantısını ekleyin. Bunu her iki sanal ağ için de yapın.
3. Her sanal ağda UBUNTU'nun en son sürümünü oluşturun.

DNS kurulumu

Son bölümde şablon, iki sanal ağın her birinde bir Ubuntu sanal makinesi oluşturur. Bu bölümde, bind'i iki DNS sanal makinesine yükleyecek ve ardından iki sanal makinede DNS iletmeyi yapılandıracaksınız.

Bind'i yüklemek için yon'un iki DNS sanal makinesinin genel IP adresini bulması gerekir.

1. Azure portalını açın.
2. [kaynak grubu adı] [vnet1DNS] Kaynak grupları'nı >> seçerek DNS sanal makinesini açın. Kaynak grubu adı, son yordamda oluşturduğunuz addır. Varsayılan DNS sanal makine adları vnet1DNS ve vnet2NDS'tir.
3. Sanal ağın özellikler sayfasını açmak için Özellikler'i seçin.
4. Genel IP adresini not edin ve özel IP adresini doğrulayın. Özel IP adresi vnet1DNS için 10.1.0.4 ve vnet2DNS için 10.2.0.4 olacaktır.
5. Aşağıdaki adımlarda, her iki sanal ağın DNS Sunucularını Varsayılan (Azure Tarafından Sağlanan) DNS sunucularını kullanarak paketleri indirmek üzere gelen ve giden erişime izin verecek şekilde değiştirin.

Bind'i yüklemek için aşağıdaki yordamı kullanın:

1. DNS sanal makinesinin genel IP adresine bağlanmak için SSH kullanın. Aşağıdaki örnek 40.68.254.142 konumundaki bir sanal makineye bağlanır:

   ssh sshuser@40.68.254.142
   

   değerini DNS sanal makinesini oluştururken belirttiğiniz SSH kullanıcı hesabıyla değiştirin sshuser .

   Dekont

   Yardımcı programı edinmenin ssh çeşitli yolları vardır. Linux, Unix ve macOS'ta işletim sisteminin bir parçası olarak sağlanır. Windows kullanıyorsanız aşağıdaki seçeneklerden birini göz önünde bulundurun:

   • Azure Cloud Shell
   • Windows 10'da Ubuntu'da Bash
   • Git (https://git-scm.com/)
   • OpenSSH (https://github.com/PowerShell/Win32-OpenSSH/wiki/Install-Win32-OpenSSH)

2. Bind'i yüklemek için SSH oturumundan aşağıdaki komutları kullanın:

    sudo apt-get update -y
    sudo apt-get install bind9 -y
   

3. Ad çözümleme isteklerini şirket içi DNS sunucunuza iletmek için Bind'i yapılandırın. Bunu yapmak için dosyanın içeriği /etc/bind/named.conf.options olarak aşağıdaki metni kullanın:

   acl goodclients {
       10.1.0.0/16; # Replace with the IP address range of the virtual network 1
       10.2.0.0/16; # Replace with the IP address range of the virtual network 2
       localhost;
       localhost;
   };
   
   options {
       directory "/var/cache/bind";
       recursion yes;
       allow-query { goodclients; };
   
       forwarders {
           168.63.129.16; #This is the Azure DNS server
       };
   
       dnssec-validation auto;
   
       auth-nxdomain no;    # conform to RFC1035
       listen-on-v6 { any; };
   };
   

   Önemli

   bölümündeki değerleri goodclients iki sanal ağın IP adresi aralığıyla değiştirin. Bu bölüm, bu DNS sunucusunun istekleri kabul eden adresleri tanımlar.

   Bu dosyayı düzenlemek için aşağıdaki komutu kullanın:

   sudo nano /etc/bind/named.conf.options
   

   Dosyayı kaydetmek için Ctrl+X, Y ve ardından Enter tuşlarını kullanın.

4. SSH oturumunda aşağıdaki komutu kullanın:

   hostname -f
   

   Bu komut aşağıdaki metne benzer bir değer döndürür:

   vnet1DNS.icb0d0thtw0ebifqt0g1jycdxd.ex.internal.cloudapp.net
   

   Metin icb0d0thtw0ebifqt0g1jycdxd.ex.internal.cloudapp.net , bu sanal ağın DNS sonekidir . Bu değeri daha sonra kullanıldığı gibi kaydedin.

   Dns sonekini diğer DNS sunucusundan da bulmanız gerekir. Sonraki adımda ihtiyacınız olacak.

5. Bağlama'yı sanal ağ içindeki kaynakların DNS adlarını çözümlemek üzere yapılandırmak için dosyanın içeriği /etc/bind/named.conf.local olarak aşağıdaki metni kullanın:

   // Replace the following with the DNS suffix for your virtual network
   zone "v5ant3az2hbe1edzthhvwwkcse.bx.internal.cloudapp.net" {
           type forward;
           forwarders {10.2.0.4;}; # The Azure recursive resolver
   };
   

   Önemli

   değerini v5ant3az2hbe1edzthhvwwkcse.bx.internal.cloudapp.net diğer sanal ağın DNS soneki ile değiştirmeniz gerekir. İletici IP'si ise diğer sanal ağdaki DNS sunucusunun özel IP adresidir.

   Bu dosyayı düzenlemek için aşağıdaki komutu kullanın:

   sudo nano /etc/bind/named.conf.local
   

   Dosyayı kaydetmek için Ctrl+X, Y ve ardından Enter tuşlarını kullanın.

6. Bağlamayı başlatmak için aşağıdaki komutu kullanın:

   sudo service bind9 restart
   

7. Bağlamanın diğer sanal ağdaki kaynakların adlarını çözümleyebildiğini doğrulamak için aşağıdaki komutları kullanın:

   sudo apt install dnsutils
   nslookup vnet2dns.v5ant3az2hbe1edzthhvwwkcse.bx.internal.cloudapp.net
   

   Önemli

   değerini, diğer ağdaki DNS sanal makinesinin tam etki alanı adı (FQDN) ile değiştirin vnet2dns.v5ant3az2hbe1edzthhvwwkcse.bx.internal.cloudapp.net .

   değerini diğer sanal ağdaki özel DNS sunucunuzun iç IP adresiyle değiştirin10.2.0.4.

   Yanıt aşağıdaki metne benzer şekilde görünür:

   Server:         10.2.0.4
   Address:        10.2.0.4#53
   
   Non-authoritative answer:
   Name:   vnet2dns.v5ant3az2hbe1edzthhvwwkcse.bx.internal.cloudapp.net
   Address: 10.2.0.4
   

   Şu ana kadar, belirtilen DNS sunucusu IP adresi olmadan diğer ağdan IP adresini arayamazsınız.

Sanal ağı özel DNS sunucusunu kullanacak şekilde yapılandırma

Sanal ağı Azure özyinelemeli çözümleyicisi yerine özel DNS sunucusunu kullanacak şekilde yapılandırmak için aşağıdaki adımları kullanın:

1. Azure portalında sanal ağı ve ardından DNS Sunucuları'nı seçin.

2. Özel'i seçin ve özel DNS sunucusunun iç IP adresini girin. Son olarak Kaydet’i seçin.

3. vnet1'de DNS sunucusu sanal makinesini açın ve Yeniden Başlat'a tıklayın. DNS yapılandırmasının etkili olması için sanal ağdaki tüm sanal makineleri yeniden başlatmanız gerekir.

4. Adımları tekrarlayın ve vnet2 için özel DNS sunucusunu yapılandırın.

DNS yapılandırmasını test etmek için SSH kullanarak iki DNS sanal makinesine bağlanabilir ve diğer sanal ağın DNS sunucusuna ana bilgisayar adını kullanarak ping yapabilirsiniz. Çalışmazsa, DNS durumunu denetlemek için aşağıdaki komutu kullanın:

sudo service bind9 status

Apache HBase kümeleri oluşturma

Aşağıdaki yapılandırmayla iki sanal ağın her birinde bir Apache HBase kümesi oluşturun:

• Kaynak grubu adı: Sanal ağları oluşturduğunuz kaynak grubu adını kullanın.
• Küme türü: HBase
• Sürüm: HBase 1.1.2 (HDI 3.6)
• Konum: Sanal ağ ile aynı konumu kullanın. Varsayılan olarak vnet1 Batı ABD, vnet2 ise Doğu ABD'dir.
• Depolama: Küme için yeni bir depolama hesabı oluşturun.
• Sanal ağ (portaldaki Gelişmiş ayarlar'dan): Son yordamda oluşturduğunuz vnet1'i seçin.
• Alt ağ: Şablonda kullanılan varsayılan ad alt ağ1'dir.

Ortamın doğru yapılandırıldığından emin olmak için baş düğümün FQDN'sine iki küme arasında ping işlemi yapabilmeniz gerekir.

Test verilerini yükleme

Bir kümeyi çoğalttığınızda, çoğaltmak istediğiniz tabloları belirtmeniz gerekir. Bu bölümde, kaynak kümeye bazı veriler yükleyebilirsiniz. Sonraki bölümde iki küme arasında çoğaltmayı etkinleştireceksiniz.

Kişiler tablosu oluşturmak ve tabloya veri eklemek için Apache HBase öğreticisindeki yönergeleri izleyin: HDInsight'ta Apache HBase kullanmaya başlama.

Çoğaltmayı etkinleştirme

Aşağıdaki adımlarda, Azure portalından betik eylem betiğinin nasıl çağrıldığı açıklanmaktadır. Azure PowerShell ve Azure Klasik CLI kullanarak betik eylemi çalıştırma hakkında bilgi için bkz . Betik eylemini kullanarak HDInsight kümelerini özelleştirme.

Azure portalından HBase çoğaltmasını etkinleştirmek için

1. Azure Portal oturum açın.

2. Kaynak HBase kümesini açın.

3. Küme menüsünde Betik Eylemleri'ni seçin.

4. Sayfanın üst kısmında Yeni Gönder'i seçin.

5. Aşağıdaki bilgileri seçin veya girin:

   1. Ad: Çoğaltmayı etkinleştir yazın.
   2. Bash Betiği URL'si: girin https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh.
   3. Baş: Bu parametrenin seçili olduğundan emin olun. Diğer düğüm türlerini temizleyin.
   4. Parametreler: Aşağıdaki örnek parametreler tüm mevcut tablolar için çoğaltmayı etkinleştirir ve ardından kaynak kümedeki tüm verileri hedef kümeye kopyalar:

   -m hn1 -s <source hbase cluster name> -d <destination hbase cluster name> -sp <source cluster Ambari password> -dp <destination cluster Ambari password> -copydata

   Dekont

   Hem kaynak hem de hedef küme DNS adı için FQDN yerine ana bilgisayar adı kullanın.

   Bu kılavuzda hn1 etkin baş düğüm olarak kabul edilir. Etkin baş düğümünü tanımlamak için kümenizi denetleyin.

6. Oluştur’u seçin. Betiğin çalıştırılması biraz zaman alabilir, özellikle de -copydata bağımsız değişkenini kullandığınızda.

Gerekli bağımsız değişkenler:

İsteğe bağlı bağımsız değişkenler:

Betiğin print_usage() bölümünde parametrelerin ayrıntılı bir açıklaması vardır.

Betik eylemi başarıyla dağıtıldıktan sonra SSH kullanarak hedef HBase kümesine bağlanabilir ve ardından verilerin çoğaltıldığını doğrulayabilirsiniz.

Çoğaltma senaryoları

Aşağıdaki listede bazı genel kullanım örnekleri ve bunların parametre ayarları gösterilmektedir:

• İki küme arasındaki tüm tablolarda çoğaltmayı etkinleştirin. Bu senaryo, tablolardaki mevcut verilerin kopyalanmasını veya geçirilmesini gerektirmez ve Phoenix tablolarını kullanmaz. Aşağıdaki parametreleri kullanın:

  -m hn1 -s <source hbase cluster name> -d <destination hbase cluster name> -sp <source cluster Ambari password> -dp <destination cluster Ambari password>

• Belirli tablolarda çoğaltmayı etkinleştirin. Tablo1, tablo2 ve tablo3'te çoğaltmayı etkinleştirmek için aşağıdaki parametreleri kullanın:

  -m hn1 -s <source hbase cluster name> -d <destination hbase cluster name> -sp <source cluster Ambari password> -dp <destination cluster Ambari password> -t "table1;table2;table3"

• Belirli tablolarda çoğaltmayı etkinleştirin ve mevcut verileri kopyalayın. Tablo1, tablo2 ve tablo3'te çoğaltmayı etkinleştirmek için aşağıdaki parametreleri kullanın:

  -m hn1 -s <source hbase cluster name> -d <destination hbase cluster name> -sp <source cluster Ambari password> -dp <destination cluster Ambari password> -t "table1;table2;table3" -copydata

• Tüm tablolarda çoğaltmayı etkinleştirin ve Phoenix meta verilerini kaynaktan hedefe çoğalt. Phoenix meta veri çoğaltması mükemmel değildir. Dikkatli kullanın. Aşağıdaki parametreleri kullanın:

  -m hn1 -s <source hbase cluster name> -d <destination hbase cluster name> -sp <source cluster Ambari password> -dp <destination cluster Ambari password> -t "table1;table2;table3" -replicate-phoenix-meta

ESP kümeleri arasında çoğaltmayı ayarlama

Ön Koşullar

1. Her iki ESP kümesi de aynı bölgede (etki alanı) bulunmalıdır. Onaylamak için dosya varsayılan bölge özelliğini denetleyin /etc/krb5.conf .
2. Her iki kümeye de okuma ve yazma erişimi olan ortak kullanıcı orada olmalıdır
   1. Örneğin, her iki küme de aynı küme yöneticisi kullanıcısına (örneğin, ) sahipse, admin@abc.example.comçoğaltma betiğini çalıştırmak için bu kullanıcı kullanılabilir.
   2. Her iki küme de aynı kullanıcı grubunu kullanıyorsa, yeni bir kullanıcı ekleyebilir veya gruptan mevcut kullanıcıyı kullanabilirsiniz.
   3. Her iki küme de farklı kullanıcı grubu kullanıyorsa, gruplardaki mevcut kullanıcıyı kullanmak için yeni bir kullanıcı ekleyebilirsiniz.

Çoğaltma betiğini yürütme adımları

1. Adım: kullanarak ktutilkullanıcı için anahtar sekmesi dosyası oluşturma. $ ktutil

1. addent -password -p admin@ABC.EXAMPLE.COM -k 1 -e RC4-HMAC
2. Kimlik doğrulaması için parola iste, kullanıcı parolası sağla
3. wkt /etc/security/keytabs/admin.keytab

2. Adım: Betik eylemini seçeneğiyle -ku çalıştırma

1. ESP kümelerinde sağlayın -ku <username> .

Verileri kopyalama ve geçirme

Çoğaltma etkinleştirildikten sonra verileri kopyalamak veya geçirmek için kullanılabilecek iki ayrı betik eylem betiği vardır:

• Küçük tablolar için betik (boyutu birkaç gigabayt olan tablolar ve genel kopyanın bir saatten kısa sürede bitmek üzere olması beklenir)

• Büyük tablolar için betik (kopyalanması bir saatten uzun sürmesi beklenen tablolar)

Betik eylemini çağırmak için çoğaltmayı etkinleştirme bölümünde açıklanan yordamın aynısını izleyebilirsiniz. Aşağıdaki parametreleri kullanın:

-m hn1 -t <table1:start_timestamp:end_timestamp;table2:start_timestamp:end_timestamp;...> -p <replication_peer> [-everythingTillNow]

Betiğin print_usage() bölümünde parametrelerin ayrıntılı bir açıklaması bulunur.

Senaryolar

• Şimdiye kadar düzenlenen tüm satırlar için belirli tabloları (test1, test2 ve test3) kopyalayın (geçerli zaman damgası)::

  -m hn1 -t "test1::;test2::;test3::" -p "<zookeepername1>;<zookeepername2>;<zookeepername3>:2181:/hbase-unsecure" -everythingTillNow

  Veya:

  -m hn1 -t "test1::;test2::;test3::" --replication-peer="<zookeepername1>;<zookeepername2>;<zookeepername3>:2181:/hbase-unsecure" -everythingTillNow

• Belirli bir zaman aralığına sahip belirli tabloları kopyalayın:

  -m hn1 -t "table1:0:452256397;table2:14141444:452256397" -p "<zookeepername1>;<zookeepername2>;<zookeepername3>:2181:/hbase-unsecure"

Çoğaltmayı devre dışı bırakma

Çoğaltmayı devre dışı bırakmak için GitHub'dan başka bir betik eylemi betiği kullanın. Betik eylemini çağırmak için çoğaltmayı etkinleştirme bölümünde açıklanan yordamın aynısını izleyebilirsiniz. Aşağıdaki parametreleri kullanın:

-m hn1 -s <source hbase cluster name> -sp <source cluster Ambari password> <-all|-t "table1;table2;...">

Betiğin print_usage() bölümünde parametrelerin ayrıntılı bir açıklaması vardır.

Senaryolar

• Tüm tablolarda çoğaltmayı devre dışı bırakın:

  -m hn1 -s <source hbase cluster name> -sp Mypassword\!789 -all

  veya

  --src-cluster=<source hbase cluster name> --dst-cluster=<destination hbase cluster name> --src-ambari-user=<source cluster Ambari user name> --src-ambari-password=<source cluster Ambari password>

• Belirtilen tablolarda (tablo1, tablo2 ve tablo3) çoğaltmayı devre dışı bırakın:

  -m hn1 -s <source hbase cluster name> -sp <source cluster Ambari password> -t "table1;table2;table3"

Sonraki adımlar

Bu makalede, bir sanal ağ içinde veya iki sanal ağ arasında Apache HBase çoğaltmasını ayarlamayı öğrendiniz. HDInsight ve Apache HBase hakkında daha fazla bilgi edinmek için şu makalelere bakın:

• HDInsight'ta Apache HBase'i kullanmaya başlama
• HDInsight Apache HBase'e genel bakış
• Azure Sanal Ağ'de Apache HBase kümeleri oluşturma