HDInsight üzerinde Apache Hadoop hizmetleri tarafından kullanılan bağlantı noktaları

Makale
09/22/2023

Bu belge, HDInsight kümelerinde çalışan Apache Hadoop hizmetleri tarafından kullanılan bağlantı noktalarının listesini sağlar. Ayrıca SSH kullanarak kümeye bağlanmak için kullanılan bağlantı noktaları hakkında bilgi sağlar.

Genel bağlantı noktaları ile genel olmayan bağlantı noktaları karşılaştırması

Linux tabanlı HDInsight kümeleri İnternet'te yalnızca üç bağlantı noktasını genel kullanıma sunar: 22, 23 ve 443. Bu bağlantı noktaları, güvenli HTTPS protokolü üzerinden kullanıma sunulan SSH ve hizmetleri kullanarak küme erişiminin güvenliğini sağlar.

HDInsight, bir Azure Sanal Ağ üzerinde çalışan birkaç Azure Sanal Makineler (küme düğümü) tarafından uygulanır. Sanal ağın içinden İnternet üzerinden kullanıma sunulmayan bağlantı noktalarına erişebilirsiniz. SSH aracılığıyla baş düğüme bağlanırsanız, küme düğümlerinde çalışan hizmetlere doğrudan erişebilirsiniz.

Önemli

HDInsight için yapılandırma seçeneği olarak bir Azure Sanal Ağ belirtmezseniz otomatik olarak bir tane oluşturulur. Ancak, diğer makineleri (diğer Azure Sanal Makineler veya istemci geliştirme makineniz gibi) bu sanal ağa ekleyemezsiniz.

Ek makineleri sanal ağa eklemek için önce sanal ağı oluşturmanız ve ardından HDInsight kümenizi oluştururken bunu belirtmeniz gerekir. Daha fazla bilgi için bkz. HDInsight için sanal ağ planlama.

Genel bağlantı noktaları

HDInsight kümesindeki tüm düğümler bir Azure Sanal Ağ bulunur. Düğümlere İnternet'ten doğrudan erişilemiyor. Genel ağ geçidi, tüm HDInsight küme türlerinde ortak olan aşağıdaki bağlantı noktalarına İnternet erişimi sağlar.

Hizmet	Bağlantı noktası	Protokol	Description
Sshd	22	SSH	İstemcileri birincil baş düğümdeki sshd'ye bağlar. Daha fazla bilgi için bkz. HDInsight ile SSH kullanma.
Sshd	22	SSH	İstemcileri kenar düğümündeki sshd'ye bağlar. Daha fazla bilgi için bkz. HDInsight ile SSH kullanma.
Sshd	23	SSH	İstemcileri ikincil baş düğümdeki sshd'ye bağlar. Daha fazla bilgi için bkz. HDInsight ile SSH kullanma.
Ambari	443	HTTPS	Ambari web kullanıcı arabirimi. Bkz. Apache Ambari Web kullanıcı arabirimini kullanarak HDInsight'ı yönetme
Ambari	443	HTTPS	Ambari REST API. Bkz. Apache Ambari REST API'sini kullanarak HDInsight'ı yönetme
WebHCat	443	HTTPS	`HCatalog` REST API. Bkz . Curl ile MapReduce Kullanma
HiveServer2	443	ODBC	ODBC kullanarak Hive'a bağlanır. Bkz . Microsoft ODBC sürücüsüyle Excel'i HDInsight'a bağlama.
HiveServer2	443	JDBC	JDBC kullanarak ApacheHive'e bağlanır. Bkz. Hive JDBC sürücüsünü kullanarak HDInsight üzerinde Apache Hive'a bağlanma

Belirli küme türleri için aşağıdakiler kullanılabilir:

Hizmet	Bağlantı noktası	Protokol	Küme türü	Description
`Stargate`	443	HTTPS	HBase	HBase REST API. Bkz. Apache HBase kullanmaya başlama
Livy	443	HTTPS	Spark	Spark REST API. Bkz . Apache Livy kullanarak Apache Spark işlerini uzaktan gönderme
Spark Thrift sunucusu	443	HTTPS	Spark	Hive sorguları göndermek için kullanılan Spark Thrift sunucusu. Bkz. HDInsight üzerinde Apache Hive ile Beeline kullanma
Kafka REST ara sunucusu	443	HTTPS	Kafka	Kafka REST API. Bkz. REST proxy kullanarak Azure HDInsight'ta Apache Kafka kümeleriyle etkileşim kurma

Kimlik Doğrulaması

İnternet'te genel kullanıma sunulan tüm hizmetlerin kimliği doğrulanmalıdır:

Bağlantı noktası	Kimlik bilgileri
22 veya 23	Küme oluşturma sırasında belirtilen SSH kullanıcı kimlik bilgileri
443	Küme oluşturma sırasında ayarlanan oturum açma adı (varsayılan: yönetici) ve parola

Genel olmayan bağlantı noktaları

Not

Bazı hizmetler yalnızca belirli küme türlerinde kullanılabilir. Örneğin, HBase yalnızca HBase küme türlerinde kullanılabilir.

Önemli

Bazı hizmetler aynı anda yalnızca bir baş düğümde çalışır. Birincil baş düğümde hizmete bağlanmayı dener ve bir hata alırsanız ikincil baş düğümü kullanarak yeniden deneyin.

Ambari

Hizmet	Düğümler	Bağlantı noktası	URL yolu	Protokol
Ambari web kullanıcı arabirimi	Baş düğümler	8080	/	HTTP
Ambari REST API	Baş düğümler	8080	/api/v1	HTTP

Örnekler:

Ambari REST API'si: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

HDFS bağlantı noktaları

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
NameNode web kullanıcı arabirimi	Baş düğümler	30070	HTTPS	Durumu görüntülemek için web kullanıcı arabirimi
NameNode meta veri hizmeti	baş düğümler	8020	IPC	Dosya sistemi meta verileri
DataNode	Tüm çalışan düğümleri	30075	HTTPS	Durumu, günlükleri vb. görüntülemek için web kullanıcı arabirimi.
DataNode	Tüm çalışan düğümleri	30010		Veri aktarımı
DataNode	Tüm çalışan düğümleri	30020	IPC	Meta veri işlemleri
İkincil Ad Düğümü	Baş düğümler	50090	HTTP	NameNode meta verilerinin denetim noktası

YARN bağlantı noktaları

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
Web kullanıcı arabirimini Resource Manager	Baş düğümler	8088	HTTP	Resource Manager için Web Kullanıcı Arabirimi
Web kullanıcı arabirimini Resource Manager	Baş düğümler	8090	HTTPS	Resource Manager için Web Kullanıcı Arabirimi
Resource Manager yönetici arabirimi	baş düğümler	8141	IPC	Uygulama gönderimleri için (Hive, Hive sunucusu, Pig vb.)
Resource Manager zamanlayıcı	baş düğümler	8030	HTTP	Yönetim arabirimi
uygulama arabirimini Resource Manager	baş düğümler	8050	HTTP	Uygulama yöneticisi arabiriminin adresi
NodeManager	Tüm çalışan düğümleri	30050		Kapsayıcı yöneticisinin adresi
NodeManager web kullanıcı arabirimi	Tüm çalışan düğümleri	30060	HTTP	Resource Manager arabirimi
Zaman çizelgesi adresi	Baş düğümler	10200	RPC	Zaman Çizelgesi hizmeti RPC hizmeti.
Zaman çizelgesi web kullanıcı arabirimi	Baş düğümler	8188	HTTP	Zaman Çizelgesi hizmeti web kullanıcı arabirimi

Hive bağlantı noktaları

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
HiveServer2	Baş düğümler	10001	Thrift	Hive'a bağlanma hizmeti (Thrift/JDBC)
Hive Meta Veri Deposu	Baş düğümler	9083	Thrift	Hive meta verilerine bağlanma hizmeti (Thrift/JDBC)

WebHCat bağlantı noktaları

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
WebHCat sunucusu	Baş düğümler	30111	HTTP	Ve diğer Hadoop hizmetlerinin üzerinde Web API'si `HCatalog`

MapReduce bağlantı noktaları

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
JobHistory	Baş düğümler	19888	HTTP	MapReduce JobHistory web kullanıcı arabirimi
JobHistory	Baş düğümler	10020		MapReduce JobHistory sunucusu
ShuffleHandler		13562		Ara Harita çıkışlarını istekte buluna Azaltıcılara aktarır

Oozie

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
Oozie sunucusu	Baş düğümler	11000	HTTP	Oozie hizmetinin URL'si
Oozie sunucusu	Baş düğümler	11001	HTTP	Oozie yöneticisi için bağlantı noktası

Ambari Ölçümleri

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
TimeLine (Uygulama geçmişi)	Baş düğümler	6188	HTTP	TimeLine hizmeti web kullanıcı arabirimi
TimeLine (Uygulama geçmişi)	Baş düğümler	30200	RPC	TimeLine hizmeti web kullanıcı arabirimi

HBase bağlantı noktaları

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
HMaster	Baş düğümler	16000
HMaster bilgileri Web Kullanıcı Arabirimi	Baş düğümler	16010	HTTP	HBase Master web kullanıcı arabirimi için bağlantı noktası
Bölge sunucusu	Tüm çalışan düğümleri	16020
Bölge sunucusu bilgileri Web kullanıcı arabirimi	Tüm çalışan düğümleri	16030	HTTP	HBase Region sunucusu Web kullanıcı arabirimi için bağlantı noktası
		2181		İstemcilerin ZooKeeper'a bağlanmak için kullandığı bağlantı noktası

Kafka bağlantı noktaları

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
Aracı	Çalışan düğümleri	9092	Kafka Tel Protokolü	İstemci iletişimi için kullanılır
	Zookeeper düğümleri	2181		İstemcilerin Zookeeper'a bağlanmak için kullandığı bağlantı noktası
REST proxy	Kafka yönetim düğümleri	9400	HTTPS	Kafka REST belirtimi

Spark bağlantı noktaları

Hizmet	Düğümler	Bağlantı noktası	Protokol	Description
Spark Thrift sunucuları	Baş düğümler	10002	Thrift	Spark SQL'e bağlanma hizmeti (Thrift/JDBC)
Livy sunucusu	Baş düğümler	8998	HTTP	Deyimleri, işleri ve uygulamaları çalıştırma hizmeti
Jupyter Notebook	Baş düğümler	8001	HTTP	Jupyter Notebook web sitesi