HDInsight kümesinde Özel Bağlantı etkinleştirme
Bu makalede, microsoft omurga ağı üzerinden ağlar arasında bir HDInsight kümesine özel olarak bağlanmak için Azure Özel Bağlantı kullanma hakkında bilgi edineceksiniz. Bu makale, genel bağlantıyı kısıtlamaya odaklanan Azure HDInsight'ta küme bağlantısını kısıtlama makalesinin bir uzantısıdır. HDInsight kümelerinize ve bağımlı kaynaklarınıza genel bağlantı sağlamak istiyorsanız Azure HDInsight'ta ağ trafiğini denetleme yönergelerini izleyerek kümenizin bağlantısını kısıtlamayı göz önünde bulundurun.
Özel Bağlantı, sanal ağ eşlemenin kullanılamadığı veya etkinleştirilmediği ağlar arası senaryolarda kullanılabilir.
Not
Genel bağlantıyı kısıtlamak, Özel Bağlantı etkinleştirmek için bir önkoşuldur ve aynı özellik olarak kabul edilmemelidir.
HDInsight kümesine bağlanmak için Özel Bağlantı kullanımı isteğe bağlı bir özelliktir ve varsayılan olarak devre dışıdır. Bu özellik yalnızca resourceProviderConnection
Azure HDInsight'ta küme bağlantısını kısıtlama makalesinde açıklandığı gibi ağ özelliği giden olarak ayarlandığında kullanılabilir.
privateLink
Etkin olarak ayarlandığında, iç standart yük dengeleyiciler (SLB) oluşturulur ve her SLB için bir Azure Özel Bağlantı hizmeti sağlanır. hdInsight kümesine özel uç noktalardan erişmenizi sağlayan Özel Bağlantı hizmetidir.
Özel bağlantı dağıtım adımları
başarıyla Özel Bağlantı kümesi oluşturma işlemi birçok adımdan geçer, bu nedenle bunları burada özetledik. Her şeyin doğru ayarlandığından emin olmak için aşağıdaki adımların her birini izleyin.
1. Adım: Önkoşulları oluşturma
Başlamak için, henüz oluşturmadıysanız aşağıdaki kaynakları dağıtın. AŞAĞıDA gösterildiği gibi HDInsight kümesinin dağıtılacağı alt ağa eklemek için en az bir kaynak grubunuz, iki sanal ağınız ve bir ağ güvenlik grubunuz olmalıdır.
Tür | Veri Akışı Adı | Purpose |
---|---|---|
Kaynak grubu | hdi-privlink-rg | Ortak kaynakları bir arada tutmak için kullanılır |
Sanal ağ | hdi-privlink-cluster-vnet | Kümenin dağıtılacağı sanal ağ |
Sanal ağ | hdi-privlink-client-vnet | İstemcilerin kümeye bağlanacağı sanal ağ |
Ağ güvenlik grubu | hdi-privlink-cluster-vnet-nsg | Küme dağıtımı için gereken varsayılan NSG |
Not
Ağ güvenlik grubu (NSG) dağıtılabilir, küme dağıtımı için herhangi bir NSG kuralını değiştirmemiz gerekmez.
2. Adım: HDInsight alt ağını yapılandırma
- Alt ağda privateLinkServiceNetworkPolicies'i devre dışı bırakın. Özel Bağlantı hizmetiniz için bir kaynak IP adresi seçmek için alt ağda açık bir devre dışı bırakma ayarı
privateLinkServiceNetworkPolicies
gerekir. Özel Bağlantı hizmetleri için ağ politikalarını devre dışı bırakmak üzere buradaki talimatları izleyin. - Alt ağda Hizmet Uç Noktalarını etkinleştirin. bir Özel Bağlantı HDInsight kümesinin başarılı bir şekilde dağıtımı için, küme dağıtımından önce alt ağınıza ,
Microsoft.Storage
veMicrosoft.KeyVault
hizmet uç noktalarını eklemeniziMicrosoft.SQL
öneririz. Hizmet uç noktaları trafiği doğrudan sanal ağınızdan Microsoft Azure omurga ağındaki hizmete yönlendirir. Trafiğin Azure omurga ağında tutulması, zorlamalı tünel aracılığıyla hizmet trafiğini etkilemeden, giden İnternet trafiğini sanal ağlarınızdan denetlemeye ve izlemeye devam etmenize olanak sağlar.
3. Adım: NAT ağ geçidini veya güvenlik duvarını dağıtma
Standart yük dengeleyiciler, temel yük dengeleyiciler gibi otomatik olarak genel giden NAT sağlamaz. Özel Bağlantı kümeleri standart yük dengeleyiciler kullandığından, giden genel HDInsight bağımlılıklarına bağlanmak için NAT ağ geçidi veya güvenlik duvarınız tarafından sağlanan NAT gibi kendi NAT çözümünüzü sağlamanız gerekir.
NAT ağ geçidi dağıtma (Seçenek 1)
NAT için bir güvenlik duvarı veya ağ sanal gereci (NVA) yapılandırmak istemiyorsanız NAT ağ geçidi kullanmayı tercih edebilirsiniz. Başlamak için, sanal ağınızın yapılandırılmış alt ağına bir NAT ağ geçidi (sanal ağınızda yeni bir genel IP adresi ile) ekleyin. Bu ağ geçidi, trafiğin sanal ağınızın dışına gitmesi gerektiğinde özel iç IP adresinizi genel adreslere çevirmekle sorumludur.
Kullanmaya başlamak için temel bir kurulum için:
Azure portalında 'NAT Ağ Geçitleri' için arama yapın ve Oluştur'a tıklayın.
NAT Ağ Geçidi'nde aşağıdaki yapılandırmaları kullanın. (Tüm yapılandırmaları buraya eklemediğimiz için varsayılan değerleri kullanabilirsiniz.)
Config Değer NAT ağ geçidi adı hdi-privlink-nat-gateway Genel IP Ön Ekleri Yeni bir genel IP ön eki oluşturma Genel IP ön eki adı hdi-privlink-nat-gateway-prefix Genel IP ön ek boyutu /28 (16 adres) Sanal ağ hdi-privlink-cluster-vnet Alt ağ adı varsayılan NAT Ağ Geçidi'nin dağıtımı tamamlandıktan sonra sonraki adıma geçebilirsiniz.
Güvenlik duvarı yapılandırma (Seçenek 2)
Kullanmaya başlamak için temel bir kurulum için:
- Sanal ağınıza AzureFirewallSubnet adlı yeni bir alt ağ ekleyin.
- Yeni bir güvenlik duvarı yapılandırmak ve güvenlik duvarı ilkelerinizi eklemek için yeni alt ağı kullanın.
- Yeni güvenlik duvarının özel IP adresini yol tablonuzdaki değer olarak
nextHopIpAddress
kullanın. - Yönlendirme tablosunu sanal ağınızın yapılandırılmış alt ağına ekleyin.
HDInsight kümenizin giden bağımlılıklarına erişmesi gerekiyor. Bu giden bağımlılıklara izin verilmiyorsa küme oluşturma işlemi başarısız olabilir. Güvenlik duvarı ayarlama hakkında daha fazla bilgi için bkz . Azure HDInsight'ta ağ trafiğini denetleme.
4. Adım: Özel bağlantı kümesi dağıtma
Bu noktada tüm önkoşullar yerine getirilmelidir, bunlar yapıldıktan sonra Özel Bağlantı kümesini dağıtmaya hazır olursunuz. Aşağıdaki diyagramda, kümeyi oluşturmadan önce gereken ağ yapılandırması örneği gösterilmektedir. Bu örnekte, tüm giden trafik kullanıcı tanımlı bir yol üzerinden Azure Güvenlik Duvarı zorlanır. Küme oluşturmadan önce güvenlik duvarında gerekli giden bağımlılıklara izin verilmelidir. Kurumsal Güvenlik Paketi kümeleri için, sanal ağ eşlemesi Microsoft Entra Domain Services'e ağ bağlantısı sağlayabilir.
Kümeyi oluşturma
Aşağıdaki JSON kod parçacığı, özel bir HDInsight kümesi oluşturmak için Azure Resource Manager şablonunuzda yapılandırmanız gereken iki ağ özelliğini içerir:
networkProperties: {
"resourceProviderConnection": "Outbound",
"privateLink": "Enabled"
}
Özel Bağlantı dahil olmak üzere birçok HDInsight kurumsal güvenlik özelliğine sahip eksiksiz bir şablon için bkz. HDInsight kurumsal güvenlik şablonu.
PowerShell kullanarak bir küme oluşturmak için örne bakın.
Azure CLI kullanarak küme oluşturmak için örne bakın.
5. Adım: Özel uç nokta oluşturma
Azure, Özel Bağlantı kümesi dağıtımı sırasında Ambari ve SSH yük dengeleyicileri için otomatik olarak bir Özel bağlantı hizmeti oluşturur. Küme dağıtıldıktan sonra, istemci sanal ağlarında biri Ambari, diğeri de SSH erişimi için olmak üzere iki Özel uç nokta oluşturmanız gerekir. Ardından, bunları küme dağıtımının bir parçası olarak oluşturulan Özel bağlantı hizmetlerine bağlayın.
Özel uç noktaları oluşturmak için:
Azure portalını açın ve 'Özel bağlantı' araması yapın.
Sonuçlarda Özel bağlantı simgesine tıklayın.
'Özel uç nokta oluştur'a tıklayın ve Ambari özel uç noktasını ayarlamak için aşağıdaki yapılandırmaları kullanın:
Config Değer Veri Akışı Adı hdi-privlink-cluster Kaynak türü Microsoft.Network/privateLinkServices Kaynak gateway-* (Bu değer kümenizin HDI dağıtım kimliğiyle eşleşmelidir, örneğin gateway-4eafe3a2a67e4cd88762c22a55fe4654) Sanal ağ hdi-privlink-client-vnet Alt ağ varsayılan Aşağıdaki yapılandırmaları kullanarak SSH erişimi için başka bir özel uç nokta oluşturmak üzere işlemi yineleyin:
Config Değer Veri Akışı Adı hdi-privlink-cluster-ssh Kaynak türü Microsoft.Network/privateLinkServices Kaynak headnode-* (Bu değer kümenizin HDI dağıtım kimliğiyle eşleşmelidir, örneğin headnode-4eafe3a2a67e4cd88762c22a55fe4654) Sanal ağ hdi-privlink-client-vnet Alt ağ varsayılan
Önemli
KafkaRestProxy HDInsight kümesi kullanıyorsanız, Özel Uç Noktaları Etkinleştirme için bu ek adımı izleyin.
Özel uç noktalar oluşturulduktan sonra kurulumun bu aşamasıyla işiniz biter. Uç noktalara atanan özel IP adreslerini not almadıysanız aşağıdaki adımları izleyin:
- azure portalında istemci VNET'ini açın.
- 'Özel uç noktalar' sekmesine tıklayın.
- Hem Ambari hem de ssh Ağ arabirimlerinin listelendiğini görmeniz gerekir.
- Her birine tıklayın ve özel IP adresini görmek için 'DNS yapılandırması' dikey penceresine gidin.
- Kümeye bağlanması ve DNS'yi düzgün şekilde yapılandırması gerektiğinden bu IP adreslerini not edin.
6. Adım: DNS’i özel uç noktalar üzerinden bağlanacak şekilde yapılandırma
Özel kümelere erişmek için, özel DNS bölgeleri aracılığıyla DNS çözümlemesini yapılandırabilirsiniz. Azure tarafından yönetilen genel DNS bölgesinde azurehdinsight.net
oluşturulan Özel Bağlantı girişleri şunlardır:
<clustername> CNAME <clustername>.privatelink
<clustername>-int CNAME <clustername>-int.privatelink
<clustername>-ssh CNAME <clustername>-ssh.privatelink
Aşağıdaki görüntüde, eşlenmemiş veya kümeye doğrudan görüş çizgisi olmayan bir sanal ağdan kümeye erişimi etkinleştirmek için yapılandırılmış özel DNS girişlerinin bir örneği gösterilmektedir. Tam etki alanı adlarını (FQDN'ler) geçersiz kılmak *.privatelink.azurehdinsight.net
ve istemcinin ağındaki özel uç noktaların IP adreslerini çözümlemek için bir Azure DNS özel bölgesi kullanabilirsiniz. Yapılandırma yalnızca örnekte içindir <clustername>.azurehdinsight.net
, ancak diğer küme uç noktalarına da genişletilir.
DNS çözümlemesini Özel DNS bir bölge üzerinden yapılandırmak için:
Azure Özel DNS bölgesi oluşturma. (Tüm yapılandırmaları buraya eklemeyiz, diğer tüm yapılandırmalar varsayılan değerlerde bırakılır)
Config Değer Veri Akışı Adı privatelink.azurehdinsight.net Ambari için Özel DNS bölgesine bir Kayıt kümesi ekleyin.
Config Değer Veri Akışı Adı YourPrivateLinkClusterName Tür A - IPv4 adresine diğer ad kaydı TTL 1 TTL birimi Saat IP Adresi Ambari erişimi için özel uç noktanın özel IP'si SSH için Özel DNS bölgesine bir Kayıt kümesi ekleyin.
Config Değer Veri Akışı Adı YourPrivateLinkClusterName-ssh Tür A - IPv4 adresine diğer ad kaydı TTL 1 TTL birimi Saat IP Adresi SSH erişimi için özel uç noktanın özel IP'si
Önemli
KafkaRestProxy HDInsight kümesi kullanıyorsanız, DNS'yi özel uç nokta üzerinden bağlanacak şekilde yapılandırma için bu ek adımı izleyin.
bir Sanal Ağ Bağlantısı ekleyerek özel DNS bölgesini istemci sanal ağıyla ilişkilendirin.
- Azure portalında özel DNS bölgesini açın.
- 'Sanal ağ bağlantıları' sekmesine tıklayın.
- 'Ekle' düğmesine tıklayın.
- Ayrıntıları doldurun: Bağlantı adı, Abonelik ve Sanal Ağ (istemci sanal ağınız)
- Kaydet'e tıklayın.
7. Adım: Küme bağlantısını denetleme
Son adım, küme bağlantısını test etmektir. Bu küme yalıtılmış veya özel olduğundan, genel IP veya FQDN kullanarak kümeye erişemiyoruz. Bunun yerine birkaç seçeneğimiz vardır:
- Şirket içi ağınızdan istemci sanal ağına VPN erişimini ayarlama
- İstemci sanal ağından vm dağıtma ve bu VM'den kümeye erişme
Bu örnekte, bağlantıyı test etmek için aşağıdaki yapılandırmayı kullanarak istemci VNET'ine bir VM dağıtacağız.
Config | Değer |
---|---|
Virtual machine name | hdi-privlink-client-vm |
Görsel | Windows 10 Pro, Sürüm 2004 - 1. Nesil |
Genel gelen bağlantı noktaları | Seçili bağlantı noktalarına izin ver |
Gelen bağlantı noktalarını seçin | RDP (3389) |
Uygun bir Windows 10 lisansım olduğunu onayliyorum... | Checked |
Sanal ağ | hdi-privlink-client-vnet |
Alt ağ | varsayılan |
İstemci VM dağıtıldıktan sonra hem Ambari hem de SSH erişimini test edebilirsiniz.
Ambari erişimini test etmek için:
- VM'de bir web tarayıcısı açın.
- Kümenizin normal FQDN'sine gidin:
https://<clustername>.azurehdinsight.net
- Ambari kullanıcı arabirimi yüklenirse, Ambari erişimi için yapılandırma doğrudur.
Ssh erişimini test etmek için:
- Terminal penceresi almak için bir komut istemi açın.
- Terminal penceresinde kümenize SSH ile bağlanmayı deneyin:
ssh sshuser@<clustername>.azurehdinsight.net
("sshuser" yerine kümeniz için oluşturduğunuz ssh kullanıcısını yazın) - Bağlanabiliyorsanız SSH erişimi için yapılandırma doğrudur.
HDInsight için özel uç noktaları yönetme
Sanal ağdaki istemcilerin kümenize Özel Bağlantı üzerinden güvenli bir şekilde erişmesine izin vermek için Azure HDInsight kümeleriniz için özel uç noktaları kullanabilirsiniz. Sanal ağdaki istemciler ile HDInsight kümesi arasındaki ağ trafiği Microsoft omurga ağı üzerinden geçiş yaparak genel İnternet'ten etkilenmeyi ortadan kaldırır.
Özel Bağlantı hizmet tüketicisi (örneğin, Azure Data Factory) iki bağlantı onay yöntemi arasından seçim yapabilir:
- Otomatik: Hizmet tüketicisinin HDInsight kaynağında Azure rol tabanlı erişim denetimi (RBAC) izinleri varsa, tüketici otomatik onay yöntemini seçebilir. Bu durumda, istek HDInsight kaynağına ulaştığında HDInsight kaynağından herhangi bir eylem gerekmez ve bağlantı otomatik olarak onaylanır.
- El ile: Hizmet tüketicisinin HDInsight kaynağı üzerinde Azure RBAC izinleri yoksa, tüketici el ile onay yöntemini seçebilir. Bu durumda, bağlantı isteği HDInsight kaynaklarında Beklemede olarak görünür. Bağlantıların kurulabilmesi için HDInsight kaynağının isteği el ile onaylaması gerekir.
Özel uç noktaları yönetmek için Azure portalındaki küme görünümünüzde Güvenlik + Ağ altındaki Ağ bölümüne gidin. Burada tüm mevcut bağlantıları, bağlantı durumlarını ve özel uç nokta ayrıntılarını görebilirsiniz.
Ayrıca mevcut bağlantıları onaylayabilir, reddedebilir veya kaldırabilirsiniz. Özel bağlantı oluşturduğunuzda, hangi HDInsight alt kaynağına (örneğin ağ geçidi veya baş düğüm) bağlanmak istediğinizi belirtebilirsiniz.
Aşağıdaki tabloda çeşitli HDInsight kaynak eylemleri ve özel uç noktalar için sonuçta elde edilen bağlantı durumları gösterilmektedir. HDInsight kaynağı, tüketici müdahalesi olmadan daha sonra özel uç nokta bağlantısının bağlantı durumunu da değiştirebilir. Eylem, tüketici tarafında uç noktanın durumunu güncelleştirir.
Hizmet sağlayıcısı eylemi | Hizmet tüketicisi özel uç nokta durumu | Açıklama |
---|---|---|
Hiçbiri | Beklemede | Bağlantı el ile oluşturulur ve Özel Bağlantı kaynak sahibi tarafından onay bekliyor. |
Onayla | Onaylandı | Bağlantı otomatik olarak veya el ile onaylandı ve kullanılmaya hazır. |
Reddet | Reddedildi | Bağlantı Özel Bağlantı kaynak sahibi tarafından reddedildi. |
Kaldır | Bağlantı kesildi | Bağlantı, Özel Bağlantı kaynak sahibi tarafından kaldırıldı. Özel uç nokta bilgilendirici hale gelir ve temizleme için silinmesi gerekir. |