HDInsight kümesinde Özel Bağlantı etkinleştirme

Bu makalede, microsoft omurga ağı üzerinden ağlar arasında bir HDInsight kümesine özel olarak bağlanmak için Azure Özel Bağlantı kullanma hakkında bilgi edineceksiniz. Bu makale, genel bağlantıyı kısıtlamaya odaklanan Azure HDInsight'ta küme bağlantısını kısıtlama makalesinin bir uzantısıdır. HDInsight kümelerinize ve bağımlı kaynaklarınıza genel bağlantı sağlamak istiyorsanız Azure HDInsight'ta ağ trafiğini denetleme yönergelerini izleyerek kümenizin bağlantısını kısıtlamayı göz önünde bulundurun.

Özel Bağlantı, sanal ağ eşlemenin kullanılamadığı veya etkinleştirilmediği ağlar arası senaryolarda kullanılabilir.

HDInsight kümesine bağlanmak için Özel Bağlantı kullanımı isteğe bağlı bir özelliktir ve varsayılan olarak devre dışıdır. Bu özellik yalnızca resourceProviderConnection Azure HDInsight'ta küme bağlantısını kısıtlama makalesinde açıklandığı gibi ağ özelliği giden olarak ayarlandığında kullanılabilir.

privateLink Etkin olarak ayarlandığında, iç standart yük dengeleyiciler (SLB) oluşturulur ve her SLB için bir Azure Özel Bağlantı hizmeti sağlanır. hdInsight kümesine özel uç noktalardan erişmenizi sağlayan Özel Bağlantı hizmetidir.

Özel bağlantı dağıtım adımları

başarıyla Özel Bağlantı kümesi oluşturma işlemi birçok adımdan geçer, bu nedenle bunları burada özetledik. Her şeyin doğru ayarlandığından emin olmak için aşağıdaki adımların her birini izleyin.

1. Adım: Önkoşulları oluşturma

Başlamak için, henüz oluşturmadıysanız aşağıdaki kaynakları dağıtın. AŞAĞıDA gösterildiği gibi HDInsight kümesinin dağıtılacağı alt ağa eklemek için en az bir kaynak grubunuz, iki sanal ağınız ve bir ağ güvenlik grubunuz olmalıdır.

2. Adım: HDInsight alt ağını yapılandırma

• Alt ağda privateLinkServiceNetworkPolicies'i devre dışı bırakın. Özel Bağlantı hizmetiniz için bir kaynak IP adresi seçmek için alt ağda açık bir devre dışı bırakma ayarı privateLinkServiceNetworkPolicies gerekir. Özel Bağlantı hizmetleri için ağ politikalarını devre dışı bırakmak üzere buradaki talimatları izleyin.
• Alt ağda Hizmet Uç Noktalarını etkinleştirin. bir Özel Bağlantı HDInsight kümesinin başarılı bir şekilde dağıtımı için, küme dağıtımından önce alt ağınıza , Microsoft.Storageve Microsoft.KeyVault hizmet uç noktalarını eklemenizi Microsoft.SQLöneririz. Hizmet uç noktaları trafiği doğrudan sanal ağınızdan Microsoft Azure omurga ağındaki hizmete yönlendirir. Trafiğin Azure omurga ağında tutulması, zorlamalı tünel aracılığıyla hizmet trafiğini etkilemeden, giden İnternet trafiğini sanal ağlarınızdan denetlemeye ve izlemeye devam etmenize olanak sağlar.

3. Adım: NAT ağ geçidini veya güvenlik duvarını dağıtma

Standart yük dengeleyiciler, temel yük dengeleyiciler gibi otomatik olarak genel giden NAT sağlamaz. Özel Bağlantı kümeleri standart yük dengeleyiciler kullandığından, giden genel HDInsight bağımlılıklarına bağlanmak için NAT ağ geçidi veya güvenlik duvarınız tarafından sağlanan NAT gibi kendi NAT çözümünüzü sağlamanız gerekir.

NAT ağ geçidi dağıtma (Seçenek 1)

NAT için bir güvenlik duvarı veya ağ sanal gereci (NVA) yapılandırmak istemiyorsanız NAT ağ geçidi kullanmayı tercih edebilirsiniz. Başlamak için, sanal ağınızın yapılandırılmış alt ağına bir NAT ağ geçidi (sanal ağınızda yeni bir genel IP adresi ile) ekleyin. Bu ağ geçidi, trafiğin sanal ağınızın dışına gitmesi gerektiğinde özel iç IP adresinizi genel adreslere çevirmekle sorumludur.

Kullanmaya başlamak için temel bir kurulum için:

1. Azure portalında 'NAT Ağ Geçitleri' için arama yapın ve Oluştur'a tıklayın.

2. NAT Ağ Geçidi'nde aşağıdaki yapılandırmaları kullanın. (Tüm yapılandırmaları buraya eklemediğimiz için varsayılan değerleri kullanabilirsiniz.)

   Config	Değer
   NAT ağ geçidi adı	hdi-privlink-nat-gateway
   Genel IP Ön Ekleri	Yeni bir genel IP ön eki oluşturma
   Genel IP ön eki adı	hdi-privlink-nat-gateway-prefix
   Genel IP ön ek boyutu	/28 (16 adres)
   Sanal ağ	hdi-privlink-cluster-vnet
   Alt ağ adı	varsayılan

3. NAT Ağ Geçidi'nin dağıtımı tamamlandıktan sonra sonraki adıma geçebilirsiniz.

Güvenlik duvarı yapılandırma (Seçenek 2)

Kullanmaya başlamak için temel bir kurulum için:

1. Sanal ağınıza AzureFirewallSubnet adlı yeni bir alt ağ ekleyin.
2. Yeni bir güvenlik duvarı yapılandırmak ve güvenlik duvarı ilkelerinizi eklemek için yeni alt ağı kullanın.
3. Yeni güvenlik duvarının özel IP adresini yol tablonuzdaki değer olarak nextHopIpAddress kullanın.
4. Yönlendirme tablosunu sanal ağınızın yapılandırılmış alt ağına ekleyin.

HDInsight kümenizin giden bağımlılıklarına erişmesi gerekiyor. Bu giden bağımlılıklara izin verilmiyorsa küme oluşturma işlemi başarısız olabilir. Güvenlik duvarı ayarlama hakkında daha fazla bilgi için bkz . Azure HDInsight'ta ağ trafiğini denetleme.

4. Adım: Özel bağlantı kümesi dağıtma

Bu noktada tüm önkoşullar yerine getirilmelidir, bunlar yapıldıktan sonra Özel Bağlantı kümesini dağıtmaya hazır olursunuz. Aşağıdaki diyagramda, kümeyi oluşturmadan önce gereken ağ yapılandırması örneği gösterilmektedir. Bu örnekte, tüm giden trafik kullanıcı tanımlı bir yol üzerinden Azure Güvenlik Duvarı zorlanır. Küme oluşturmadan önce güvenlik duvarında gerekli giden bağımlılıklara izin verilmelidir. Kurumsal Güvenlik Paketi kümeleri için, sanal ağ eşlemesi Microsoft Entra Domain Services'e ağ bağlantısı sağlayabilir.

Kümeyi oluşturma

Aşağıdaki JSON kod parçacığı, özel bir HDInsight kümesi oluşturmak için Azure Resource Manager şablonunuzda yapılandırmanız gereken iki ağ özelliğini içerir:

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

Özel Bağlantı dahil olmak üzere birçok HDInsight kurumsal güvenlik özelliğine sahip eksiksiz bir şablon için bkz. HDInsight kurumsal güvenlik şablonu.

PowerShell kullanarak bir küme oluşturmak için örne bakın.

Azure CLI kullanarak küme oluşturmak için örne bakın.

5. Adım: Özel uç nokta oluşturma

Azure, Özel Bağlantı kümesi dağıtımı sırasında Ambari ve SSH yük dengeleyicileri için otomatik olarak bir Özel bağlantı hizmeti oluşturur. Küme dağıtıldıktan sonra, istemci sanal ağlarında biri Ambari, diğeri de SSH erişimi için olmak üzere iki Özel uç nokta oluşturmanız gerekir. Ardından, bunları küme dağıtımının bir parçası olarak oluşturulan Özel bağlantı hizmetlerine bağlayın.

Özel uç noktaları oluşturmak için:

1. Azure portalını açın ve 'Özel bağlantı' araması yapın.

2. Sonuçlarda Özel bağlantı simgesine tıklayın.

3. 'Özel uç nokta oluştur'a tıklayın ve Ambari özel uç noktasını ayarlamak için aşağıdaki yapılandırmaları kullanın:

   Config	Değer
   Veri Akışı Adı	hdi-privlink-cluster
   Kaynak türü	Microsoft.Network/privateLinkServices
   Kaynak	gateway-* (Bu değer kümenizin HDI dağıtım kimliğiyle eşleşmelidir, örneğin gateway-4eafe3a2a67e4cd88762c22a55fe4654)
   Sanal ağ	hdi-privlink-client-vnet
   Alt ağ	varsayılan

   

4. Aşağıdaki yapılandırmaları kullanarak SSH erişimi için başka bir özel uç nokta oluşturmak üzere işlemi yineleyin:

   Config	Değer
   Veri Akışı Adı	hdi-privlink-cluster-ssh
   Kaynak türü	Microsoft.Network/privateLinkServices
   Kaynak	headnode-* (Bu değer kümenizin HDI dağıtım kimliğiyle eşleşmelidir, örneğin headnode-4eafe3a2a67e4cd88762c22a55fe4654)
   Sanal ağ	hdi-privlink-client-vnet
   Alt ağ	varsayılan

Özel uç noktalar oluşturulduktan sonra kurulumun bu aşamasıyla işiniz biter. Uç noktalara atanan özel IP adreslerini not almadıysanız aşağıdaki adımları izleyin:

1. azure portalında istemci VNET'ini açın.
2. 'Özel uç noktalar' sekmesine tıklayın.
3. Hem Ambari hem de ssh Ağ arabirimlerinin listelendiğini görmeniz gerekir.
4. Her birine tıklayın ve özel IP adresini görmek için 'DNS yapılandırması' dikey penceresine gidin.
5. Kümeye bağlanması ve DNS'yi düzgün şekilde yapılandırması gerektiğinden bu IP adreslerini not edin.

6. Adım: DNS’i özel uç noktalar üzerinden bağlanacak şekilde yapılandırma

Özel kümelere erişmek için, özel DNS bölgeleri aracılığıyla DNS çözümlemesini yapılandırabilirsiniz. Azure tarafından yönetilen genel DNS bölgesinde azurehdinsight.net oluşturulan Özel Bağlantı girişleri şunlardır:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

Aşağıdaki görüntüde, eşlenmemiş veya kümeye doğrudan görüş çizgisi olmayan bir sanal ağdan kümeye erişimi etkinleştirmek için yapılandırılmış özel DNS girişlerinin bir örneği gösterilmektedir. Tam etki alanı adlarını (FQDN'ler) geçersiz kılmak *.privatelink.azurehdinsight.net ve istemcinin ağındaki özel uç noktaların IP adreslerini çözümlemek için bir Azure DNS özel bölgesi kullanabilirsiniz. Yapılandırma yalnızca örnekte içindir <clustername>.azurehdinsight.net , ancak diğer küme uç noktalarına da genişletilir.

DNS çözümlemesini Özel DNS bir bölge üzerinden yapılandırmak için:

1. Azure Özel DNS bölgesi oluşturma. (Tüm yapılandırmaları buraya eklemeyiz, diğer tüm yapılandırmalar varsayılan değerlerde bırakılır)

   Config	Değer
   Veri Akışı Adı	privatelink.azurehdinsight.net

   

2. Ambari için Özel DNS bölgesine bir Kayıt kümesi ekleyin.

   Config	Değer
   Veri Akışı Adı	YourPrivateLinkClusterName
   Tür	A - IPv4 adresine diğer ad kaydı
   TTL	1
   TTL birimi	Saat
   IP Adresi	Ambari erişimi için özel uç noktanın özel IP'si

   

3. SSH için Özel DNS bölgesine bir Kayıt kümesi ekleyin.

   Config	Değer
   Veri Akışı Adı	YourPrivateLinkClusterName-ssh
   Tür	A - IPv4 adresine diğer ad kaydı
   TTL	1
   TTL birimi	Saat
   IP Adresi	SSH erişimi için özel uç noktanın özel IP'si

   

4. bir Sanal Ağ Bağlantısı ekleyerek özel DNS bölgesini istemci sanal ağıyla ilişkilendirin.

   1. Azure portalında özel DNS bölgesini açın.
   2. 'Sanal ağ bağlantıları' sekmesine tıklayın.
   3. 'Ekle' düğmesine tıklayın.
   4. Ayrıntıları doldurun: Bağlantı adı, Abonelik ve Sanal Ağ (istemci sanal ağınız)
   5. Kaydet'e tıklayın.

   

7. Adım: Küme bağlantısını denetleme

Son adım, küme bağlantısını test etmektir. Bu küme yalıtılmış veya özel olduğundan, genel IP veya FQDN kullanarak kümeye erişemiyoruz. Bunun yerine birkaç seçeneğimiz vardır:

• Şirket içi ağınızdan istemci sanal ağına VPN erişimini ayarlama
• İstemci sanal ağından vm dağıtma ve bu VM'den kümeye erişme

Bu örnekte, bağlantıyı test etmek için aşağıdaki yapılandırmayı kullanarak istemci VNET'ine bir VM dağıtacağız.

İstemci VM dağıtıldıktan sonra hem Ambari hem de SSH erişimini test edebilirsiniz.

Ambari erişimini test etmek için:

1. VM'de bir web tarayıcısı açın.
2. Kümenizin normal FQDN'sine gidin: https://<clustername>.azurehdinsight.net
3. Ambari kullanıcı arabirimi yüklenirse, Ambari erişimi için yapılandırma doğrudur.

Ssh erişimini test etmek için:

1. Terminal penceresi almak için bir komut istemi açın.
2. Terminal penceresinde kümenize SSH ile bağlanmayı deneyin: ssh sshuser@<clustername>.azurehdinsight.net ("sshuser" yerine kümeniz için oluşturduğunuz ssh kullanıcısını yazın)
3. Bağlanabiliyorsanız SSH erişimi için yapılandırma doğrudur.

HDInsight için özel uç noktaları yönetme

Sanal ağdaki istemcilerin kümenize Özel Bağlantı üzerinden güvenli bir şekilde erişmesine izin vermek için Azure HDInsight kümeleriniz için özel uç noktaları kullanabilirsiniz. Sanal ağdaki istemciler ile HDInsight kümesi arasındaki ağ trafiği Microsoft omurga ağı üzerinden geçiş yaparak genel İnternet'ten etkilenmeyi ortadan kaldırır.

Özel Bağlantı hizmet tüketicisi (örneğin, Azure Data Factory) iki bağlantı onay yöntemi arasından seçim yapabilir:

• Otomatik: Hizmet tüketicisinin HDInsight kaynağında Azure rol tabanlı erişim denetimi (RBAC) izinleri varsa, tüketici otomatik onay yöntemini seçebilir. Bu durumda, istek HDInsight kaynağına ulaştığında HDInsight kaynağından herhangi bir eylem gerekmez ve bağlantı otomatik olarak onaylanır.
• El ile: Hizmet tüketicisinin HDInsight kaynağı üzerinde Azure RBAC izinleri yoksa, tüketici el ile onay yöntemini seçebilir. Bu durumda, bağlantı isteği HDInsight kaynaklarında Beklemede olarak görünür. Bağlantıların kurulabilmesi için HDInsight kaynağının isteği el ile onaylaması gerekir.

Özel uç noktaları yönetmek için Azure portalındaki küme görünümünüzde Güvenlik + Ağ altındaki Ağ bölümüne gidin. Burada tüm mevcut bağlantıları, bağlantı durumlarını ve özel uç nokta ayrıntılarını görebilirsiniz.

Ayrıca mevcut bağlantıları onaylayabilir, reddedebilir veya kaldırabilirsiniz. Özel bağlantı oluşturduğunuzda, hangi HDInsight alt kaynağına (örneğin ağ geçidi veya baş düğüm) bağlanmak istediğinizi belirtebilirsiniz.

Aşağıdaki tabloda çeşitli HDInsight kaynak eylemleri ve özel uç noktalar için sonuçta elde edilen bağlantı durumları gösterilmektedir. HDInsight kaynağı, tüketici müdahalesi olmadan daha sonra özel uç nokta bağlantısının bağlantı durumunu da değiştirebilir. Eylem, tüketici tarafında uç noktanın durumunu güncelleştirir.

Sonraki adımlar

• Azure HDInsight için Kurumsal Güvenlik Paketi
• Azure HDInsight'ta kurumsal güvenlik genel bilgileri ve yönergeleri