Privát kapcsolat engedélyezése HDInsight-fürtön

Ebben a cikkben megismerkedhet az Azure Private Link használatával egy HDInsight-fürthöz való privát csatlakozáshoz a Microsoft gerinchálózatán keresztüli hálózatokon keresztül. Ez a cikk a fürtkapcsolat korlátozása az Azure HDInsightban című cikk bővítménye, amely a nyilvános kapcsolatok korlátozására összpontosít. Ha nyilvános kapcsolatot szeretne létesíteni a HDInsight-fürtökkel és a függő erőforrásokkal, fontolja meg a fürt kapcsolatának korlátozását az Azure HDInsight hálózati forgalmának szabályozására vonatkozó irányelveket követve.

A Private Link olyan hálózatok közötti helyzetekben használható, ahol a virtuális hálózatok közötti társviszony-létesítés nem érhető el vagy engedélyezve van.

A Private Link használata a HDInsight-fürthöz való csatlakozáshoz opcionális funkció, és alapértelmezés szerint le van tiltva. A funkció csak akkor érhető el, ha a resourceProviderConnection hálózati tulajdonság kimenőre van állítva, a fürtkapcsolat korlátozása az Azure HDInsightban című cikkben leírtak szerint.

Ha privateLink engedélyezve van, létrejön a belső standard terheléselosztók (SLB-k), és minden egyes SLB-hez ki van építve egy Azure Private Link szolgáltatás. A Private Link szolgáltatással privát végpontokról érheti el a HDInsight-fürtöt.

Privát kapcsolat üzembe helyezési lépései

A Private Link-fürt sikeres létrehozása sok lépést tesz, ezért itt ismertettük őket. Kövesse az alábbi lépéseket, hogy minden megfelelően legyen beállítva.

1. lépés: Előfeltételek létrehozása

Első lépésként telepítse a következő erőforrásokat, ha még nem hozta létre őket. Rendelkeznie kell legalább egy erőforráscsoporttal, két virtuális hálózattal és egy hálózati biztonsági csoporttal ahhoz az alhálózathoz csatolva, ahol a HDInsight-fürt üzembe lesz helyezve az alábbiak szerint.

2. lépés: A HDInsight-alhálózat konfigurálása

• Tiltsa le a privateLinkServiceNetworkPolicies szolgáltatást az alhálózaton. A Private Link szolgáltatás forrás IP-címének kiválasztásához explicit letiltó beállítás privateLinkServiceNetworkPolicies szükséges az alhálózaton. A privát kapcsolati szolgáltatásokra vonatkozóan a hálózati házirendek letiltásához kövesse az itt megadott utasításokat.
• Szolgáltatásvégpontok engedélyezése az alhálózaton. A Private Link HDInsight-fürt sikeres üzembe helyezéséhez javasoljuk, hogy a fürt üzembe helyezése előtt adja hozzá az Microsoft.SQLalhálózathoz a , Microsoft.Storageés Microsoft.KeyVault a szolgáltatásvégpont(ok)t. A szolgáltatásvégpontok a forgalmat közvetlenül a virtuális hálózatról a Microsoft Azure gerinchálózatán található szolgáltatáshoz irányítják. Ha az Azure gerinchálózatán tartja az adatforgalmat, továbbra is naplózhatja és monitorozhatja a virtuális hálózatok kimenő internetforgalmát a kényszerített bújtatáson keresztül anélkül, hogy ez kihatna a szolgáltatás forgalmára.

3. lépés: NAT-átjáró vagy tűzfal üzembe helyezése

A standard terheléselosztók nem biztosítják automatikusan a nyilvános kimenő NAT-t, ahogy az alapszintű terheléselosztók teszik. Mivel a privát kapcsolati fürtök standard terheléselosztókat használnak, a kimenő, nyilvános HDInsight-függőségekhez való csatlakozáshoz saját NAT-megoldást kell biztosítania, például egy NAT-átjárót vagy egy tűzfal által biztosított NAT-ot.

NAT-átjáró üzembe helyezése (1. lehetőség)

Nat-átjárót akkor használhat, ha nem szeretne tűzfalat vagy hálózati virtuális berendezést (NVA) konfigurálni a NAT-hoz. Első lépésként vegyen fel egy NAT-átjárót (új nyilvános IP-címmel a virtuális hálózatban) a virtuális hálózat konfigurált alhálózatához. Ez az átjáró felelős a privát belső IP-cím nyilvános címekre való fordításáért, ha a forgalomnak a virtuális hálózaton kívülre kell mennie.

Alapszintű beállítás az első lépésekhez:

1. Keressen rá a "NAT-átjárók" kifejezésre az Azure Portalon, és kattintson a Létrehozás gombra.

2. Használja az alábbi konfigurációkat a NAT-átjáróban. (Itt nem szerepel az összes konfiguráció, így használhatja az alapértelmezett értékeket.)

   Konfigurálás	Érték
   NAT-átjáró neve	hdi-privlink-nat-gateway
   Nyilvános IP-előtagok	Új nyilvános IP-előtag létrehozása
   Nyilvános IP-előtag neve	hdi-privlink-nat-gateway-prefix
   Nyilvános IP-előtag mérete	/28 (16 cím)
   Virtuális hálózat	hdi-privlink-cluster-vnet
   Alhálózat neve	alapértelmezett

3. Miután a NAT-átjáró üzembe helyezése befejeződött, készen áll a következő lépésre.

Tűzfal konfigurálása (2. lehetőség)

Alapszintű beállítás az első lépésekhez:

1. Adjon hozzá egy új, AzureFirewallSubnet nevű alhálózatot a virtuális hálózathoz.
2. Az új alhálózat használatával konfigurálhat egy új tűzfalat, és hozzáadhatja a tűzfalszabályzatokat.
3. Használja az új tűzfal privát IP-címét az nextHopIpAddress útvonaltáblában szereplő értékként.
4. Adja hozzá az útvonaltáblát a virtuális hálózat konfigurált alhálózatához.

A HDInsight-fürtnek továbbra is hozzá kell férnie a kimenő függőségeihez. Ha ezek a kimenő függőségek nem engedélyezettek, a fürt létrehozása meghiúsulhat. A tűzfal beállításával kapcsolatos további információkért lásd: Hálózati forgalom szabályozása az Azure HDInsightban.

4. lépés: Privát kapcsolatú fürt üzembe helyezése

Ezen a ponton minden előfeltételt figyelembe kell venni, és készen áll a privát kapcsolati fürt üzembe helyezésére. Az alábbi ábrán egy példa látható a fürt létrehozása előtt szükséges hálózati konfigurációra. Ebben a példában az összes kimenő forgalom egy felhasználó által megadott útvonalon keresztül kerül az Azure Firewallra. A szükséges kimenő függőségeket engedélyezni kell a tűzfalon a fürt létrehozása előtt. Nagyvállalati biztonságicsomag-fürtök esetén a virtuális hálózatok közötti társviszony-létesítés biztosítja a Microsoft Entra Domain Serviceshez való hálózati kapcsolatot.

A fürt létrehozása

A következő JSON-kódrészlet tartalmazza azt a két hálózati tulajdonságot, amelyeket konfigurálnia kell az Azure Resource Manager-sablonban egy privát HDInsight-fürt létrehozásához:

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

A HDInsight nagyvállalati biztonsági funkcióit, köztük a Private Linket is tartalmazó teljes sablonért tekintse meg a HDInsight vállalati biztonsági sablont.

Ha a PowerShell használatával szeretne fürtöt létrehozni, tekintse meg a példát.

Ha az Azure CLI használatával szeretne fürtöt létrehozni, tekintse meg a példát.

5. lépés: Privát végpontok létrehozása

Az Azure automatikusan létrehoz egy Privát kapcsolat szolgáltatást az Ambari és az SSH terheléselosztói számára a privát kapcsolati fürt üzembe helyezése során. A fürt üzembe helyezése után létre kell hoznia két privát végpontot az ügyfél-VNET(ek)en, egyet az Ambarihoz, egyet pedig az SSH-hozzáféréshez. Ezután kapcsolja őket a fürttelepítés részeként létrehozott privát kapcsolati szolgáltatásokhoz.

A privát végpontok létrehozása:

1. Nyissa meg az Azure Portalt, és keressen rá a "Privát hivatkozás" kifejezésre.

2. Az eredmények között kattintson a Privát hivatkozás ikonra.

3. Kattintson a "Privát végpont létrehozása" elemre, és az alábbi konfigurációkkal állítsa be az Ambari privát végpontját:

   Konfigurálás	Érték
   Név	hdi-privlink-cluster
   Erőforrás típusa	Microsoft.Network/privateLinkServices
   Erőforrás	gateway-* (Ennek az értéknek meg kell egyeznie a fürt HDI-telepítési azonosítójával, például gateway-4eafe3a2a67e4cd88762c22a55fe4654)
   Virtuális hálózat	hdi-privlink-client-vnet
   Alhálózat	alapértelmezett

   

4. Ismételje meg a folyamatot, és hozzon létre egy másik privát végpontot az SSH-hozzáféréshez a következő konfigurációk használatával:

   Konfigurálás	Érték
   Név	hdi-privlink-cluster-ssh
   Erőforrás típusa	Microsoft.Network/privateLinkServices
   Erőforrás	headnode-* (Ennek az értéknek meg kell egyeznie a fürt HDI-telepítési azonosítójával, például headnode-4eafe3a2a67e4cd88762c22a55fe4654)
   Virtuális hálózat	hdi-privlink-client-vnet
   Alhálózat	alapértelmezett

A privát végpontok létrehozása után elkészült a beállítás ezen fázisával. Ha nem jegyezte fel a végpontokhoz rendelt privát IP-címeket, kövesse az alábbi lépéseket:

1. Nyissa meg az ügyfél virtuális hálózatát az Azure Portalon.
2. Kattintson a "Privát végpontok" fülre.
3. A listában az Ambari és az ssh hálózati adaptereknek is szerepelnie kell.
4. Kattintson mindegyikre, és lépjen a "DNS-konfiguráció" panelre a privát IP-cím megtekintéséhez.
5. Jegyezze fel ezeket az IP-címeket, mert a fürthöz való csatlakozáshoz és a DNS megfelelő konfigurálásához szükségesek.

6. lépés: A DNS konfigurálása privát végpontokon keresztüli csatlakozásra

A privát fürtök eléréséhez a DNS-feloldás privát DNS-zónákon keresztül konfigurálható. Az Azure által felügyelt nyilvános DNS-zónában azurehdinsight.net létrehozott Private Link-bejegyzések a következők:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

Az alábbi képen egy példa látható azokra a privát DNS-bejegyzésekre, amelyek úgy vannak konfigurálva, hogy lehetővé tegyék a fürthöz való hozzáférést egy olyan virtuális hálózatból, amely nem társviszonyban van, vagy nem rendelkezik közvetlen látóvonallal a fürthöz. Az Azure DNS privát zónájával felülbírálhatja *.privatelink.azurehdinsight.net a teljes tartományneveket (FQDN-eket), és feloldhatja a privát végpontok IP-címeit az ügyfél hálózatában. A konfiguráció csak a példában szerepel <clustername>.azurehdinsight.net , de más fürtvégpontokra is kiterjed.

DNS-feloldás konfigurálása saját DNS zónán keresztül:

1. Hozzon létre egy Azure saját DNS zónát. (Itt nem szerepel az összes konfiguráció, az összes többi konfiguráció az alapértelmezett értékeknél marad)

   Konfigurálás	Érték
   Név	privatelink.azurehdinsight.net

   

2. Adjon hozzá egy rekordkészletet az Ambari saját DNS zónához.

   Konfigurálás	Érték
   Név	YourPrivateLinkClusterName
   Típus	A – Aliasrekord IPv4-címre
   TTL	0
   TTL-egység	Óra
   IP Address	Privát végpont privát IP-címe az Ambari-hozzáféréshez

   

3. Vegyen fel egy rekordkészletet az SSH saját DNS zónájára.

   Konfigurálás	Érték
   Név	YourPrivateLinkClusterName-ssh
   Típus	A – Aliasrekord IPv4-címre
   TTL	0
   TTL-egység	Óra
   IP Address	Privát végpont privát IP-címe SSH-hozzáféréshez

   

4. A privát DNS-zóna társítása az ügyfél virtuális hálózatával virtuális hálózati kapcsolat hozzáadásával.

   1. Nyissa meg a privát DNS-zónát az Azure Portalon.
   2. Kattintson a "Virtuális hálózati hivatkozások" fülre.
   3. Kattintson a Hozzáadás gombra.
   4. Adja meg a részleteket: Hivatkozás neve, előfizetés és virtuális hálózat (az ügyfél virtuális hálózata)
   5. Kattintson a Mentés gombra.

   

7. lépés: Fürtkapcsolat ellenőrzése

Az utolsó lépés a fürthöz való kapcsolódás tesztelése. Mivel ez a fürt elszigetelt vagy privát, nyilvános IP-cím vagy teljes tartománynév használatával nem érhető el. Ehelyett több lehetőségünk is van:

• Az ügyfél virtuális hálózatához való VPN-hozzáférés beállítása a helyszíni hálózatról
• Virtuális gép üzembe helyezése az ügyfél virtuális hálózatán, és a fürt elérése ebből a virtuális gépből

Ebben a példában üzembe helyezünk egy virtuális gépet az ügyfél virtuális hálózatában a következő konfigurációval a kapcsolat teszteléséhez.

Az ügyfél virtuális gépének üzembe helyezése után az Ambari és az SSH-hozzáférést is tesztelheti.

Az Ambari-hozzáférés tesztelése:

1. Nyisson meg egy webböngészőt a virtuális gépen.
2. Keresse meg a fürt szokásos teljes tartománynevét: https://<clustername>.azurehdinsight.net
3. Ha az Ambari felhasználói felülete betöltődik, a konfiguráció helyes az Ambari-hozzáféréshez.

Az ssh-hozzáférés tesztelése:

1. Nyisson meg egy parancssort egy terminálablak lekéréséhez.
2. A terminálablakban próbáljon meg SSH-val csatlakozni a fürthöz: ssh sshuser@<clustername>.azurehdinsight.net (Cserélje le az "sshuser" elemet a fürthöz létrehozott ssh-felhasználóra)
3. Ha tud csatlakozni, a konfiguráció helyes az SSH-hozzáféréshez.

Privát végpontok kezelése a HDInsighthoz

Privát végpontokat használhat az Azure HDInsight-fürtökhöz, hogy a virtuális hálózaton lévő ügyfelek biztonságosan elérhessék a fürtöt a Private Linken keresztül. A virtuális hálózaton lévő ügyfelek és a HDInsight-fürt közötti hálózati forgalom a Microsoft gerinchálózatán halad át, így a nyilvános internetről való kitettség megszűnik.

A Private Link szolgáltatás felhasználói (például az Azure Data Factory) két kapcsolat-jóváhagyási módszer közül választhatnak:

• Automatikus: Ha a szolgáltatásfelhasználó azure-beli szerepköralapú hozzáférés-vezérlési (RBAC) engedélyekkel rendelkezik a HDInsight-erőforráson, a felhasználó kiválaszthatja az automatikus jóváhagyási módszert. Ebben az esetben, amikor a kérelem eléri a HDInsight-erőforrást, nincs szükség műveletre a HDInsight-erőforrásból, és a kapcsolat automatikusan jóvá lesz hagyva.
• Manuális: Ha a szolgáltatásfelhasználó nem rendelkezik Azure RBAC-engedélyekkel a HDInsight-erőforráson, a felhasználó kiválaszthatja a manuális jóváhagyási módszert. Ebben az esetben a kapcsolatkérés függőben lévőként jelenik meg a HDInsight-erőforrásokon. A HDInsight-erőforrásnak manuálisan kell jóváhagynia a kérést a kapcsolatok létrehozása előtt.

A privát végpontok kezeléséhez az Azure Portal fürtnézetében lépjen a Biztonság + Hálózatkezelés szakasz Hálózatkezelés szakaszára. Itt láthatja az összes meglévő kapcsolatot, kapcsolati állapotot és privát végpont részleteit.

A meglévő kapcsolatokat is jóváhagyhatja, elutasíthatja vagy eltávolíthatja. Privát kapcsolat létrehozásakor megadhatja, hogy melyik HDInsight-alforráshoz (például átjáró- vagy főcsomóponthoz) szeretne csatlakozni.

Az alábbi táblázat a különböző HDInsight-erőforrásműveleteket és a magánvégpontokból eredő kapcsolati állapotokat mutatja be. A HDInsight-erőforrások később fogyasztói beavatkozás nélkül is módosíthatják a privát végpontkapcsolat kapcsolati állapotát. A művelet frissíti a végpont állapotát a fogyasztói oldalon.

Következő lépések

• Nagyvállalati biztonsági csomag az Azure HDInsighthoz
• Általános vállalati biztonsági információk és irányelvek az Azure HDInsightban