Általános vállalati biztonsági információk és irányelvek az Azure HDInsightban

Biztonságos HDInsight-fürt üzembe helyezésekor vannak olyan ajánlott eljárások, amelyek megkönnyítik az üzembe helyezést és a fürtkezelést. Itt általános információkat és irányelveket tárgyalunk.

Biztonságos fürt használata

Ajánlott

• A fürtöt egyszerre több felhasználó fogja használni.
• A felhasználók különböző szintű hozzáféréssel rendelkeznek ugyanahhoz az adathoz.

Nem szükséges

• Csak automatizált feladatokat fog futtatni (például egy felhasználói fiókot), a standard fürt elég jó.
• Az adatimportálást standard fürt használatával végezheti el, és ugyanazt a tárfiókot használhatja egy másik biztonságos fürtön, ahol a felhasználók elemzési feladatokat futtathatnak.

Helyi fiók használata

• Ha megosztott felhasználói fiókot vagy helyi fiókot használ, akkor nehéz lesz megállapítani, hogy ki használta a fiókot a konfiguráció vagy szolgáltatás módosításához.
• A helyi fiókok használata akkor problémás, ha a felhasználók már nem részei a szervezetnek.

Ranger

Szabályzatok

• Alapértelmezés szerint a Ranger a Megtagadás szabályzatot használja.

• Ha az adathozzáférés olyan szolgáltatáson keresztül történik, amelyen engedélyezve van az engedélyezés:

  • A rendszer meghívja a Ranger engedélyezési beépülő modult, és figyelembe véve a kérés kontextusát.
  • A Ranger a szolgáltatáshoz konfigurált szabályzatokat alkalmazza. Ha a Ranger-szabályzatok sikertelenek, a rendszer elhalasztja a hozzáférés-ellenőrzést a fájlrendszerre. Egyes szolgáltatások, például a MapReduce csak azt ellenőrzik, hogy a fájlt/mappát ugyanaz a felhasználó birtokolja-e, aki a kérelmet beküldi. Az olyan szolgáltatások, mint a Hive, ellenőrizze a tulajdonosi egyezést vagy a megfelelő fájlrendszer-engedélyeket (rwx).

• A Hive esetében a létrehozási/frissítési/törlési engedélyek mellett a felhasználónak rendelkeznie kell rwxa tár címtárára és az összes alkönyvtárra vonatkozó engedélyekkel.

• A szabályzatok egyéni csoportokra (lehetőleg) alkalmazhatók.

• A Ranger-engedélyező minden kéréshez kiértékeli az adott szolgáltatáshoz tartozó Ranger-szabályzatokat. Ez az értékelés hatással lehet a feladat vagy lekérdezés elfogadásának időtartamára.

Tárterület-hozzáférés

• Ha a tárolási típus WASB, akkor nincs benne OAuth-jogkivonat.
• Ha a Ranger elvégezte az engedélyezést, a tárterület-hozzáférés a felügyelt identitás használatával történik.
• Ha a Ranger nem végzett semmilyen engedélyezést, akkor a tárterület-hozzáférés a felhasználó OAuth-jogkivonatával történik.

Hierarchikus névtér

Ha a hierarchikus névtér nincs engedélyezve:

• Nincsenek öröklődő engedélyek.
• Csak olyan fájlrendszer-engedély működik, amely a Storage Data XXXX Azure-szerepkör, amelyet közvetlenül az Azure Portalon kell hozzárendelni a felhasználóhoz.

Alapértelmezett HDFS-engedélyek

• Alapértelmezés szerint a felhasználók nem férnek hozzá a / HDFS mappához (a sikeres hozzáféréshez a tárolóblob tulajdonosi szerepkörében kell lenniük).
• A mapreduce és mások átmeneti könyvtárához létrejön egy felhasználóspecifikus könyvtár, és sticky _wx megadja az engedélyeket. A felhasználók létrehozhatnak fájlokat és mappákat alatta, de nem tekinthetnek meg más elemeket.

URL-cím hitelesítése

Ha az URL-hitelesítés engedélyezve van:

• A konfiguráció tartalmazni fogja, hogy milyen előtagok szerepelnek az URL-cím hitelesítésében (például adl://).
• Ha a hozzáférés ehhez az URL-címhez tartozik, akkor a Ranger ellenőrzi, hogy a felhasználó szerepel-e az engedélyezési listán.
• A Ranger nem ellenőrzi a részletes szabályzatokat.

Ranger-naplók kezelése

Ha meg szeretné akadályozni, hogy a Ranger naplói túl sok lemezterületet használjanak fel a hn0-átjárócsomóponton, módosíthatja a naplók megőrzéséhez a napok számát.

1. Jelentkezzen be az Ambari felhasználói felületére.
2. Lépjen a Services>Ranger>Configs>Advanced>Advanced Ranger-solr-configuration elemre.
3. Módosítsa a "Maximális megőrzési napok" 7 napra vagy annál kevesebbre.
4. A módosítás érvénybe lépéséhez válassza az érintett összetevők mentése és újraindítása lehetőséget.

Egyéni Ranger-adatbázis használata

Javasoljuk, hogy helyezzen üzembe egy külső Ranger DB-t az ESP-fürttel való használatra a Ranger-metaadatok magas rendelkezésre állása érdekében, amely biztosítja, hogy a szabályzatok akkor is elérhetők legyenek, ha a fürt nem érhető el. Mivel egy külső adatbázis ügyfél által felügyelt, lehetősége lesz a db méretének finomhangolására és az adatbázis több ESP-fürtön való megosztására is. Az ESP-fürtlétrehozási folyamat során megadhatja a külső Ranger DB-t az Azure Portal, az Azure Resource Manager, az Azure CLI stb. használatával.

A Ranger felhasználói szinkronizálásának beállítása napi futtatásra

A HDInsight ESP-fürtök úgy vannak konfigurálva, hogy a Ranger óránként automatikusan szinkronizálja az AD-felhasználókat. A Ranger-szinkronizálás egy felhasználói szinkronizálás, amely további terhelést okozhat az AD-példányon. Ezért javasoljuk, hogy módosítsa a Ranger felhasználói szinkronizálási időközét 24 órára.

1. Jelentkezzen be az Ambari felhasználói felületére.
2. Lépjen a Services>Ranger>Configs>Advanced>ranger-ugsync-site webhelyre
3. Állítsa a ranger.usersync.sleeptimeinmillisbetweensynccycle tulajdonságot 86400000 értékre (ezredmásodpercben 24 óra).
4. A módosítás érvénybe lépéséhez válassza az érintett összetevők mentése és újraindítása lehetőséget.

Erőforráscsoportok

Minden fürthöz használjon új erőforráscsoportot, hogy meg tudja különböztetni a fürterőforrásokat.

NSG-k, tűzfalak és belső átjárók

• A virtuális hálózatok zárolásához használjon hálózati biztonsági csoportokat (NSG-ket).
• A kimenő hozzáférési szabályzatok kezelése tűzfallal.
• Használja a nyilvános internetre nem nyitott belső átjárót.

Microsoft Entra ID

A Microsoft Entra ID (Microsoft Entra ID) a Microsoft felhőalapú identitás- és hozzáférés-kezelési szolgáltatása.

Szabályzatok

• Tiltsa le a feltételes hozzáférési szabályzatot az IP-címalapú szabályzat használatával. Ehhez engedélyezni kell a szolgáltatásvégpontokat azon virtuális hálózatokon, ahol a fürtök üzembe vannak helyezve. Ha külső szolgáltatást használ az MFA-hoz (a Microsoft Entra-azonosítótól eltérő), az IP-címalapú szabályzat nem fog működni

• AllowCloudPasswordValidation házirendre van szükség az összevont felhasználók számára. Mivel a HDInsight közvetlenül a felhasználónév/jelszó használatával kéri le a jogkivonatokat a Microsoft Entra-azonosítóból, ezt a szabályzatot minden összevont felhasználó számára engedélyezni kell.

• Engedélyezze a szolgáltatásvégpontokat, ha feltételes hozzáférés megkerülésére van szükség megbízható IP-címek használatával.

Csoportok

• Fürtöket mindig egy csoporttal telepíthet.
• A Microsoft Entra ID használatával kezelheti a csoporttagságokat (egyszerűbb, mint a fürt egyes szolgáltatásainak kezelése).

Felhasználói fiókok

• Minden forgatókönyvhöz használjon egyedi felhasználói fiókot. Használjon például egy fiókot importáláshoz, egy másikat lekérdezési vagy egyéb feldolgozási feladatokhoz.
• Egyéni szabályzatok helyett használjon csoportalapú Ranger-szabályzatokat.
• Tervezze meg, hogyan kezelheti azokat a felhasználókat, akiknek már nem kellene hozzáférniük a fürtökhöz.

Microsoft Entra tartományi szolgáltatások

A Microsoft Entra Domain Services olyan felügyelt tartományi szolgáltatásokat biztosít, mint a tartományhoz való csatlakozás, a csoportházirend, az egyszerűsített címtárelérési protokoll (LDAP) és a Windows Server Active Directoryval teljes mértékben kompatibilis Kerberos/NTLM-hitelesítés.

A Microsoft Entra Domain Services szükséges ahhoz, hogy a biztonságos fürtök csatlakozzanak egy tartományhoz. A HDInsight nem függhet a helyszíni tartományvezérlőktől vagy az egyéni tartományvezérlőktől, mivel túl sok hibapontot, hitelesítőadat-megosztást, DNS-engedélyeket stb. vezet be. További információ: Microsoft Entra Domain Services – gyakori kérdések.

A Microsoft Entra Domain Services termékváltozatának kiválasztása

A felügyelt tartomány létrehozásakor különböző termékváltozatok közül választhat, amelyek különböző teljesítményszinteket és funkciókat kínálnak. A Microsoft Entra Domain Services-példányt hitelesítési kérelmekhez használó ESP-fürtök és egyéb alkalmazások száma határozza meg, hogy melyik termékváltozat megfelelő a szervezet számára. Ha magas processzorhasználatot észlel a felügyelt tartományban, vagy az üzleti követelmények megváltoznak, frissítheti termékváltozatát.

Microsoft Entra Domain Services-példány

• Hozza létre a példányt a .onmicrosoft.com domain. Így nem lesz több DNS-kiszolgáló, amely a tartományt szolgálja ki.
• Hozzon létre egy önaláírt tanúsítványt az LDAPS-hez, és töltse fel a Microsoft Entra Domain Services szolgáltatásba.
• Használjon társhálózatot a fürtök üzembe helyezéséhez (ha több csapat is üzembe helyezi a HDInsight ESP-fürtöket, ez hasznos lehet). Ez biztosítja, hogy ne kelljen portokat (NSG-ket) megnyitnia a virtuális hálózaton a tartományvezérlővel.
• Konfigurálja megfelelően a virtuális hálózat DNS-ét (a Microsoft Entra Domain Services tartománynévnek a gazdagépek fájlbejegyzései nélkül kell feloldódnia).
• Ha korlátozza a kimenő forgalmat, győződjön meg arról, hogy átolvasott a HDInsight tűzfaltámogatásán

Fontolja meg a Microsoft Entra Domain Services replikakészleteket

A Microsoft Entra Domain Services által felügyelt tartomány létrehozásakor meghatároz egy egyedi névteret, majd két tartományvezérlőt helyez üzembe a kiválasztott Azure-régióban. A tartományvezérlők központi telepítését replikakészletnek nevezzük. További replikakészletek hozzáadása rugalmasságot biztosít, és biztosítja a hitelesítési szolgáltatások rendelkezésre állását, ami kritikus fontosságú az Azure HDInsight-fürtök esetében.

Hatókörön belüli felhasználó/csoport szinkronizálásának konfigurálása

Ha engedélyezi a Microsoft Entra Domain Servicest az ESP-fürthöz, kiválaszthatja, hogy szinkronizálja a Microsoft Entra-azonosító összes felhasználóját és csoportját, illetve a hatókörön belüli csoportokat és azok tagjait. Javasoljuk, hogy a legjobb teljesítmény érdekében válassza a "Hatókörön belüli" szinkronizálást.

A hatókörön belüli szinkronizálás módosítható különböző csoportkijelölésekkel, vagy szükség esetén "Minden" felhasználóvá és csoporttá alakítható. Csak akkor módosíthatja a szinkronizálás típusát az "Összes" értékről a "Hatókör" értékre, ha nem törli és hozza létre újra a Microsoft Entra Domain Services-példányt.

A Microsoft Entra-azonosítóból a Microsoft Entra Domain Services szolgáltatásba szinkronizált tulajdonságok

• A Microsoft Entra Connect szinkronizálja a helyszíni és a Microsoft Entra ID azonosítóját.
• A Microsoft Entra Domain Services szinkronizál a Microsoft Entra-azonosítóból.

A Microsoft Entra Domain Services rendszeresen szinkronizálja az objektumokat a Microsoft Entra-azonosítóból. Az Azure Portal Microsoft Entra Domain Services paneljén megjelenik a szinkronizálás állapota. A szinkronizálás minden szakaszában előfordulhat, hogy az egyedi tulajdonságok ütköznek, és átnevezik őket. Ügyeljen a Microsoft Entra ID és a Microsoft Entra Domain Services közötti tulajdonságleképezésre.

További információ: Microsoft Entra UserPrincipalName populáció és a Microsoft Entra Domain Services szinkronizálásának működése.

Jelszókivonat szinkronizálása

• A jelszavak szinkronizálása eltér a többi objektumtípustól. Csak a nem visszavonható jelszókivonatok szinkronizálódnak a Microsoft Entra-azonosítóban és a Microsoft Entra Domain Servicesben
• Az AD Connecten keresztül engedélyezni kell a helyszíni microsoft entra-azonosítót
• A Microsoft Entra-azonosító és a Microsoft Entra Domain Services szinkronizálása automatikus (a késések időtartama 20 perc alatt van).
• A jelszókivonatok szinkronizálása csak megváltozott jelszó esetén történik. Ha engedélyezi a jelszókivonat-szinkronizálást, a rendszer nem szinkronizálja automatikusan az összes meglévő jelszót, mivel azokat a rendszer visszafordíthatatlanul tárolja. A jelszó módosításakor a rendszer szinkronizálja a jelszókivonatokat.

Az Ambari LDAP szinkronizálásának beállítása napi futtatásra

Az új LDAP-felhasználók Ambarival való szinkronizálásának folyamata automatikusan óránkénti futtatásra van konfigurálva. Az óránkénti futtatás többletterhelést okozhat a fürt átjárócsomópontja és az AD-példány számára. A jobb teljesítmény érdekében javasoljuk, hogy módosítsa az Ambari LDAP-szinkronizálást futtató /opt/startup_scripts/start_ambari_ldap_sync.py szkriptet, hogy naponta egyszer fusson. Ez a szkript egy crontab-feladaton keresztül fut, és a fürt átjárócsomópontja "/etc/cron.hourly/" könyvtárban tárolja.

Ha naponta egyszer szeretné futtatni, hajtsa végre a következő lépéseket:

1. SSH-val csatlakozzon a 0-s átjárócsomópontra
2. Helyezze át a szkriptet a cron napi mappába: sudo mv /etc/cron.hourly/ambarildapsync /etc/cron.daily/ambarildapsync
3. Alkalmazza a módosítást a crontab-feladatban: sudo service cron reload
4. ssh to hn1, és ismételje meg az 1– 3. lépést

Szükség esetén az Ambari REST API-val azonnal manuálisan szinkronizálhatja az új felhasználókat és csoportokat .

Számítógépobjektumok helye

Minden fürt egyetlen szervezeti egységhez van társítva. A szervezeti egység egy belső felhasználót épít ki. Az összes csomópont ugyanahhoz a szervezeti egységhez csatlakozik.

Active Directory felügyeleti eszközök

További információ: Felügyeleti eszközök telepítése.

Hibaelhárítás

A fürt létrehozása ismétlődően meghiúsul

Leggyakoribb okok:

• A DNS-konfiguráció nem helyes, a fürtcsomópontok tartományhoz való csatlakoztatása sikertelen.
• Az NSG-k túl korlátozóak, ami megakadályozza a tartományhoz való csatlakozást.
• A felügyelt identitás nem rendelkezik megfelelő engedélyekkel.
• A fürt neve nem egyedi az első hat karakternél (egy másik élő fürtövel vagy törölt fürttel).

Hitelesítés beállítása és konfigurálása

Egyszerű felhasználónév (UPN)

• Minden szolgáltatáshoz használjon kisbetűt – az UPN-ek nem érzékenyek a kis- és nagybetűkre az ESP-fürtökben, de
• Az UPN előtagnak meg kell egyeznie a Microsoft Entra Domain Services SAMAccountName elemével. Nincs szükség a levelezési mezővel való egyeztetésre.

LDAP-tulajdonságok az Ambari-konfigurációban

A HDInsight-fürt konfigurációját befolyásoló Ambari-tulajdonságok teljes listájáért tekintse meg az Ambari LDAP-hitelesítés beállítását.

Tartományi felhasználói kulcstab(ok) létrehozása

Az ESP-fürtlétrehozási folyamat során a rendszer automatikusan létrehozza az összes szolgáltatáskulcsot. A fürt és más, hitelesítést igénylő szolgáltatások és/vagy feladatok közötti biztonságos kommunikáció engedélyezéséhez létrehozhat egy kulcstáblát a tartománynevéhez.

Kerberos-kulcstartó létrehozásához használja a ktutilt az egyik fürt virtuális gépen:

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

Ha a TenantName &DomainName értéke eltér, akkor a -s beállítással hozzá kell adnia egy SALT értéket. Kerberos-kulcstartó létrehozásakor tekintse meg a HDInsight GYIK oldalát, és állapítsa meg a megfelelő SALT értéket.

LDAP-tanúsítvány megújítása

A HDInsight automatikusan megújítja a fürtökhöz használt felügyelt identitások tanúsítványait az Enterprise Security Package (ESP) csomaggal. A Microsoft Entra Domain Services és az ADLS Gen2 különböző felügyelt identitásainak használata azonban korlátozott, ami a megújítási folyamat meghiúsulását okozhatja. Az alábbi 2 javaslatot követve biztosíthatja, hogy sikeresen megújíthassuk tanúsítványait:

• Ha különböző felügyelt identitásokat használ az ADLS Gen2 és a Microsoft Entra Domain Services-fürtökhöz, akkor mindkettőhöz hozzá kell rendelni a Storage-blobadatok tulajdonosát és a HDInsight Domain Services közreműködői szerepköreit.
• A HDInsight-fürtök nyilvános IP-címeket igényelnek a tanúsítványfrissítésekhez és egyéb karbantartásokhoz, így minden olyan házirendet el kell távolítani, amely megtagadja a fürt nyilvános IP-címét.

Következő lépések

• Vállalati biztonsági csomagkonfigurációk a Microsoft Entra Domain Services szolgáltatással a HDInsightban

• Szinkronizálja a Microsoft Entra-felhasználókat egy HDInsight-fürtbe.