Megbízhatóság az Azure HDInsightban

Ez a cikk az Azure HDInsight megbízhatósági támogatását ismerteti, és ismerteti a rendelkezésre állási zónákat, a régiók közötti helyreállítást és az üzletmenet folytonosságát. Az Azure-beli megbízhatóság részletesebb áttekintéséhez tekintse meg az Azure megbízhatóságát.

Rendelkezésre állási zóna támogatása

A rendelkezésre állási zónák fizikailag különálló adatközpont-csoportok az egyes Azure-régiókban. Ha egy zóna meghibásodik, a szolgáltatások a fennmaradó zónák egyikére is át tudnak adni feladatokat.

További információ az Azure rendelkezésre állási zónáiról: Mik azok a rendelkezésre állási zónák?

Az Azure HDInsight támogatja a zonális üzembehelyezési konfigurációt. Az Azure HDInsight-fürtcsomópontok egyetlen zónába kerülnek, amelyet a kiválasztott régióban választ ki. A zónaszintű HDInsight-fürtök el vannak különítve a más zónákban előforduló kimaradásoktól. Ha azonban egy üzemkimaradás hatással van a HDInsight-fürthöz kiválasztott adott zónára, a fürt nem lesz elérhető. Ez az üzembe helyezési modell olcsó, alacsony késésű hálózati kapcsolatot biztosít a fürtben. Ha ezt az üzemi modellt több rendelkezésre állási zónába replikálja, magasabb rendelkezésre állási szintet biztosíthat a hardverhibák elleni védelem érdekében.

Előfeltételek

• A rendelkezésre állási zónák csak a 2023. június 15. után létrehozott fürtök esetében támogatottak. A rendelkezésre állási zóna beállításai nem frissíthetők a fürt létrehozása után. Meglévő, nem rendelkezésre állási zónafürtök nem frissíthetők rendelkezésre állási zónák használatára.

• A fürtöket egyéni virtuális hálózat alatt kell létrehozni.

• Saját SQL DB-t kell létrehoznia az Ambari DB-hez és a külső metaadattárhoz, például a Hive metaadattárhoz, hogy ezeket a dll-eket ugyanabban a rendelkezésre állási zónában konfigurálhassa.

• A HDInsight-fürtöket a rendelkezésre állási zóna beállításával kell létrehozni az alábbi régiók egyikében:

  • Kelet-Ausztrália
  • Dél-Brazília
  • Közép-Kanada
  • USA középső régiója
  • USA keleti régiója
  • USA 2. keleti régiója
  • Közép-Franciaország
  • Középnyugat-Németország
  • Kelet-Japán
  • Dél-Korea középső régiója
  • Észak-Európa
  • Közép-Katar
  • Délkelet-Ázsia
  • USA déli középső régiója
  • Az Egyesült Királyság déli régiója
  • USA-beli államigazgatás – Virginia
  • Nyugat-Európa
  • USA 2. nyugati régiója

HDInsight-fürt létrehozása rendelkezésre állási zónával

Az Azure Resource Manager (ARM) sablonnal HDInsight-fürtöt indíthat egy megadott rendelkezésre állási zónába.

Az erőforrások szakaszban hozzá kell adnia a "zónák" egy szakaszát, és meg kell adnia, hogy melyik rendelkezésre állási zónában szeretné üzembe helyezni a fürtöt.

   "resources": [
        {
            "type": "Microsoft.HDInsight/clusters",
            "apiVersion": "2021-06-01",
            "name": "[parameters('cluster name')]",
            "location": "East US 2",
            "zones": [
                "1"
            ],
        }
   ]

Csomópontok ellenőrzése egy rendelkezésre állási zónán belül zónák között

Ha a HDInsight-fürt készen áll, ellenőrizheti a helyet, hogy melyik rendelkezésre állási zónában vannak üzembe helyezve.

API-válasz lekérése:

 [
        {
            "location": "East US 2",
            "zones": [
                "1"
            ],
        }
 ]

A fürt vertikális felskálázása

A HDInsight-fürtöket több feldolgozó csomóponttal skálázhatja fel. Az újonnan hozzáadott feldolgozó csomópontok a fürt ugyanazon rendelkezésre állási zónájában lesznek elhelyezve.

Rendelkezésre állási zóna migrálása

Az Azure HDInsight-fürtök jelenleg nem támogatják a meglévő fürtpéldányok helyszíni migrálását a rendelkezésre állási zóna támogatására. Azonban dönthet úgy, hogy újra létrehozza a fürtöt, és a fürt létrehozása során másik rendelkezésre állási zónát vagy régiót választ. Vészhelyreállítási forgatókönyvekben egy másik régióban és egy másik rendelkezésre állási zónában lévő másodlagos készenléti fürt használható.

Zónaleállási élmény

Ha egy rendelkezésre állási zóna leáll:

• Ehhez a fürthöz nem lehet ssh-t adni.
• A fürt nem törölhető, nem méretezhető fel vagy skálázható le.
• Nem küldhet be feladatokat, és nem tekintheti meg a feladatelőzményeket.
• Továbbra is küldhet új fürtlétrehozási kérelmet egy másik régióban.

Régiók közötti vészhelyreállítás és üzletmenet-folytonosság

A vészhelyreállítás (DR) a nagy hatású események, például a természeti katasztrófák vagy az állásidőt és adatvesztést eredményező sikertelen üzemelő példányok helyreállításáról szól. A katasztrófa okától függetlenül a legjobb megoldás egy jól definiált és tesztelt DR-terv, valamint egy olyan alkalmazásterv, amely aktívan támogatja a DR-t. Mielőtt elkezdene gondolkodni a vészhelyreállítási terv létrehozásáról, tekintse meg a vészhelyreállítási stratégia tervezésére vonatkozó javaslatokat.

A DR-ről a Microsoft a megosztott felelősségi modellt használja. Egy megosztott felelősségi modellben a Microsoft biztosítja, hogy az alapinfrastruktúra és a platformszolgáltatások elérhetők legyenek. Ugyanakkor számos Azure-szolgáltatás nem replikálja automatikusan az adatokat, vagy egy meghibásodott régióból visszaesik egy másik engedélyezett régióba történő keresztreplikáláshoz. Ezeknél a szolgáltatásoknál Ön a felelős a számítási feladatokhoz használható vészhelyreállítási terv beállításáért. Az Azure-platformon szolgáltatásként (PaaS) futó szolgáltatások többsége funkciókkal és útmutatással támogatja a DR-t, és szolgáltatásspecifikus funkciókkal támogatja a gyors helyreállítást a dr. csomag fejlesztéséhez.

Az Azure HDInsight-fürtök számos Azure-szolgáltatástól függenek, például a tárolástól, az adatbázisoktól, az Active Directorytól, a Active Directory tartományi szolgáltatások, a hálózatkezeléstől és a Key Vaulttól. Egy jól megtervezett, magas rendelkezésre állású és hibatűrő elemzési alkalmazást olyan redundanciával kell megtervezni, amely képes ellenállni a regionális vagy helyi fennakadásoknak egy vagy több szolgáltatásban. Ez a szakasz áttekintést nyújt az ajánlott eljárásokról, az egy- és többrégiós rendelkezésre állásról, valamint az üzletmenet-folytonosság tervezéséhez szükséges optimalizálási lehetőségekről.

Vészhelyreállítás többrégiós földrajzi területen

Az üzletmenet folytonosságának javítása régiók közötti magas rendelkezésre állású vészhelyreállítással magasabb összetettségű és magasabb költségű architektúraterveket igényel. Az alábbi táblázatok olyan műszaki területeket ismertetnek, amelyek növelhetik a tulajdonjog teljes költségét.

Költségoptimalizálások

Összetettségi optimalizálás

A többrégiós vészhelyreállítási terv létrehozásakor vegye figyelembe a következő javaslatokat:

• Határozza meg a minimális üzleti funkciókat, amelyekre szükség van katasztrófa esetén és miért. Kiértékelheti például, hogy szüksége van-e feladatátvételi képességekre az adatátalakítási réteghez (sárga színnel) és az adatszolgáltatási réteghez (kék színnel jelenik meg), vagy ha csak az adatszolgáltatási réteg feladatátvételére van szüksége.

  

• A fürtök szegmentálása a számítási feladatok, a fejlesztési életciklus és a részlegek alapján. Ha több fürtöt használ, azzal csökkentheti annak az esélyét, hogy egyetlen nagy hiba több különböző üzleti folyamatot is érint.

• A másodlagos régiók írásvédetté tétele. Az olvasási és írási képességekkel rendelkező feladatátvételi régiók összetett architektúrákhoz vezethetnek.

• Az átmeneti fürtök könnyebben kezelhetők katasztrófa esetén. Úgy tervezheti meg a számítási feladatokat, hogy a fürtök ciklusozhatók legyenek, és a fürtökben ne legyen állapot.

• A számítási feladatok gyakran nem lesznek befejezve, ha katasztrófa történik, és újra kell indítani az új régióban. Úgy tervezheti meg a számítási feladatokat, hogy idempotens jellegűek legyenek.

• Használjon automatizálást a fürttelepítések során, és győződjön meg arról, hogy a fürtkonfigurációs beállítások a lehető legnagyobb mértékben szkriptekkel vannak elkönyvelve, hogy vészhelyzet esetén a gyors és teljesen automatizált üzembe helyezés biztosítható legyen.

Üzemkimaradás észlelése, értesítés és felügyelet

• A HDInsight Azure monitorozási eszközeinek használatával észleli a fürt rendellenes viselkedését, és beállítja a megfelelő riasztási értesítéseket. Üzembe helyezheti az előre konfigurált HDInsight-fürtspecifikus felügyeleti megoldásokat, amelyek összegyűjtik az adott fürttípus fontos teljesítménymetrikáit. További információ: Azure Monitoring for HDInsight.

• Iratkozzon fel az Azure állapotriasztásaira, hogy értesítést kapjon az előfizetés, szolgáltatás vagy régió szolgáltatásproblémáiról, tervezett karbantartásáról, állapot- és biztonsági tanácsadóiról. A probléma okát és az ETA-t tartalmazó állapotértesítések segítenek a feladatátvétel és a feladat-visszavétel jobb végrehajtásában. További információkért tekintse meg az Azure Service Health dokumentációját.

Vészhelyreállítás egyrégiós földrajzi területen

Az alapszintű HDInsight-rendszerek minden összetevője saját, egyrégiós hibatűrési mechanizmusokkal rendelkezik. Ne feledje, hogy az üzleti funkciók befolyásolása nem mindig vesz igénybe katasztrofális eseményt. Az alábbi szolgáltatások egy vagy több szolgáltatásában egyetlen régióban bekövetkező szolgáltatási incidensek a várt üzleti funkciók elvesztéséhez is vezethetnek.

• Számítás (virtuális gépek): Azure HDInsight-fürt. A HDInsight 99,9%-os rendelkezésre állási SLA-t kínál. Ha magas rendelkezésre állást szeretne biztosítani egyetlen üzemelő példányban, a HDInsighthoz alapértelmezés szerint számos magas rendelkezésre állású szolgáltatás tartozik. A HDInsight hibatűrési mechanizmusait a Microsoft és az Apache OSS ökoszisztéma magas rendelkezésre állású szolgáltatásai biztosítják.

  A következő infrastruktúra-összetevőket úgy tervezték, hogy magas rendelkezésre állásúak legyenek:

  • Aktív és készenléti átjárócsomópont
  • Több átjárócsomópont
  • Három Zookeeper kvórumcsomópont
  • A hiba és a frissítési tartományok által elosztott feldolgozó csomópontok

  A következő szolgáltatások is magas rendelkezésre állásra vannak tervezve:

  • Apache Ambari-kiszolgáló
  • Az alkalmazás ütemterve a YARN-hoz
  • A Hadoop MapReduce feladatelőzmény-kiszolgálója
  • Apache Livy
  • HDFS
  • YARN Resource Manager
  • HBase-főkiszolgáló

  További információkért tekintse meg az Azure HDInsight által támogatott magas rendelkezésre állású szolgáltatásokat.

• Metaadattár(ok): Azure SQL Database. A HDInsight az Azure SQL Database-t használja metaadattárként, amely 99,99%-os SLA-t biztosít. Három adatreplika marad meg egy adatközpontban szinkron replikációval. Replikaveszteség esetén a másodlagos replika zökkenőmentesen lesz kiszolgálva. Az aktív georeplikálás legfeljebb négy adatközponttal támogatott. Ha feladatátvétel történik manuális vagy adatközponti feladatátvétel esetén a hierarchia első replikája automatikusan írás-olvasásra képessé válik. További információ: Azure SQL Database üzletmenet-folytonosság.

• Tárolás: Azure Data Lake Gen2 vagy Blob Storage. A HDInsight az Azure Data Lake Storage Gen2-t javasolja a mögöttes tárolási rétegként. Az Azure Storage, beleértve az Azure Data Lake Storage Gen2-t, 99,9%-os SLA-t biztosít. A HDInsight az LRS szolgáltatást használja, amelyben három adatreplika található egy adatközpontban, és a replikáció szinkron. Replika elvesztése esetén a replika zökkenőmentesen lesz kiszolgálva.

• Hitelesítés: Microsoft Entra ID, Microsoft Entra Domain Services, Enterprise Security Package.

  • A Microsoft Entra ID 99,9%-os SLA-t biztosít. Az Active Directory egy globális szolgáltatás, amely több szintű belső redundanciát és automatikus helyreállíthatóságot biztosít. További információt a Microsoft Entra ID megbízhatóságának folyamatos javításában talál.
  • A Microsoft Entra Domain Services 99,9%-os SLA-t biztosít. A Microsoft Entra Domain Services egy globálisan elosztott adatközpontokban üzemeltetett magas rendelkezésre állású szolgáltatás. A replikakészletek a Microsoft Entra Domain Services előzetes verziója, amely lehetővé teszi a földrajzi vészhelyreállítást, ha egy Azure-régió offline állapotba kerül. További információkért tekintse meg a Microsoft Entra Domain Services replikakészletekkel kapcsolatos fogalmait és funkcióit.
  • Az Azure DNS 100%-os SLA-t biztosít. A HDInsight az Azure DNS-t használja a tartománynévfeloldáshoz különböző helyeken.

• Választható szolgáltatások, például az Azure Key Vault és az Azure Data Factory.

Kapcsolódó tartalom

• Az Azure HDInsight üzletmenet-folytonossági architektúrái
• Az Azure HDInsight magas rendelkezésre állású megoldásarchitektúra-esettanulmánya
• Mi az Az Apache Hive és a HiveQL az Azure HDInsightban?
• Megbízhatóság az Azure-ban