HDInsight-fürtök kapacitástervezése

A HDInsight-fürt üzembe helyezése előtt tervezze meg a kívánt fürtkapacitást a szükséges teljesítmény és skálázás meghatározásával. Ez a tervezés segít optimalizálni a használhatóságot és a költségeket. Egyes fürtkapacitás-döntések nem módosíthatók az üzembe helyezés után. Ha a teljesítményparaméterek megváltoznak, a fürtök a tárolt adatok elvesztése nélkül bonthatók le és hozhatók létre újra.

A kapacitástervezéssel kapcsolatos legfontosabb kérdések a következők:

• Melyik földrajzi régióban helyezze üzembe a fürtöt?
• Mennyi tárhelyre van szüksége?
• Milyen fürttípust telepítsen?
• Milyen méretű és típusú virtuális gépet használjon a fürtcsomópontok?
• Hány munkavégző csomópont legyen a fürtben?

Azure-régió kiválasztása

Az Azure-régió határozza meg, hogy a fürt fizikailag hol van kiépítve. Az olvasások és írások késésének minimalizálása érdekében a fürtnek az adatok közelében kell lennie.

A HDInsight számos Azure-régióban elérhető. A legközelebbi régió megkereséséhez tekintse meg a régiónként elérhető termékeket.

Tárolási hely és méret kiválasztása

Az alapértelmezett tároló helye

Az alapértelmezett tárolónak , akár Azure Storage-fióknak, akár Azure Data Lake Storage-nak, ugyanabban a helyen kell lennie, mint a fürtnek. Az Azure Storage minden helyen elérhető. A Data Lake Storage egyes régiókban elérhető – tekintse meg a Data Lake Storage aktuális rendelkezésre állását.

A meglévő adatok helye

Ha meglévő tárfiókot vagy Data Lake Storage-t szeretne használni a fürt alapértelmezett tárolójaként, akkor a fürtöt ugyanazon a helyen kell üzembe helyeznie.

Tárterület mérete

Egy üzembe helyezett fürtön csatolhat egy másik Azure Storage-fiókot, vagy hozzáférhet más Data Lake Storage-fiókokhoz. Minden tárfióknak ugyanabban a helyen kell lennie, mint a fürtnek. A Data Lake Storage más helyen is lehet, bár a nagy távolságok némi késést okozhatnak.

Az Azure Storage kapacitáskorlátokkal rendelkezik, míg a Data Lake Storage szinte korlátlan. A fürtök különböző tárfiókok kombinációját érhetik el. Tipikus példák a következők:

• Ha az adatok mennyisége valószínűleg meghaladja egy blobtároló tárolási kapacitását.
• Ha a blobtárolóhoz való hozzáférés sebessége meghaladhatja a szabályozás küszöbértékét.
• Ha adatokat szeretne készíteni, már feltöltött egy blobtárolóba, amely elérhető a fürt számára.
• Ha biztonsági okokból szeretné elkülöníteni a tároló különböző részeit, vagy egyszerűsíteni szeretné az adminisztrációt.

A jobb teljesítmény érdekében tárfiókonként csak egy tárolót használjon.

Fürttípus kiválasztása

A fürt típusa határozza meg, hogy a HDInsight-fürt milyen számítási feladat futtatására van konfigurálva. Ilyenek például az Apache Hadoop, az Apache Kafka vagy az Apache Spark. Az elérhető fürttípusok részletes leírását az Azure HDInsight bemutatása című témakörben találja. Minden fürttípus rendelkezik egy adott üzembehelyezési topológiával, amely a csomópontok méretére és számára vonatkozó követelményeket tartalmazza.

A virtuális gép méretének és típusának kiválasztása

Minden fürttípus csomóponttípusokkal rendelkezik, és minden csomóponttípushoz meghatározott lehetőségek állnak rendelkezésre a virtuális gép méretéhez és típusához.

Az alkalmazás optimális fürtméretének meghatározásához mérheti a fürtkapacitást, és növelheti a méretet a jelzett módon. Használhat például szimulált számítási feladatot vagy kanári lekérdezést. Futtassa a szimulált számítási feladatokat különböző méretű fürtökön. Fokozatosan növelje a méretet, amíg el nem éri a kívánt teljesítményt. A többi éles lekérdezés közé időnként beszúrható egy kanári lekérdezés, amely megmutatja, hogy a fürt rendelkezik-e elegendő erőforrással.

A számítási feladathoz megfelelő virtuálisgép-család kiválasztásáról további információt a fürt megfelelő virtuálisgép-méretének kiválasztása című témakörben talál.

A fürtméret kiválasztása

A fürt méretezését a virtuálisgép-csomópontok mennyisége határozza meg. Az összes fürttípus esetében vannak olyan csomóponttípusok, amelyek egy adott skálával rendelkeznek, és a csomóponttípusok támogatják a vertikális felskálázást. Előfordulhat például, hogy egy fürtnek pontosan három Apache ZooKeeper-csomópontra vagy két Head-csomópontra van szüksége. Azok a feldolgozó csomópontok, amelyek elosztott módon végeznek adatfeldolgozást, más feldolgozó csomópontok előnyeit élvezhetik.

A fürt típusától függően a feldolgozó csomópontok számának növelése több számítási kapacitást (például több magot) ad hozzá. A további csomópontok növelik a teljes fürt számára szükséges teljes memóriát a feldolgozás alatt álló adatok memóriabeli tárolásának támogatásához. A virtuális gép méretének és típusának kiválasztásához hasonlóan a megfelelő fürtméret kiválasztása általában empirikusan történik. Szimulált számítási feladatok vagy kanári lekérdezések használata.

A fürt vertikális felskálázható, hogy megfeleljen a maximális terhelési igényeknek. Ezután skálázza vissza, ha ezekre a további csomópontokra már nincs szükség. Az Automatikus skálázás funkció lehetővé teszi a fürt automatikus skálázását előre meghatározott metrikák és időzítések alapján. A fürtök manuális skálázásával kapcsolatos további információkért tekintse meg a HDInsight-fürtök méretezését ismertető témakört.

Fürt életciklusa

A fürt élettartamáért díjat számítunk fel. Ha csak meghatározott időpontokban van szüksége a fürtre, hozzon létre igény szerinti fürtöket az Azure Data Factory használatával. Létrehozhat olyan PowerShell-szkripteket is, amelyek kiépíthetik és törölhetik a fürtöt, majd ütemezhetik ezeket a szkripteket az Azure Automation használatával.

Fürtfeladat hibáinak elkülönítése

Néha hibák léphetnek fel több térkép párhuzamos végrehajtása és a többcsomópontos fürtön lévő összetevők csökkentése miatt. A probléma elkülönítéséhez próbálja meg az elosztott tesztelést. Futtasson egyszerre több feladatot egyetlen feldolgozó csomópontfürtön. Ezután bontsa ki ezt a módszert több feladat egyidejű futtatásához több csomópontot tartalmazó fürtökön. Ha egy egycsomópontos HDInsight-fürtöt szeretne létrehozni az Azure-ban, használja a Custom(size, settings, apps) beállítást, és a portálon egy új fürt kiépítésekor a Fürt méret szakaszában a Feldolgozó csomópontok száma 1 értéket használja.

A HDInsight kvótakezelésének megtekintése

Tekintse meg a kvóta részletes szintjét és kategorizálását egy virtuális gép családi szintjén. Tekintse meg az aktuális kvótát, és hogy mennyi kvóta maradjon egy régióban a virtuálisgép-család szintjén.

1. Az aktuális kvóta megtekintése:

   Tekintse meg az aktuális kvótát, valamint azt, hogy egy régió mennyi kvótát marad meg egy virtuálisgép-család szintjén.

   1. Az Azure Portal felső keresősávján keressen és válassza a Kvóták lehetőséget.

   2. A Kvóta lapon válassza az Azure HDInsightot

      

   3. A legördülő listában válassza ki előfizetését és régióját

      

      

2. Új kvóták kérése virtuálisgép-családonként és régiónként

   1. Kattintson arra a sorra, amelynek a kvótaadatait meg szeretné tekinteni.

   

Quotas

Az előfizetési kvóták kezelésével kapcsolatos további információkért lásd : Kvótanövelés kérése.

További lépések

• Fürtök beállítása a HDInsightban az Apache Hadoop, a Spark, a Kafka és egyebek használatával: Megtudhatja, hogyan állíthat be és konfigurálhat fürtöket a HDInsightban.
• Fürt teljesítményének monitorozása: Ismerje meg a HDInsight-fürt monitorozásának legfontosabb forgatókönyveit, amelyek hatással lehetnek a fürt kapacitására.