Megosztás a következőn keresztül:

Egyéni Spark-készletek létrehozása a Microsoft Fabricben

  • Cikk

Ebben a dokumentumban bemutatjuk, hogyan hozhat létre egyéni Apache Spark-készleteket a Microsoft Fabricben az elemzési számítási feladatokhoz. Az Apache Spark-készletek lehetővé teszik a felhasználók számára, hogy a saját igényeiknek megfelelően testreszabott számítási környezeteket hozzanak létre, biztosítva az optimális teljesítményt és erőforrás-kihasználtságot.

Megadhatja az automatikus skálázás minimális és maximális csomópontjait. Ezen értékek alapján a rendszer dinamikusan szerzi be és vonja ki a csomópontokat a feladat számítási követelményeinek változásával, ami hatékony skálázást és jobb teljesítményt eredményez. A Spark-készletekben a végrehajtók dinamikus lefoglalása szintén enyhíti a manuális végrehajtók konfigurálásának szükségességét. Ehelyett a rendszer az adatmennyiségtől és a feladatszintű számítási igényektől függően módosítja a végrehajtók számát. Ez a folyamat lehetővé teszi, hogy a számítási feladatokra összpontosítson anélkül, hogy a teljesítményoptimalizálással és az erőforrás-kezeléssel kellene foglalkoznia.

Megjegyzés:

Egyéni Spark-készlet létrehozásához rendszergazdai hozzáférésre van szüksége a munkaterülethez. A kapacitás-rendszergazdának engedélyeznie kell a Testreszabott munkaterületkészletek beállítást a Kapacitás Rendszergazda beállítások Spark Compute szakaszában. További információ: Spark Compute Gépház hálókapacitásokhoz.

Egyéni Spark-készletek létrehozása

A munkaterülethez társított Spark-készlet létrehozása vagy kezelése:

  1. Nyissa meg a munkaterületet, és válassza a Munkaterület beállításai lehetőséget.

    Screenshot showing where to select Data Engineering in the Workspace settings menu.

  2. A adatmérnök/Tudomány lehetőséget választva bontsa ki a menüt, majd válassza a Spark Compute lehetőséget.

    Screenshot showing Spark Settings detail view.

  3. Válassza az Új készlet lehetőséget. A Készlet létrehozása képernyőn nevezze el a Spark-készletet. Válassza ki a Csomópontcsaládot is, és a számítási feladatok számítási követelményei alapján válasszon ki egy csomópontméretet a rendelkezésre álló méretek közül (Kicsi, Közepes, Nagy, X-Nagy és XX-Nagy).

    Screenshot showing custom pool creation options.

  4. Az egyéni készletek minimális csomópontkonfigurációját 1 értékre állíthatja. Mivel a Fabric Spark egy csomóponttal rendelkező fürtök számára biztosít helyreállítható rendelkezésre állást, nem kell foglalkoznia a feladathibákkal, a sikertelen munkamenetek elvesztésével vagy a kisebb Spark-feladatok számítási díjával.

  5. Engedélyezheti vagy letilthatja az automatikus skálázást az egyéni Spark-készletekhez. Ha az automatikus skálázás engedélyezve van, a készlet dinamikusan szerzi be az új csomópontokat a felhasználó által megadott maximális csomópontkorlátig, majd a feladat végrehajtása után kivonja őket. Ez a funkció jobb teljesítményt biztosít azáltal, hogy az erőforrásokat a feladat követelményeinek megfelelően módosítja. A Fabric kapacitás-termékváltozat részeként vásárolt kapacitásegységeken belül elférő csomópontokat méretezheti.

    Screenshot showing custom pool creation options for autoscaling and dynamic allocation.

  6. Dönthet úgy is, hogy engedélyezi a dinamikus végrehajtói lefoglalást a Spark-készlethez, amely automatikusan meghatározza a felhasználó által megadott maximális korláton belül a végrehajtók optimális számát. Ez a funkció az adatmennyiség alapján módosítja a végrehajtók számát, ami jobb teljesítményt és erőforrás-kihasználtságot eredményez.

Ezeknek az egyéni készleteknek az alapértelmezett automatikus teljesítés időtartama 2 perc. Miután elérte az automatikus elérés időtartamát, a munkamenet lejár, és a fürtök nincsenek áthelyezve. A díjak a csomópontok száma és az egyéni Spark-készletek használati időtartama alapján kerülnek felszámításra.

Kapcsolódó tartalom