Zdieľať cez

Vytvorenie vlastných bazénov Spark v službe Microsoft Fabric

  • Článok

V tomto dokumente vysvetlíme, ako vytvoriť vlastné bazény Apache Spark v službe Microsoft Fabric na vyťaženie analýzy. Fondy Apache Spark umožňujú používateľom vytvárať prispôsobené výpočtové prostredia na základe ich špecifických požiadaviek, čím sa zabezpečuje optimálny výkon a využitie prostriedkov.

Môžete zadať minimálne a maximálne uzly pre automatické škálovanie. Na základe týchto hodnôt systém dynamicky získava a odvádza do dôchodku uzly, keď sa menia výpočtové požiadavky úlohy, čo má za následok efektívne škálovanie a zvýšenie výkonu. Dynamická alokácia vykonávateľov v bazénoch Spark tiež zmierňuje potrebu manuálnej konfigurácie vykonávača. Namiesto toho systém upravuje počet vykonávateľov v závislosti od objemu údajov a výpočtových potrieb na úrovni úlohy. Tento proces vám umožňuje zamerať sa na vyťaženia bez obáv o optimalizáciu výkonu a správu zdrojov.

Nota

Ak chcete vytvoriť vlastný fond spark, budete potrebovať správcovský prístup k pracovnému priestoru. Správca kapacity musí povoliť možnosť Fondy prispôsobeného pracovného priestoru v časti Spark Compute v nastaveniach správcu kapacity . Ďalšie informácie nájdete v téme Nastavenia výpočtovej služby Spark pre kapacity služby Fabric.

Vytvorenie vlastných bazénov Spark

Ak chcete vytvoriť alebo spravovať fond spark priradený k vášmu pracovnému priestoru:

  1. Prejdite do svojho pracovného priestoru a vyberte nastavenia pracovného priestoru.

  2. Výberom možnosti Data Engineering/Science rozbaľte ponuku a potom vyberte položku Nastavenia Spark.

    Snímka obrazovky zobrazujúca zobrazenie podrobností nastavenia spark.

  3. Vyberte možnosť Nový fond. Na obrazovke Create Pool pomenujte svoj fond Spark. Vyberte tiež a veľkosť uzla z dostupných veľkostí (Malý, Stredná, Veľké, X-Largea XX-veľké) na základe výpočtových požiadaviek pre vaše pracovné úlohy.

    Snímka obrazovky zobrazujúca vlastné možnosti vytvorenia fondu.

  4. Minimálnu konfiguráciu uzla pre vlastné fondy môžete nastaviť tak, aby 1. Keďže služba Fabric Spark poskytuje restorovateľnú dostupnosť pre klastre s jediným uzlom, nemusíte sa zaoberať zlyhaniami úloh, stratou relácie počas zlyhaní alebo nadmerným platbou za výpočet pre menšie úlohy v službe Spark.

  5. Automatické škálovanie môžete povoliť alebo zakázať pre vlastné fondy Spark. Keď je povolené automatické škálovanie, fond dynamicky získa nové uzly až do maximálneho limitu uzla, ktorý zadal používateľ, a potom ich po vykonaní pracovnej úlohy odíde do dôchodku. Táto funkcia zabezpečuje lepší výkon úpravou zdrojov na základe požiadaviek na prácu. Môžete nastaviť veľkosť uzlov, ktoré sa zmestia do jednotiek kapacity zakúpených ako súčasť jednotky SKU kapacity služby Fabric.

    Snímka obrazovky znázorňujúca vlastné možnosti vytvorenia fondu na automatické škálovanie a dynamické prideľovanie.

  6. Môžete sa tiež rozhodnúť povoliť dynamickú alokovanie vykonávateľov pre váš fond Spark, ktorý automaticky určí optimálny počet vykonávateľov v rámci maximálnej väzby určenej používateľom. Táto funkcia upravuje počet spúšťačov na základe objemu údajov, čo má za následok vylepšený výkon a využitie prostriedkov.

Tieto vlastné fondy majú predvolené trvanie automatického priradenia 2 minúty. Po dosiahnutí trvania automatického priradenia uplynie platnosť relácie a klastre sú nepridelené. Účtujú sa na základe počtu uzlov a trvania, počas ktorých sa používajú vlastné fondy Spark.

Súvisiaci obsah