Zdieľať cez


Migrácia bazénov služby Spark zo služby Azure Synapse Analytics do služby Fabric

Hoci služba Azure Synapse poskytuje bazény Spark, služba Fabric ponúka bazény Starter a vlastné bazény. Štartovací fond môže byť dobrou voľbou, ak máte jeden fond bez vlastných konfigurácií alebo knižníc v službe Azure Synapse a ak veľkosť stredného uzla spĺňa vaše požiadavky. Ak však potrebujete väčšiu flexibilitu s konfiguráciami fondu Spark, odporúčame použiť vlastné bazény. Sú tu dve možnosti:

  • Možnosť 1: Presunutie fondu Spark do predvoleného fondu pracovného priestoru.
  • Možnosť 2: Presunutie fondu Spark do vlastného prostredia v službe Fabric.

Ak máte viac ako jeden fond Spark a plánujete ich presunúť do toho istého pracovného priestoru služby Fabric, odporúčame použiť možnosť 2 a vytvoriť viacero vlastných prostredí a bazénov.

Informácie týkajúce sa fondu Spark nájdete v časti rozdiely medzi službami Azure Synapse Spark a Fabric.

Požiadavky

Ak ešte nemáte pracovný priestor služby Fabric, vytvorte ho vo svojom nájomníkovi.

Možnosť 1: Od fondu Spark po predvolený fond pracovného priestoru

Z pracovného priestoru služby Fabric môžete vytvoriť vlastný fond spark a použiť ho ako predvolený fond v pracovnom priestore. Predvolený fond používajú všetky poznámkové bloky a definície úloh služby Spark v tom istom pracovnom priestore.

Prechod z existujúceho fondu Spark zo služby Azure Synapse do predvoleného fondu pracovného priestoru:

  1. Prístup k pracovnému priestoru Azure Synapse: Prihláste sa do služby Azure. Prejdite do pracovného priestoru služby Azure Synapse, prejdite do časti Analytics Pools a vyberte položku Fondy Apache Spark.
  2. Vyhľadajte bazén Spark: Z bazénov Apache Spark vyhľadajte bazén Spark, ktorý chcete presunúť do služby Fabric, a skontrolujte bazén Vlastnosti.
  3. Získanie vlastností: získajte vlastnosti fondu Spark, ako je napríklad verzia Apache Spark, skupina veľkostí uzla, veľkosť uzla alebo automatické škálovanie. Ak si chcete pozrieť akékoľvek rozdiely, pozrite si časť Dôležité informácie o fonde spark.
  4. Vytvorenie vlastného fondu Spark v službe Fabric:
    • Prejdite do pracovného priestoru služby Fabric a vyberte položku Nastavenia pracovného priestoru.
    • Prejdite na Dátový inžinier/Veda a vyberte nastavenia Spark.
    • Na karte Fond a v časti Predvolený fond pre pracovný priestor rozbaľte rozbaľovaciu ponuku a vyberte položku Vytvoriť nový fond.
    • Vytvorte si vlastný fond so zodpovedajúcimi cieľovými hodnotami. Zadajte názov, skupinu uzlov, veľkosť uzla, automatické škálovanie a dynamické možnosti prideľovania spúšťača.
  5. Vyberte verziu modulu runtime:
    • Prejdite na kartu Prostredie a vyberte požadovanú verziu modulu runtime. Pozrite si dostupné moduly runtime tu.
    • Zakážte možnosť Nastaviť predvolené prostredie.

Snímka obrazovky zobrazujúca predvolený fond.

Poznámka

V tejto možnosti nie sú podporované knižnice alebo konfigurácie na úrovni fondu. Môžete však upraviť konfiguráciu výpočtov pre jednotlivé položky, ako sú poznámkové bloky a definície úloh Spark, a pridať vnoriť knižnice. Ak potrebujete do prostredia pridať vlastné knižnice a konfigurácie, zvážte vlastné prostredie.

Možnosť 2: Od fondu Spark po vlastné prostredie

S vlastnými prostrediami môžete nastaviť vlastné vlastnosti a knižnice spark. Vytvorenie vlastného prostredia:

  1. Prístup k pracovnému priestoru Azure Synapse: Prihláste sa do služby Azure. Prejdite do pracovného priestoru služby Azure Synapse, prejdite do časti Analytics Pools a vyberte položku Fondy Apache Spark.
  2. Vyhľadajte bazén Spark: Z bazénov Apache Spark vyhľadajte bazén Spark, ktorý chcete presunúť do služby Fabric, a skontrolujte bazén Vlastnosti.
  3. Získanie vlastností: získajte vlastnosti fondu Spark, ako je napríklad verzia Apache Spark, skupina veľkostí uzla, veľkosť uzla alebo automatické škálovanie. Ak si chcete pozrieť akékoľvek rozdiely, pozrite si časť Dôležité informácie o fonde spark.
  4. Vytvorenie vlastného fondu Spark:
    • Prejdite do pracovného priestoru služby Fabric a vyberte položku Nastavenia pracovného priestoru.
    • Prejdite na Dátový inžinier/Veda a vyberte nastavenia Spark.
    • Na karte Fond a v časti Predvolený fond pre pracovný priestor rozbaľte rozbaľovaciu ponuku a vyberte položku Vytvoriť nový fond.
    • Vytvorte si vlastný fond so zodpovedajúcimi cieľovými hodnotami. Zadajte názov, skupinu uzlov, veľkosť uzla, automatické škálovanie a dynamické možnosti prideľovania spúšťača.
  5. Ak ju nemáte, vytvorte položku Prostredia .
  6. Konfigurácia výpočtu služby Spark:
    • V rámci prostredia prejdite na položku Výpočet filtra> služby Spark.
    • Vyberte novovytvorený fond pre nové prostredie.
    • Môžete nakonfigurovať jadrá a pamäte ovládačov a vykonávateľov.
  7. Vyberte verziu modulu runtime pre dané prostredie. Pozrite si dostupné moduly runtime tu.
  8. Kliknite na položky Uložiť a Publikovať zmeny.

Ďalšie informácie o vytváraní a používaní prostredia.

Snímka obrazovky zobrazujúca vlastné prostredie.