Migrácia bazénov služby Spark zo služby Azure Synapse Analytics do služby Fabric
Hoci služba Azure Synapse poskytuje bazény Spark, služba Fabric ponúka bazény Starter a vlastné bazény. Štartovací fond môže byť dobrou voľbou, ak máte jeden fond bez vlastných konfigurácií alebo knižníc v službe Azure Synapse a ak veľkosť stredného uzla spĺňa vaše požiadavky. Ak však potrebujete väčšiu flexibilitu s konfiguráciami fondu Spark, odporúčame použiť vlastné bazény. Sú tu dve možnosti:
- Možnosť 1: Presunutie fondu Spark do predvoleného fondu pracovného priestoru.
- Možnosť 2: Presunutie fondu Spark do vlastného prostredia v službe Fabric.
Ak máte viac ako jeden fond Spark a plánujete ich presunúť do toho istého pracovného priestoru služby Fabric, odporúčame použiť možnosť 2 a vytvoriť viacero vlastných prostredí a bazénov.
Informácie týkajúce sa fondu Spark nájdete v časti rozdiely medzi službami Azure Synapse Spark a Fabric.
Požiadavky
Ak ešte nemáte pracovný priestor služby Fabric, vytvorte ho vo svojom nájomníkovi.
Možnosť 1: Od fondu Spark po predvolený fond pracovného priestoru
Z pracovného priestoru služby Fabric môžete vytvoriť vlastný fond spark a použiť ho ako predvolený fond v pracovnom priestore. Predvolený fond používajú všetky poznámkové bloky a definície úloh služby Spark v tom istom pracovnom priestore.
Prechod z existujúceho fondu Spark zo služby Azure Synapse do predvoleného fondu pracovného priestoru:
- Prístup k pracovnému priestoru Azure Synapse: Prihláste sa do služby Azure. Prejdite do pracovného priestoru služby Azure Synapse, prejdite do časti Analytics Pools a vyberte položku Fondy Apache Spark.
- Vyhľadajte bazén Spark: Z bazénov Apache Spark vyhľadajte bazén Spark, ktorý chcete presunúť do služby Fabric, a skontrolujte bazén Vlastnosti.
- Získanie vlastností: získajte vlastnosti fondu Spark, ako je napríklad verzia Apache Spark, skupina veľkostí uzla, veľkosť uzla alebo automatické škálovanie. Ak si chcete pozrieť akékoľvek rozdiely, pozrite si časť Dôležité informácie o fonde spark.
-
Vytvorenie vlastného fondu Spark v službe Fabric:
- Prejdite do pracovného priestoru služby Fabric a vyberte položku Nastavenia pracovného priestoru.
- Prejdite na Dátový inžinier/Veda a vyberte nastavenia Spark.
- Na karte Fond a v časti Predvolený fond pre pracovný priestor rozbaľte rozbaľovaciu ponuku a vyberte položku Vytvoriť nový fond.
- Vytvorte si vlastný fond so zodpovedajúcimi cieľovými hodnotami. Zadajte názov, skupinu uzlov, veľkosť uzla, automatické škálovanie a dynamické možnosti prideľovania spúšťača.
-
Vyberte verziu modulu runtime:
- Prejdite na kartu Prostredie a vyberte požadovanú verziu modulu runtime. Pozrite si dostupné moduly runtime tu.
- Zakážte možnosť Nastaviť predvolené prostredie.
Poznámka
V tejto možnosti nie sú podporované knižnice alebo konfigurácie na úrovni fondu. Môžete však upraviť konfiguráciu výpočtov pre jednotlivé položky, ako sú poznámkové bloky a definície úloh Spark, a pridať vnoriť knižnice. Ak potrebujete do prostredia pridať vlastné knižnice a konfigurácie, zvážte vlastné prostredie.
Možnosť 2: Od fondu Spark po vlastné prostredie
S vlastnými prostrediami môžete nastaviť vlastné vlastnosti a knižnice spark. Vytvorenie vlastného prostredia:
- Prístup k pracovnému priestoru Azure Synapse: Prihláste sa do služby Azure. Prejdite do pracovného priestoru služby Azure Synapse, prejdite do časti Analytics Pools a vyberte položku Fondy Apache Spark.
- Vyhľadajte bazén Spark: Z bazénov Apache Spark vyhľadajte bazén Spark, ktorý chcete presunúť do služby Fabric, a skontrolujte bazén Vlastnosti.
- Získanie vlastností: získajte vlastnosti fondu Spark, ako je napríklad verzia Apache Spark, skupina veľkostí uzla, veľkosť uzla alebo automatické škálovanie. Ak si chcete pozrieť akékoľvek rozdiely, pozrite si časť Dôležité informácie o fonde spark.
-
Vytvorenie vlastného fondu Spark:
- Prejdite do pracovného priestoru služby Fabric a vyberte položku Nastavenia pracovného priestoru.
- Prejdite na Dátový inžinier/Veda a vyberte nastavenia Spark.
- Na karte Fond a v časti Predvolený fond pre pracovný priestor rozbaľte rozbaľovaciu ponuku a vyberte položku Vytvoriť nový fond.
- Vytvorte si vlastný fond so zodpovedajúcimi cieľovými hodnotami. Zadajte názov, skupinu uzlov, veľkosť uzla, automatické škálovanie a dynamické možnosti prideľovania spúšťača.
- Ak ju nemáte, vytvorte položku Prostredia .
-
Konfigurácia výpočtu služby Spark:
- V rámci prostredia prejdite na položku Výpočet filtra> služby Spark.
- Vyberte novovytvorený fond pre nové prostredie.
- Môžete nakonfigurovať jadrá a pamäte ovládačov a vykonávateľov.
- Vyberte verziu modulu runtime pre dané prostredie. Pozrite si dostupné moduly runtime tu.
- Kliknite na položky Uložiť a Publikovať zmeny.
Ďalšie informácie o vytváraní a používaní prostredia.