Zdieľať cez

Fabric Runtime 1.1 (EOSA)

  • Článok

Microsoft Fabric Runtime je integrovaná platforma založená na Apache Spark, ktorá umožňuje realizáciu a riadenie prostredia Dátový inžinier a dátovej vedy v službe Fabric. Tento dokument sa venuje komponentom a verziám modulu Runtime 1.1 služby Fabric.

Upozornenie

Dátum ukončenia podpory pre modul Runtime 1.1 bol oznámený ako 12. júla 2024. Runtime 1.1, založené na Apache Spark 3.3, bude od 31. marca 2025 zastarané a zakázané. Inovujte pracovný priestor a prostredia na runtime 1.2 alebo Runtime 1.3. Úplný životný cyklus a politiky podpory modulu runtime služby Apache Spark v službe Fabric nájdete v téme Životný cyklus modulov runtime služby Apache Spark v službe Fabric.

Microsoft Fabric Runtime 1.1 je jedným z modulov runtime ponúkaných v rámci platformy Microsoft Fabric. Hlavné súčasti modulu runtime 1.1 sú:

  • Apache Spark 3.3
  • Operačný systém: Ubuntu 18.04
  • Java: 1.8.0_282
  • Scala: 2.12.15
  • Python: 3.10
  • Delta Lake: 2.2
  • R: 4.2.2

Prepitné

Vždy používajte najnovšiu verziu režimu runtime ga pre produkčné vyťaženie, ktorá je v súčasnosti runtime 1.3.

Microsoft Fabric Runtime 1.1 prichádza s kolekciou balíkov predvolenej úrovne vrátane úplnej inštalácie Anaconda a bežne používaných knižníc pre jazyky Java/Scala, Python a R. Tieto knižnice sú automaticky zahrnuté do poznámkových blokov alebo úloh na platforme Microsoft Fabric. Úplný zoznam knižníc nájdete v dokumentácii.

Microsoft Fabric pravidelne vydáva aktualizácie údržby pre modul Runtime 1.1, poskytuje opravy chýb, vylepšenia výkonu a opravy zabezpečenia. Zabezpečenie toho, aby ste boli vďaka týmto aktualizáciám stále aktuálny, zaručuje optimálny výkon a spoľahlivosť pre úlohy spracovania údajov. Ak aktuálne používate modul Runtime 1.1, môžete prejsť na nastavenia > pracovného priestoru Dátový inžinier /Science > Spark Settings > Environment na verziu Runtime 1.2 alebo na verziu Runtime 1.2.

Snímka obrazovky znázorňujúca, kde vybrať verziu modulu runtime.

Nové funkcie a vylepšenia – Apache Spark 3.3.1

Prečítajte si celú verziu poznámok k vydaniu konkrétnej verzie Apache Spark navštívením Spark 3.3.0 a Spark 3.3.1.

Nové funkcie a vylepšenia – Delta Lake 2.2

Pozrite si zdrojové a úplné poznámky k vydaniu v Delta Lake 2.2.0.

Balíky predvolenej úrovne pre jazyk Java/Scala

Zoznam všetkých balíkov predvolenej úrovne pre jazyk Java, Scala, Python a ich príslušné verzie nájdete v poznámkach k vydaniu.

Migrácia medzi rôznymi verziami služby Apache Spark

Migrácia vyťažení do služby Fabric Runtime 1.1 (Apache Spark 3.3) zo staršej verzie Apache Spark zahŕňa sériu krokov na zabezpečenie plynulej migrácie. Táto príručka opisuje potrebné kroky, ktoré vám pomôžu migrovať efektívne a efektívne.

  1. Pozrite si poznámky k vydaniu služby Fabric Runtime 1.1 vrátane kontroly súčastí a balíkov predvolenej úrovne zahrnutých do modulu runtime, aby ste porozumeli novým funkciám a vylepšeniam.

  2. Skontrolujte kompatibilitu aktuálneho nastavenia a všetkých súvisiacich knižníc vrátane závislostí a integrácií. Prečítajte si príručky migrácie a identifikujte potenciálne prelomové zmeny:

    • Prečítajte si príručku migrácie do služby Spark Core.
    • Prečítajte si príručku migrácie sql, množín údajov a údajového rámca.
    • Ak sa vaše riešenie týka streamovania štruktúry Apache Spark, pozrite si sprievodcu migráciou štruktúrovaného streamovania.
    • Ak používate PySpark, pozrite si sprievodcu migráciou do lokality Pyspark.
    • Ak migrujete kód z Koalas do PySparku, pozrite si sprievodcu migráciou zo služby Koalas na rozhranie API služby Spark.

  3. Premiestnenie vyťažení do služby Fabric a zabezpečenie záloh údajov a konfiguračných súborov v prípade, že je potrebné vrátiť sa na predchádzajúcu verziu.

  4. Aktualizujte všetky závislosti, ktoré sa môžu týkať novej verzie Apache Spark alebo iných súvisiacich súčastí runtime 1.1 služby Fabric, vrátane knižníc alebo konektorov tretích strán. Pred nasadením do produkcie nezabudnite otestovať aktualizované závislosti v prostredí pracovnej verzie.

  5. Aktualizujte konfiguráciu Apache Spark pri vyťažení vrátane aktualizácie nastavení konfigurácie, úpravy vyhradenia pamäte a úpravy všetkých zastaraných konfigurácií.

  6. Upravte svoje aplikácie Apache Spark (notebooky a definície úloh Apache Spark) tak, aby používali nové rozhrania API a funkcie predstavené v službách Fabric Runtime 1.1 a Apache Spark 3.3. Možno budete musieť aktualizovať svoj kód tak, aby vyhovoval akýmkoľvek zastaraným alebo odstráneným rozhraniam API a refaktorovať aplikácie, aby ste mohli využiť vylepšenia výkonu a nové funkcie.

  7. Dôkladne otestujte svoje aktualizované aplikácie v prostredí pracovnej verzie, aby ste zaistili kompatibilitu a stabilitu so službou Apache Spark 3.3. Vykonávajte testovanie výkonu, funkčné testovanie a regresné testovanie na identifikáciu a riešenie problémov, ktoré sa môžu vyskytnúť počas procesu migrácie.

  8. Po overení aplikácií v prostredí pracovnej verzie nasaďte aktualizované aplikácie do produkčného prostredia. Monitorujte výkon a stabilitu aplikácií po migrácii, aby ste identifikovali všetky problémy, ktoré je potrebné riešiť.

  9. Aktualizujte internú dokumentáciu a školiace materiály tak, aby odrážali zmeny vykonané v aplikácii Fabric Runtime 1.1. Uistite sa, že vaši členovia tímu sú oboznámení s novými funkciami a vylepšeniami, aby maximalizovali výhody migrácie.

Súvisiaci obsah