Fabric Runtime 1.1 (EOSA)
A Microsoft Fabric Runtime egy Apache Sparkon alapuló Azure-beli integrált platform, amely lehetővé teszi a Fabric adatmérnök és Adattudomány élményének végrehajtását és kezelését. Ez a dokumentum a Fabric Runtime 1.1 összetevőit és verzióit ismerteti.
Figyelmeztetés
A Runtime 1.1 támogatási dátumát 2024. július 12-én jelentették be. Az Apache Spark 3.3-as verzióján alapuló Runtime 1.1 2025. március 31-étől elavult és le lesz tiltva. Frissítse a munkaterületet és a környezeteket Runtime 1.2 vagy Runtime 1.3 verzióra. Az Apache Spark-futtatókörnyezetek teljes életciklusáról és támogatási szabályzatáról a Fabricben található Apache Spark-futtatókörnyezetek életciklusáról tájékozódhat.
A Microsoft Fabric Runtime 1.1 a Microsoft Fabric platformon elérhető egyik futtatókörnyezet. A Runtime 1.1 fő összetevői a következők:
- Apache Spark 3.3
- Operációs rendszer: Ubuntu 18.04
- Java: 1.8.0_282
- Scala: 2.12.15
- Python: 3.10
- Delta Lake: 2.2
- R: 4.2.2
Tipp.
Az éles számítási feladathoz mindig a legújabb, GA futtatókörnyezeti verziót használja, amely jelenleg a Runtime 1.3.
A Microsoft Fabric Runtime 1.1 alapértelmezett szintű csomagokat tartalmaz, beleértve a teljes Anaconda-telepítést és a Java/Scala, a Python és az R gyakran használt kódtárait. Ezek a kódtárak automatikusan bekerülnek a Microsoft Fabric platform jegyzetfüzeteibe vagy feladataiba. A kódtárak teljes listáját a dokumentációban találja.
A Microsoft Fabric rendszeresen kiadja a Runtime 1.1 karbantartási frissítéseit, és hibajavításokat, teljesítményjavításokat és biztonsági javításokat biztosít. Annak biztosítása, hogy naprakész maradjon ezekkel a frissítésekkel, optimális teljesítményt és megbízhatóságot biztosít az adatfeldolgozási feladatokhoz. Ha jelenleg a Runtime 1.1-et használja, frissíthet a Runtime 1.3-ra vagy a Runtime 1.2-re a Munkaterület beállításai > adatmérnök/Science > Spark-beállítások > környezetében való navigálással.
Új funkciók és fejlesztések – Apache Spark 3.3.1
A Spark 3.3.0 és a Spark 3.3.1 kiadási megjegyzéseinek teljes verzióját a Spark 3.3.0-s és a Spark 3.3.1-es verziójának felkeresésével olvashatja el.
Új funkciók és fejlesztések – Delta Lake 2.2
Tekintse meg a forrást és a teljes kibocsátási megjegyzést a Delta Lake 2.2.0-s verziójában.
A Java/Scala alapértelmezett szintű csomagjai
A Java, a Scala, a Python és a hozzájuk tartozó verziók alapértelmezett szintű csomagjainak listáját a kibocsátási megjegyzésekben találja.
Migrálás különböző Apache Spark-verziók között
A számítási feladatok Fabric Runtime 1.1-re (Apache Spark 3.3) való migrálása az Apache Spark régebbi verziójából több lépésből áll, hogy zökkenőmentes migrálást biztosítson. Ez az útmutató ismerteti a hatékony és hatékony migráláshoz szükséges lépéseket.
Tekintse át a Fabric Runtime 1.1 kibocsátási megjegyzéseit, beleértve a futtatókörnyezetben található összetevők és alapértelmezett szintű csomagok ellenőrzését az új funkciók és fejlesztések megismeréséhez.
Ellenőrizze az aktuális beállítás és az összes kapcsolódó kódtár kompatibilitását, beleértve a függőségeket és az integrációkat is. Tekintse át a migrálási útmutatókat a lehetséges kompatibilitástörő változások azonosításához:
- Tekintse át a Spark Core migrálási útmutatóját.
- Tekintse át az SQL, az Adathalmazok és a DataFrame migrálási útmutatót.
- Ha a megoldás apache Spark Structure Streaming-hez kapcsolódik, tekintse át a strukturált streamelési migrálási útmutatót.
- Ha PySparkot használ, tekintse át a Pyspark migrálási útmutatót.
- Ha kódot migrál Koalasból a PySparkba, tekintse át a Koalákat a Pandas API-ba a Spark migrálási útmutatójában.
Helyezze át a számítási feladatokat a Fabricbe, és győződjön meg arról, hogy rendelkezik biztonsági másolatokkal az adatokról és a konfigurációs fájlokról, ha vissza kell térnie az előző verzióra.
Frissítsen minden olyan függőséget, amelyet az Apache Spark vagy más Fabric Runtime 1.1-hez kapcsolódó összetevők érinthetnek, beleértve a külső kódtárakat vagy összekötőket is. Az éles környezetben való üzembe helyezés előtt mindenképpen tesztelje a frissített függőségeket egy átmeneti környezetben.
Frissítse a számítási feladat Apache Spark-konfigurációját, beleértve a konfigurációs beállítások frissítését, a memóriafoglalások módosítását és az elavult konfigurációk módosítását.
Módosítsa Apache Spark-alkalmazásait (jegyzetfüzeteit és Apache Spark-feladatdefinícióit) a Fabric Runtime 1.1-ben és az Apache Spark 3.3-ban bevezetett új API-k és funkciók használatára. Előfordulhat, hogy frissítenie kell a kódot, hogy megfeleljen az elavult vagy eltávolított API-knak, és újra kell bontania az alkalmazásokat a teljesítménybeli fejlesztések és az új funkciók előnyeinek kihasználásához.
Az Apache Spark 3.3 kompatibilitásának és stabilitásának biztosítása érdekében alaposan tesztelje a frissített alkalmazásokat átmeneti környezetben. Teljesítménytesztelés, funkcionális tesztelés és regressziós tesztelés végrehajtása az áttelepítési folyamat során felmerülő problémák azonosításához és megoldásához.
Miután az alkalmazásokat átmeneti környezetben ellenőrizte, telepítse a frissített alkalmazásokat az éles környezetben. Monitorozza az alkalmazások teljesítményét és stabilitását a migrálás után, hogy azonosítsa a megoldandó problémákat.
Frissítse a belső dokumentációt és a betanítási anyagokat a Fabric Runtime 1.1-ben bevezetett változásoknak megfelelően. A migrálás előnyeinek maximalizálása érdekében győződjön meg arról, hogy a csapattagok ismerik az új funkciókat és fejlesztéseket.