A Fabric adatmérnök újdonságai és tervezett tervei a Microsoft Fabricben
Fontos
A kiadási csomagok olyan funkciókat írnak le, amelyek esetleg még nem jelentek meg. A szállítási ütemtervek és az előre jelzett funkciók változhatnak vagy nem szállíthatók. További információért tekintse meg a Microsoft szabályzatát .
A háló adatmérnök lehetővé teszi az adatmérnökök számára, hogy nagy léptékben alakíthassák át adataikat a Spark használatával, és felépíthessék a lakehouse-architektúrájukat.
Lakehouse az összes szervezeti adathoz: A lakehouse egyetlen felületen egyesíti a data lake és az adattárház legjobb előnyeit. Lehetővé teszi a felhasználók számára a szervezeti adatok betöltését, előkészítését és megosztását nyílt formátumban a tóban. Később több motoron, például a Sparkon, a T-SQL-en és a Power BI-on keresztül is elérheti. Különböző adatintegrációs lehetőségeket biztosít, például adatfolyamokat és folyamatokat, külső adatforrásokra mutató parancsikonokat és adattermék-megosztási képességeket.
Performant Spark engine &runtime: A Fabric Data engineering optimalizált Spark-futtatókörnyezetet biztosít az ügyfeleknek a Spark, a Delta és a Python legújabb verzióival. A Delta Lake-t használja az összes motor közös táblázatformátumaként, így egyszerű adatmegosztást és jelentéskészítést tesz lehetővé adatáthelyezés nélkül. A futtatókörnyezet Spark-optimalizálásokkal rendelkezik, és konfigurációk nélkül javítja a lekérdezés teljesítményét. Emellett kezdőkészleteket és magas egyidejűségi módot is kínál a Spark-munkamenetek felgyorsításához és újrafelhasználásához, így időt és költséget takaríthat meg.
Spark Admin > konfigurációk: A megfelelő engedélyekkel rendelkező munkaterület-rendszergazdák egyéni készleteket hozhatnak létre és konfigurálhatnak a Spark-számítási feladatok teljesítményének és költségeinek optimalizálásához. A létrehozók konfigurálhatnak környezeteket kódtárak telepítéséhez, a futtatókörnyezet verziójának kiválasztásához, valamint a Spark-tulajdonságok beállításához a jegyzetfüzeteikhez és a Spark-feladatokhoz.
Fejlesztői élmény: A fejlesztők jegyzetfüzeteket, Spark-feladatokat vagy azok előnyben részesített IDE-jét használhatják a Spark-kód létrehozásához és végrehajtásához a Fabricben. Natív módon hozzáférhetnek a lakehouse-adatokhoz, együttműködhetnek másokkal, kódtárakat telepíthetnek, nyomon követhetik az előzményeket, elvégezhetik a helyszíni monitorozást, és javaslatokat kaphatnak a Spark-tanácsadótól. A Data Wrangler használatával is könnyedén készíthetnek elő adatokat alacsony kódú felhasználói felülettel.
Platformintegráció: Minden Fabric-adatmérnöki elem, beleértve a jegyzetfüzeteket, a Spark-feladatokat, a környezeteket és a lakehouse-t, mélyen integrálva van a Fabric-platformba (vállalati információkezelési képességek, termékcsalád, bizalmassági címkék és bejegyzések).
Beruházási területek
Python-jegyzetfüzet
Becsült kiadási idővonal: 2024 negyedik negyedéve
Kiadás típusa: Nyilvános előzetes verzió
A hálójegyzetfüzetek támogatják a tiszta Python-élményt. Ez az új megoldás olyan BI-fejlesztőket és adattudós céloz meg, aki kisebb (akár néhány GB-os) adathalmazokkal dolgozik, és elsődleges nyelvként a Pandast és a Pythont használja. Ezzel az új felülettel kihasználhatják az natív Python-nyelvet és annak natív funkcióit és kódtárait, átválthatnak egy Python-verzióról egy másikra (kezdetben két verzió támogatott lesz), és végül egy kisebb 2VCore-géppel jobb erőforrás-kihasználtságot élvezhetnek.
ArcGIS GeoAnalytics for Microsoft Fabric Spark
Becsült kiadási idővonal: 2024 negyedik negyedéve
Kiadás típusa: Nyilvános előzetes verzió
A Microsoft és az Esri együttműködött a térbeli elemzések Microsoft Fabricbe való beterjesztésében. Ez az együttműködés egy új könyvtárat, az ArcGIS GeoAnalytics for Microsoft Fabricet mutatja be, amely lehetővé teszi a térbeli elemzések széles halmazát közvetlenül a Microsoft Fabric Spark-jegyzetfüzetekben és a Spark-feladatok definícióiban (adatmérnök és Adattudomány szolgáltatásokban/ számítási feladatokban).
Ez az integrált termékélmény lehetővé teszi a Spark-fejlesztőknek vagy adattudósoknak, hogy natív módon használják az Esri-képességeket az ArcGIS GeoAnalytics függvényeinek és eszközeinek futtatására a Fabric Sparkban térbeli átalakításhoz, bővítéshez és adatok – akár big data - mintájához/ trendelemzéséhez anélkül, hogy külön telepítésre és konfigurációra van szükség.
Kódtárak telepítése az ADLS Gen2 Storage-fiókból
Becsült kiadási idővonal: 2024 negyedik negyedéve
Kiadás típusa: Nyilvános előzetes verzió
Új forrás támogatása a felhasználók számára a kódtárak telepítéséhez. A tárfiókjukban üzemeltetett egyéni conda/PyPI-csatorna létrehozásával a felhasználók a tárfiókjukból telepíthetik a tárakat a Fabric-környezetekben.
Jegyzetfüzet élő verziószámozása
Becsült kiadási idővonal: 2025. első negyedév
Kiadás típusa: Nyilvános előzetes verzió
Az élő verziószámozással a Fabric Notebook fejlesztői nyomon követhetik a jegyzetfüzeteik módosításainak előzményeit, összehasonlíthatják a különböző veronikákat, és szükség esetén visszaállíthatják a korábbi verziókat.
VSCode Satellite Extension for User Data Functions in Fabric
Becsült kiadási idővonal: 2025. első negyedév
Kiadás típusa: Nyilvános előzetes verzió
A User Data Functions VSCode Műholdas bővítménye fejlesztői támogatást (szerkesztést, építést, hibakeresést, közzétételt) biztosít a User Data Functions számára a Fabricben.
Felhasználói adatfüggvények a Hálóban
Becsült kiadási idővonal: 2025. első negyedév
Kiadás típusa: Nyilvános előzetes verzió
A User Data Functions hatékony mechanizmust biztosít az egyéni, specializált üzleti logika Fabric-adatelemzési és adatmérnöki munkafolyamatokba való implementálására és újrafelhasználására, növelve a hatékonyságot és a rugalmasságot.
Nyilvános monitorozási API-k
Becsült kiadási idővonal: 2025. első negyedév
Kiadás típusa: Nyilvános előzetes verzió
A Fabric Spark nyilvános monitorozási API-jának célja, hogy közzétehesse a Spark monitorozási API-jait, lehetővé téve a felhasználók számára a Spark-feladatok előrehaladásának figyelését, a végrehajtási feladatok megtekintését és a naplók programozott elérését. Ez a funkció a nyilvános API-szabványokhoz igazodik, és zökkenőmentes monitorozási élményt nyújt a Spark-alkalmazások számára.
Lakehouse-parancsikonok metaadatai git- és üzembehelyezési folyamatokon
Becsült kiadási idővonal: 2025. első negyedév
Kiadás típusa: Nyilvános előzetes verzió
Az alkalmazás életciklus-kezelésének lenyűgöző történetének biztosításához elengedhetetlen az objektum metaadatainak nyomon követése a Gitben és az üzembe helyezési folyamatok támogatása. A adatmérnök modulokban a munkaterületek a Gitbe integrálva vannak.
Ebben az első iterációban a OneLake-parancsikonok automatikusan üzembe lesznek helyezve a folyamatszakaszokban és a munkaterületeken. A billentyűparancs-kapcsolatok több fázisban újraleképezhetők egy változó kódtár nevű új Microsoft Fabric-elem használatával, biztosítva a megfelelő elkülönítést és a környezet szegmentálását az ügyfelek számára.
A Delta Lake fejlesztései a Spark-élményekben
Becsült kiadási idővonal: 2025. első negyedév
Kiadás típusa: Általános rendelkezésre állás
A Microsoft Fabric Delta Lake-szabványai szempontjából rendkívül fontos a megfelelő alapértelmezett beállítások és a legújabb szabványoknak való megfelelés. Az INT64 lesz az összes időbélyeg-érték új alapértelmezett kódolási típusa. Ez eltávolodik az INT96 kódolásoktól, amelyeket az Apache Parquet évekkel ezelőtt elavult. A módosítások nem befolyásolják az olvasási képességeket, alapértelmezés szerint transzparensek és kompatibilisek, de biztosítják, hogy a Delta Lake-táblában lévő összes új parquet-fájl hatékonyabb és időtállóbb módon legyen megírva.
Az OPTIMIZE parancs gyorsabb implementációját is kiadjuk, így kihagyja a már V-megrendelt fájlokat.
A folyamatban lévő jegyzetfüzet-feladatok pillanatképeinek támogatása
Becsült kiadási idővonal: 2025. első negyedév
Kiadás típusa: Nyilvános előzetes verzió
Ez a funkció lehetővé teszi a felhasználók számára a jegyzetfüzet pillanatképének megtekintését, miközben még fut, ami elengedhetetlen az előrehaladás monitorozásához és a teljesítményproblémák elhárításához. A felhasználók megtekinthetik az eredeti forráskódot, a bemeneti paramétereket és a cellakimeneteket a Spark-feladat jobb megértéséhez, és nyomon követhetik a Spark végrehajtási folyamatát a cella szintjén. A felhasználók a kész cellák kimenetét is áttekinthetik a Spark-alkalmazás pontosságának ellenőrzéséhez és a fennmaradó munka becsléséhez. Emellett megjelennek a már végrehajtott cellák hibái vagy kivételei is, így a felhasználók hamarabb azonosíthatják és megoldhatják a problémákat.
RLS/CLS-támogatás a Sparkhoz és a Lakehouse-hoz
Becsült kiadási idővonal: 2025. első negyedév
Kiadás típusa: Nyilvános előzetes verzió
A funkció lehetővé teszi a felhasználók számára, hogy biztonsági szabályzatokat alkalmazzanak az adathozzáféréshez a Spark-motoron belül. A felhasználók objektum-, sor- vagy oszlopszintű biztonságot határozhatnak meg, biztosítva, hogy az adatok a Fabric Sparkon keresztüli hozzáféréskor a házirendek által meghatározottak szerint legyenek biztosítva, és igazodjanak a Microsoft Fabricen keresztül engedélyezett OneSecurity kezdeményezéshez.
Spark Connector for Fabric Data Warehouse – Általános rendelkezésre állás
Becsült kiadási idővonal: 2025. első negyedév
Kiadás típusa: Általános rendelkezésre állás
A Microsoft Fabric Data Warehouse Spark-összekötője lehetővé teszi a Spark-fejlesztők és adatelemzők számára, hogy hozzáférjenek egy raktárból és egy tóház SQL Analytics-végpontjából származó adatokhoz és azokkal dolgozzanak. Egyszerűsített Spark API-t kínál, absztrakciókat biztosít a mögöttes összetettséghez, és egyetlen kódsor használatával működik, miközben olyan biztonsági modelleket tart fenn, mint az objektumszintű biztonság (OLS), a sorszintű biztonság (RLS) és az oszlopszintű biztonság (CLS).
Kiszállított szolgáltatás(ok)
Táblák és mappák rendezése és szűrése a Lakehouse-ban
Kiszállított (2024. negyedik negyedév)
Kiadás típusa: Általános rendelkezésre állás
Ez a funkció lehetővé teszi az ügyfelek számára, hogy több különböző módszerrel rendezzék és szűrjék a Lakehouse-ban lévő táblázataikat és mappáikat, beleértve az ábécérendet, a létrehozott dátumot és egyebeket.
Jegyzetfüzetek egy alkalmazásban
Kiszállított (2024. negyedik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A szervezeti alkalmazások új elemként érhetők el a Fabricben, és a Power BI-jelentések és irányítópultok mellett jegyzetfüzeteket is felvehet a Fabric-alkalmazásokba, és terjesztheti őket az üzleti felhasználók számára. Az alkalmazásfelhasználók alternatív jelentéskészítési és adatfeltárási mechanizmusként használhatják a jegyzetfüzetben található widgeteket és vizualizációkat. Így gazdag és magával ragadó történeteket hozhat létre és oszthat meg adataival.
VSCode Core-bővítmény a Fabrichez
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Fabric alapvető VSCode-bővítménye általános fejlesztői támogatást nyújt a Fabric-szolgáltatásokhoz.
T-SQL-jegyzetfüzet
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A hálójegyzetfüzetek támogatják a T-SQL nyelvet az adatok adattárházon való felhasználásához. Ha hozzáad egy adattárház- vagy SQL Analytics-végpontot egy jegyzetfüzethez, a T-SQL-fejlesztők közvetlenül a csatlakoztatott végponton futtathatnak lekérdezéseket. A BI-elemzők adatbázisközi lekérdezéseket is végrehajthatnak, hogy több raktárból és SQL Analytics-végpontból származó megállapításokat gyűjtsenek. A T-SQL Notebookok nagyszerű szerzői alternatívát kínálnak az SQL-felhasználók meglévő eszközei helyett, és olyan natív Fabric-funkciókat tartalmaznak, mint a megosztás, a GIT-integráció és az együttműködés.
VS Code for the Web – hibakeresési támogatás
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Visual Studio Code for the Web jelenleg támogatott az előzetes verzióban a létrehozási és végrehajtási forgatókönyvekben. Hozzáadjuk azoknak a képességeknek a listáját, amellyel a jegyzetfüzethez használt bővítmény használatával hibakeresést végezhet a kódban.
Magas egyidejűség folyamatokban
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Általános rendelkezésre állás
A jegyzetfüzetekben a magas egyidejűség mellett a folyamatokban is engedélyezzük a magas egyidejűséget. Ez a funkció lehetővé teszi több jegyzetfüzet futtatását egy folyamaton belül egyetlen munkamenettel.
Sématámogatás és munkaterület a Lakehouse névterében
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Ez lehetővé teszi a táblák rendszerezését sémák és adatok lekérdezése a munkaterületeken.
Spark natív végrehajtási motor
Kiszállított (2024. második negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A natív végrehajtási motor a Microsoft Fabricben futó Apache Spark-feladatok végrehajtásának úttörő fejlesztése. Ez a vektorizált motor úgy optimalizálja a Spark-lekérdezések teljesítményét és hatékonyságát, hogy közvetlenül a lakehouse-infrastruktúrán futtatja őket. A motor zökkenőmentes integrációja azt jelenti, hogy nincs szükség kódmódosításra, és elkerüli a szállítók zárolását. Támogatja az Apache Spark API-kat, és kompatibilis a Runtime 1.2-vel (Spark 3.4), és parquet és Delta formátumokkal is működik. Függetlenül attól, hogy az adatok hol találhatók a OneLake-ben, vagy ha parancsikonokkal fér hozzá az adatokhoz, a natív végrehajtási motor maximalizálja a hatékonyságot és a teljesítményt
Spark Connector for Fabric Data Warehouse
Kiszállított (2024. második negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Spark Connector for Fabric DW (Data Warehouse) lehetővé teszi egy Spark-fejlesztő vagy adatelemző számára, hogy a Fabric Data Warehouse-ból származó adatokat egy egyszerűsített Spark API-val érje el és dolgozzon rajta, amely szó szerint csak egy kódsort használ. Lehetővé teszi az adatok lekérdezését párhuzamosan a Fabric-adattárházból, hogy az nagyobb adatmennyiséggel skálázható legyen, és az adattárház szintjén definiált biztonsági modellt (OLS/RLS/CLS) tiszteletben tarthassa a tábla vagy nézet elérésekor. Ez az első kiadás csak az adatok olvasását támogatja, és hamarosan megjelenik az adatok visszaírásának támogatása.
Microsoft Fabric API a GraphQL-hez
Kiszállított (2024. második negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A GraphQL API lehetővé teszi a Fabric adatmérnökeinek, tudósainak és adatmegoldás-tervezőinek, hogy könnyedén elérhetővé tegyék és integrálják a Fabric-adatokat a rugalmasabb, hatékonyabb és gazdagabb elemzési alkalmazásokhoz, kihasználva a GraphQL hatékonyságát és rugalmasságát.
Környezetek létrehozása és csatolása
Kiszállított (2024. második negyedév)
Kiadás típusa: Általános rendelkezésre állás
Ha részletesebben szeretné testre szabni a Spark-szolgáltatásokat, környezeteket hozhat létre és csatolhat a jegyzetfüzetekhez és a Spark-feladatokhoz. Egy környezetben telepíthet kódtárakat, konfigurálhat egy új készletet, beállíthat Spark-tulajdonságokat, és szkripteket tölthet fel egy fájlrendszerbe. Ez nagyobb rugalmasságot és vezérlést biztosít a Spark-számítási feladatok felett anélkül, hogy befolyásolná a munkaterület alapértelmezett beállításait. A ga részeként különböző fejlesztéseket hajtunk végre a környezetekben, beleértve az API-támogatást és a CI/CD-integrációt.
Jegyzetfüzet-feladatok feladatsorolása
Kiszállított (2024. második negyedév)
Kiadás típusa: Általános rendelkezésre állás
Ez a funkció lehetővé teszi az ütemezett Spark-jegyzetfüzetek várólistára helyezését, ha a Spark-használat a maximális számú feladatnál van, amelyet párhuzamosan hajthat végre, majd végrehajthatja, ha a használat visszaesett a párhuzamos feladatok megengedett maximális száma alá.
Optimista feladatbeléptetés a Fabric Sparkhoz
Kiszállított (2024. második negyedév)
Kiadás típusa: Általános rendelkezésre állás
Az optimista feladatbeléptetéssel a Fabric Spark csak a feladat indításához szükséges magok minimális számát foglalja le azon csomópontok minimális száma alapján, amelyekre a feladat leskálázható. Ez lehetővé teszi több feladat felvételét, ha elegendő erőforrás áll rendelkezésre a minimális követelmények teljesítéséhez. Ha egy feladatnak később fel kell skáláznia, a rendszer jóváhagyja vagy elutasítja a vertikális felskálázási kérelmeket a kapacitásban elérhető magok alapján.
Spark autotune
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Az Autotune gépi tanulás használatával automatikusan elemzi a Spark-feladatok korábbi futásait, és a konfigurációkat a teljesítmény optimalizálásához hangolja. Konfigurálja az adatok particionálásának, csatlakoztatásának és a Spark általi olvasásának módját. Így jelentősen javítja a teljesítményt. Láttuk, hogy az ügyfélfeladatok 2x gyorsabban futnak ezzel a képességgel.