Megosztás a következőn keresztül:

Változástáblák kezelése a Hálóban táblakarbantartási funkcióval

  • Cikk

A Microsoft Fabric Lakehouse szolgáltatása biztosítja a táblakarbantartási funkciót a deltatáblák hatékony kezeléséhez és az elemzéshez való folyamatos felkészüléshez. Ez az útmutató a Lakehouse táblakarbantartási funkcióját és képességeit ismerteti.

A lakehouse táblakarbantartási funkció főbb képességei:

  • Eseti táblakarbantartást végezhet a Lakehouse Explorerben található deltatáblák helyi jobb kattintási műveleteivel.
  • Bin-compaction, V-Order és unreferens régi fájlok törlése.

Feljegyzés

A speciális karbantartási feladatok, például több táblakarbantartási parancs csoportosítása, ütemezés alapján történő vezénylése esetén javasolt a kódközpontú megközelítés. További információ: Delta Lake table optimization and V-Order article. A Lakehouse API használatával is automatizálható a táblakarbantartási műveletek. További információt a Lakehouse kezelése a Microsoft Fabric REST API-val című témakörben talál.

Támogatott fájltípusok

A Lakehouse-tábla karbantartása csak a Delta Lake-táblákra vonatkozik. A PARQUET, ORC, AVRO, CSV és egyéb formátumokat használó régi Hive-táblák nem támogatottak.

Táblakarbantartási műveletek

A táblakarbantartási funkció három műveletet kínál.

  • Optimalizálás: Több kis Parquet-fájlt összesít nagy fájlba. A Big Data feldolgozó motorjai és az összes Fabric-motor nagyobb fájlméretet élveznek. Ha a fájlok mérete meghaladja a 128 MB-ot, és optimálisan közel 1 GB-hoz, javítja a tömörítést és az adatok elosztását a fürtcsomópontok között. Ez csökkenti számos kis fájl vizsgálatának szükségességét a hatékony olvasási műveletek érdekében. Általános ajánlott eljárás az optimalizálási stratégiák futtatása nagy táblák betöltése után.
  • V-Order: Optimalizált rendezést, kódolást és tömörítést alkalmaz a Delta parquet-fájlokra, hogy az összes Fabric-motoron gyors olvasási műveleteket lehessen végezni. A V-Order az optimalizálási parancs során történik, és a felhasználói felületen a parancscsoport egyik lehetőségeként jelenik meg. A V-Order szolgáltatásról további információt a Delta Lake-táblaoptimalizálás és a V-Order című témakörben talál.
  • Vákuum: Eltávolítja a Delta-táblanapló által már nem hivatkozott régi fájlokat. A fájloknak régebbinek kell lenniük a megőrzési küszöbértéknél, és az alapértelmezett fájlmegőrzési küszöbérték hét nap. A OneLake összes deltatáblája ugyanazzal a megőrzési idővel rendelkezik. A fájlmegőrzési időszak a használt Fabric számítási motortól függetlenül azonos. Ez a karbantartás fontos a tárolási költségek optimalizálásához. A rövidebb megőrzési idő beállítása hatással van a Delta időutazási képességeire. Általánosan ajánlott legalább hét napra beállítani a megőrzési időtartamot, mert a régi pillanatképeket és a nem véglegesített fájlokat továbbra is használhatják az egyidejű táblázatolvasók és -írók. Ha az aktív fájlokat a VACUUM paranccsal távolítja el, az olvasóhibákhoz vagy akár a táblák sérüléséhez is vezethet.

Eseti táblakarbantartás végrehajtása Delta-táblán a Lakehouse használatával

A funkció használata:

  1. A Microsoft Fabric-fiókjában keresse meg a kívánt Lakehouse-t.

  2. A Lakehouse Explorer Táblák szakaszában kattintson a jobb gombbal a táblára, vagy használja a három pontot a helyi menü eléréséhez.

  3. Válassza a Karbantartás menübejegyzést.

  4. Ellenőrizze a karbantartási beállításokat a párbeszédpanelen igény szerint. További információkért tekintse meg a cikk Táblázatkarbantartási műveletek szakaszát.

  5. Válassza a Futtatás most lehetőséget a táblakarbantartási feladat végrehajtásához.

  6. Kövesse nyomon a karbantartási feladatok végrehajtását az értesítések panelen vagy a Monitorozási központban.

    Képernyőkép a táblázatba való betöltés párbeszédpanelről kitöltött táblanévvel.

Hogyan működik a táblakarbantartás?

A Futtatás most lehetőség kiválasztása után a rendszer elküld egy Spark-karbantartási feladatot a végrehajtáshoz.

  1. A Spark-feladat a felhasználói identitással és a táblajogokkal lesz elküldve.
  2. A Spark-feladat a feladatot beküldő munkaterület/felhasználó hálókapacitását használja.
  3. Ha egy táblán egy másik karbantartási feladat fut, a rendszer elutasít egy újat.
  4. A különböző táblákban lévő feladatok párhuzamosan is végrehajthatók.
  5. A táblakarbantartási feladatok egyszerűen nyomon követhetők a Monitorozási központban. Keresse meg a "TableMaintenance" szöveget a tevékenységnév oszlopban a monitorozási központ főoldalán.

Kapcsolódó tartalom