Lakehouse konfigurálása egy másolási művelet során

Ez a cikk bemutatja, hogyan használhatja a másolási műveletet egy adattovábbítási folyamatban az adatok másolására a Fabric Lakehouse-ból és a Fabric Lakehouse-ba. Alapértelmezés szerint az adatok a Lakehouse Table in V-Order fájlba vannak írva, és további információért lépjen a Delta Lake-táblaoptimalizálásra és a V-Orderre .

Támogatott formátum

A Lakehouse a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

• Avro formátum
• Bináris formátum
• Tagolt szövegformátum
• Excel-formátum
• JSON formátum
• ORC formátum
• Parquet formátum
• XML-formátum

Támogatott konfiguráció

A másolási tevékenység alatt lévő lapok konfigurációjához tekintse meg a következő szakaszokat.

• Általános
• Forrás
• Cél
• Térképezés
• Beállítások

Általános

Az Általános lap konfigurációjához lépjen az Általános lapra.

Forrás

A Lakehouse a másolási tevékenység Forrás lapján az alábbi tulajdonságokat támogatja.

A következő tulajdonságok szükségesek:

• Kapcsolat: Válasszon egy Lakehouse-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új Lakehouse-kapcsolatot a kapcsolatlista alján található Egyebek gombra kattintva. Ha dinamikus tartalom használatával adja meg a Lakehouse-t, adjon hozzá egy paramétert, és adja meg a Lakehouse objektumazonosítóját a paraméter értékeként. A Lakehouse objektumazonosítójának lekéréséhez nyissa meg a Lakehouse-t a munkaterületen, és az azonosító az URL-cím /lakehouses/ utáni részében található.

  

• Gyökérmappa: Válassza a Táblák vagy fájlok lehetőséget, amely a tó felügyelt vagy nem felügyelt területének virtuális nézetét jelzi. További információkért tekintse meg a Lakehouse bevezetését.

  • Ha a Táblák lehetőséget választja:

    • Tábla neve: Válasszon ki egy meglévő táblát a táblázatlistából, vagy adjon meg egy táblanevet forrásként. Vagy az Új lehetőséget választva létrehozhat egy új táblát.

      

    • Táblázat: Ha a Lakehouse-t sémákkal alkalmazza a kapcsolatban, válasszon ki egy meglévő táblát a táblázatlistából, vagy adjon meg egy sémát tartalmazó táblát forrásként. Vagy az Új lehetőséget választva létrehozhat egy új táblát sémával. Ha nem ad meg sémanevet, a szolgáltatás a dbo-t használja alapértelmezett sémaként.

      

    • A Speciális területen a következő mezőket adhatja meg:

      • Időbélyeg: Adja meg, hogy egy régebbi pillanatképet időbélyeg alapján szeretne lekérdezni.
      • Verzió: Adja meg, hogy egy régebbi pillanatképet szeretne lekérdezni verzió szerint.
      • További oszlopok: További adatoszlopok hozzáadása a forrásfájlok relatív elérési útjának vagy statikus értékéhez. A kifejezés az utóbbi esetében támogatott.

    Az olvasó 1-es verziója támogatott. Ebben a cikkben megtalálja a megfelelő támogatott Delta Lake-funkciókat.

    Delta-oszlop-leképezés támogatott, amikor a 2. vagy 3. olvasóverziót alkalmazza columnMappingreaderFeatures a Lakehouse-táblájában.

    A Delta-tábla oszlopleképezési képessége rugalmasabb sémafejlődést tesz lehetővé, biztosítva, hogy a táblaszerkezet változásai ne zavarják meg az adat-munkafolyamatokat. Az oszlopleképezéssel adatokat olvashat egy meglévő Delta Lake-táblából, ha delta.columnMapping.mode értékre van állítva: name vagy id.

    Törlési vektorok akkor támogatottak, ha a 3. olvasóverziót deletionVectors a Lakehouse-táblában readerFeatures alkalmazza. A logikailag törölt sorok törlési vektorfájlokban vannak megjelölve, és kihagyásra kerülnek a Delta Lake tábla olvasása során.

  • Ha a Fájlok lehetőséget választja:

    • Fájl elérési út típusa: Választhat a Fájl elérési útja, a Helyettesítő karakteres elérési út, vagy a Fájlok listája közül. Az alábbi lista az egyes beállítások konfigurációját ismerteti:

      

      • Fájl elérési útja: Válassza a Tallózás lehetőséget a másolni kívánt fájl kiválasztásához, vagy töltse ki manuálisan az elérési utat.

      • Helyettesítő karakteres fájl elérési útja: A forrásmappák vagy fájlok szűréséhez adja meg azt a mappát vagy fájlelérési útvonalat, amely helyettesítő karaktereket tartalmaz az adott Lakehouse nem felügyelt területén (a Fájlok területen). Az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egyetlen karakternek felel meg). A feloldás akkor használható ^ , ha a mappában vagy a fájlnévben helyettesítő karakter vagy ez a feloldó karakter található.

        • Helyettesítő mappa elérési út: Az adott tároló alatti mappa elérési útja. Ha helyettesítő karakterrel szeretné szűrni a mappát, hagyja ki ezt a beállítást, és adja meg az adatokat a tevékenység forrásbeállításaiban.

        • Helyettesítő karakterfájl neve: A megadott Lakehouse nem felügyelt terület alatti fájlnév (a Fájlok területen) és a mappa elérési útja.

          

      • Fájlok listája: Egy adott fájlkészlet másolását jelzi.

        • Mappa elérési útja: A másolni kívánt fájlokat tartalmazó mappára mutat.
        • A fájllista elérési útja: A másolandó fájlok listáját tartalmazó szövegfájlra mutat, soronként egy fájlra, amely a konfigurált fájl elérési útjának relatív elérési útja.

        

    • Rekurzívan: Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Ha engedélyezve van, a bemeneti mappában és annak almappáiban lévő összes fájl rekurzív módon lesz feldolgozva. Ez a tulajdonság nem érvényes, ha a fájl elérési útját fájllistaként konfigurálja.

    • Fájlformátum: Válassza ki a fájlformátumot a legördülő listából. A fájlformátum konfigurálásához válassza a Beállítások gombot. A különböző fájlformátumok beállításairól részletes információt a támogatott formátumú cikkekben talál.

    • A Speciális területen a következő mezőket adhatja meg:

      • Szűrés utolsó módosítás szerint: A fájlok szűrése az utolsó módosított dátumok alapján történik. Ez a tulajdonság nem érvényes, ha a fájl elérési útját fájllistaként konfigurálja.
        • Kezdési idő: A fájlok akkor lesznek kiválasztva, ha utolsó módosításuk időpontja nagyobb vagy egyenlő a konfigurált időpontnál.
        • Befejezési idő: A fájlok akkor lesznek kiválasztva, ha az utolsó módosításuk kevesebb, mint a konfigurált idő.
      • Partíciófelderítés engedélyezése: A particionált fájlok esetében adja meg, hogy elemezni szeretné-e a partíciókat a fájl elérési útján, és hozzáadja-e őket további forrásoszlopokként.
        • Partíció gyökérútvonala: Ha a partíciófelderítés engedélyezve van, adja meg az abszolút gyökér elérési utat a particionált mappák adatoszlopként való olvasásához.
      • Egyidejű kapcsolatok maximális száma: Az adattárban a tevékenységfuttatás során létesített egyidejű kapcsolatok felső korlátját jelzi. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.

Cél

A Lakehouse a másolási tevékenység Cél lapján az alábbi tulajdonságokat támogatja.

A következő tulajdonságok szükségesek:

• Kapcsolat: Válasszon egy Lakehouse-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új Lakehouse-kapcsolatot a kapcsolatlista alján található Egyebek gombra kattintva. Ha a dinamikus tartalom használatával adja meg a Lakehouse-t, adjon hozzá egy paramétert, és adja meg a Lakehouse objektumazonosítóját paraméterértékként. A Lakehouse objektumazonosítójának lekéréséhez nyissa meg a Lakehouse-t a munkaterületén, és az azonosító az URL-címben a /lakehouses/ után található.

  

• Gyökérmappa: Válassza a Táblák vagy fájlok lehetőséget, amely a tó felügyelt vagy nem felügyelt területének virtuális nézetét jelzi. További információkért tekintse meg a Lakehouse bevezetését.

  • Ha a Táblák lehetőséget választja:

    • Tábla neve: Válasszon ki egy meglévő táblát a táblázatlistából, vagy adjon meg egy táblanevet célként. Vagy az Új lehetőséget választva létrehozhat egy új táblát.

      

    • Táblázat: Ha a Lakehouse-t sémákkal alkalmazza a kapcsolatban, válasszon ki egy meglévő táblát a táblázatlistából, vagy adjon meg egy sémával rendelkező táblát célként. Vagy az Új lehetőséget választva létrehozhat egy új táblát sémával. Ha nem ad meg sémanevet, a szolgáltatás a dbo-t használja alapértelmezett sémaként.

      

    Feljegyzés

    A táblanévnek legalább egy karakter hosszúnak kell lennie, "/" vagy "\" nélkül, záró pont nélkül, valamint bevezető vagy záró szóközök nélkül.

    • A Speciálisterületen a következő mezőket adhatja meg:

      • Táblaműveletek: Adja meg a műveletet a kijelölt táblán.

        • Hozzáfűzés: Új értékek hozzáfűzése a meglévő táblához.

          • Partíció engedélyezése: Ezzel a kijelöléssel partíciókat hozhat létre egy mappastruktúrában egy vagy több oszlop alapján. Minden különálló oszlopérték (pár) egy új partíció. Például: "év=2000/hónap=01/fájl".
            • Partícióoszlop neve: Válasszon a sémaleképezés céloszlopai közül, amikor adatokat fűz egy új táblához. Ha olyan meglévő táblához fűz adatokat, amely már rendelkezik partíciókkal, a partícióoszlopok automatikusan a meglévő táblából származnak. A támogatott adattípusok a karakterlánc, az egész szám, a logikai és a dátum-idő. A Formátum a Leképezés lap típuskonvertálási beállításait tiszteletben tartja.

        • Felülírás: Írja felül a tábla meglévő adatait és sémáját az új értékekkel. Ha ezt a műveletet választja, engedélyezheti a partíciót a céltáblán:

          • Partíció engedélyezése: Ezzel a kijelöléssel partíciókat hozhat létre egy mappastruktúrában egy vagy több oszlop alapján. Minden különálló oszlopérték (pár) egy új partíció. Például: "év=2000/hónap=01/fájl".
            • Partícióoszlop neve: Válasszon a sémaleképezés céloszlopai közül. A támogatott adattípusok a karakterlánc, az egész szám, a logikai és a dátum-idő. A formátum tiszteletben tartja a Leképezés lap típuskonvertálási beállításait.

          Támogatja a Delta Lake időutazást. A felülírott táblázat az előző verziókhoz tartozó delta naplókkal rendelkezik, amelyeket a Lakehouse-ban érhet el. Az előző verziótáblát a Lakehouse-ból is átmásolhatja a Másolási tevékenység forrásában megadott Verzió beállítással.

      • Egyidejű kapcsolatok maximális száma: Az adattárban a tevékenységfuttatás során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.

    Az Író 2. verziója támogatott. Ebben a cikkben megtalálja a megfelelő támogatott Delta Lake-funkciókat.

    A Delta oszlop-leképezés támogatott. Ez a funkció rugalmasabb sémafejlődést tesz lehetővé, biztosítva, hogy a táblaszerkezet változásai ne zavarják meg az adat-munkafolyamatokat. Az oszlopleképezéssel a következőt teheti:

    • Adatok írása egy meglévő Delta Lake táblába, ha delta.columnMapping.modename-re vagy id-re van állítva.
    • Automatikusan hozzon létre egy táblázatot úgy, hogy delta.columnMapping.mode értékét name-re állítja, ha a céltábla nem létezik, és a forrásoszlopok speciális karaktereket és szóközöket tartalmaznak.
    • Automatikusan hozzon létre egy táblázatot, ahol delta.columnMapping.modename lesz beállítva, amikor a táblázat műveleta Felülírás, és a forrásadatkészlet oszlopai speciális karaktereket és szóközöket tartalmaznak.

  • Ha a Fájlok lehetőséget választja:

    • Fájl elérési útja: Válassza a Tallózás lehetőséget a másolni kívánt fájl kiválasztásához, vagy töltse ki manuálisan az elérési utat.

      

    • Fájlformátum: Válassza ki a fájlformátumot a legördülő listából. Válassza a Beállítások lehetőséget a fájlformátum konfigurálásához. A különböző fájlformátumok beállításairól részletes információt a támogatott formátumú cikkekben talál.

    • A Speciális területen a következő mezőket adhatja meg:

      • Másolási viselkedés: Meghatározza a másolási viselkedést, ha a forrás fájlalapú adattárból származó fájl. Másolási viselkedésként választhatja a hierarchia egyszerűsítését , a fájlok egyesítését , a hierarchia megőrzését , vagy dinamikus tartalom hozzáadását . Az egyes beállítások konfigurációja a következő:

        • Egybesimított hierarchia: A forrásmappából származó összes fájl a célmappa első szintjén található. A célfájlok automatikusan létrehozott névvel rendelkeznek.

        • Fájlok egyesítése: A forrásmappából származó összes fájlt egyetlen fájlba egyesíti. Ha a fájlnév meg van adva, az egyesített fájlnév a megadott név. Ellenkező esetben ez egy automatikusan létrehozott fájlnév.

        • Hierarchia megőrzése: Megőrzi a fájlhierarchiát a célmappában. A forrásfájl forrásmappához viszonyított elérési útja megegyezik a célfájlnak a célmappához viszonyított elérési útával.

        • Dinamikus tartalom hozzáadása: Egy tulajdonságérték kifejezésének megadásához válassza a Dinamikus tartalom hozzáadása lehetőséget. Ez a mező megnyitja a kifejezésszerkesztőt, ahol támogatott rendszerváltozókból, tevékenységkimenetből, függvényekből és felhasználó által megadott változókból vagy paraméterekből hozhat létre kifejezéseket. A kifejezés nyelvével kapcsolatos további információkért lépjen a Kifejezések és függvények elemre.

          

      • Egyidejű kapcsolatok maximális száma: Az adattárban a tevékenységfuttatás során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.

      • Blokkméret (MB): Adja meg a blokk méretét MB-ban, amikor adatokat ír a Lakehouse-ba. Az engedélyezett érték 4 MB és 100 MB között van.

      • Metaadatok: Egyéni metaadatok beállítása a céladattárba való másoláskor. A tömb alatti metadata objektumok egy további oszlopot jelölnek. Ez name határozza meg a metaadatkulcs nevét, és a value kulcs adatértékét. Ha az attribútumok megőrzése funkciót használja, a megadott metaadatok egyesülnek/felülírják a forrásfájl metaadatait. Az engedélyezett adatértékek a következők:

        • $$LASTMODIFIED: egy fenntartott változó tárolja a forrásfájlok utolsó módosítási időpontját. Csak bináris formátumú fájlalapú forrásra alkalmazható.

        • kifejezés

        • Statikus érték

          

Térképezés

A Leképezés lap konfigurációjához, ha nem alkalmazza a Lakehouse-táblát céladattárként, lépjen a Leképezés gombra.

Ha a Lakehouse-táblát alkalmazza céladattárként, kivéve a leképezési konfigurációt, szerkesztheti a céloszlopok típusát. Az Importálási sémák kiválasztása után megadhatja az oszloptípust a célhelyen.

A forrás PersonID oszlopának típusa például int, amely a céloszlopra való leképezéskor módosítható sztringtípusra.

Ha a bináris fájlt választja fájlformátumként, a leképezés nem támogatott.

Beállítások

A Beállítások lap konfigurációjához válassza a Beállítások lehetőséget.

Táblázat összefoglalása

Az alábbi táblázatok további információkat tartalmaznak a Lakehouse-beli másolási tevékenységről.

Forrásadatok

Céladatok

Kapcsolódó tartalom

• A Lakehouse-összekötő áttekintése