Delta formátum az Azure Data Factoryben

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Ez a cikk bemutatja, hogyan másolhat adatokat az Azure Data Lake Store Gen2-ben vagy az Azure Blob Storage-ban tárolt delta lake-be és onnan a delta formátum használatával. Ez az összekötő beágyazott adatkészletként érhető el az adatfolyamok forrásként és fogadóként való leképezésében is.

Adatfolyam-tulajdonságok leképezése

Ez az összekötő beágyazott adatkészletként érhető el az adatfolyamok forrásként és fogadóként való leképezésében is.

Forrástulajdonságok

Az alábbi táblázat a deltaforrás által támogatott tulajdonságokat sorolja fel. Ezeket a tulajdonságokat a Forrás beállításai lapon szerkesztheti.

Séma importálása

A Delta csak beágyazott adatkészletként érhető el, és alapértelmezés szerint nem rendelkezik társított sémával. Az oszlop metaadatainak lekéréséhez kattintson a Séma importálása gombra a Vetítés lapon. Így hivatkozhat a korpusz által megadott oszlopnevekre és adattípusokra. A séma importálásához az adatfolyam hibakeresési munkamenetének aktívnak kell lennie, és rendelkeznie kell egy meglévő CDM-entitásdefiníciós fájllal, amelyre mutatnia kell.

Példa delta forrásszkriptre

source(output(movieId as integer,
            title as string,
            releaseDate as date,
            rated as boolean,
            screenedOn as timestamp,
            ticketPrice as decimal(10,2)
            ),
    store: 'local',
    format: 'delta',
    versionAsOf: 0,
    allowSchemaDrift: false,
    folderPath: $tempPath + '/delta'
  ) ~> movies

Fogadó tulajdonságai

Az alábbi táblázat felsorolja a delta fogadó által támogatott tulajdonságokat. Ezeket a tulajdonságokat a Beállítások lapon szerkesztheti.

Példa delta fogadószkriptre

A társított adatfolyam-szkript a következő:

moviesAltered sink(
          input(movieId as integer,
                title as string
            ),
           mapColumn(
                movieId,
                title
            ),
           insertable: true,
           updateable: true,
           deletable: true,
           upsertable: false,
           keys: ['movieId'],
            store: 'local',
           format: 'delta',
           vacuum: 180,
           folderPath: $tempPath + '/delta'
           ) ~> movieDB

Delta-fogadó partíciómetszettel

Ha a fenti Frissítési módszer (pl. update/upsert/delete) területen ezt a lehetőséget választja, korlátozhatja a vizsgált partíciók számát. Csak a feltételnek megfelelő partíciók lesznek lekérve a céltárolóból. Megadhatja azokat a rögzített értékkészleteket, amelyeket a partícióoszlopok igénybe vehetnek.

Delta sink script example with partition pruning

A mintaszkript az alábbiak szerint adható meg.

DerivedColumn1 sink( 
      input(movieId as integer,
            title as string
           ), 
      allowSchemaDrift: true,
      validateSchema: false,
      format: 'delta',
      container: 'deltaContainer',
      folderPath: 'deltaPath',
      mergeSchema: false,
      autoCompact: false,
      optimizedWrite: false,
      vacuum: 0,
      deletable:false,
      insertable:true,
      updateable:true,
      upsertable:false,
      keys:['movieId'],
      pruneCondition:['part_col' -> ([5, 8])],
      skipDuplicateMapInputs: true,
      skipDuplicateMapOutputs: true) ~> sink2
 

A Delta csak 2 partíciót olvas be, ahol az összes partíció helyett part_col == 5 és 8 a cél deltatárolóból. part_col egy oszlop, amellyel a cél deltaadatai particionálva lesznek. Nem kell szerepelnie a forrásadatokban.

Delta fogadóoptimalizálási lehetőségek

A Beállítások lapon további három lehetőséget talál a delta fogadó átalakításának optimalizálására.

• Ha a séma egyesítése lehetőség engedélyezve van, a sémafejlődést teszi lehetővé, azaz a rendszer automatikusan hozzáadja a sémához azokat az oszlopokat, amelyek az aktuális bejövő adatfolyamban találhatók, de nem a cél Delta táblában. Ez a beállítás minden frissítési módszerben támogatott.

• Ha az automatikus tömörítés engedélyezve van, az egyéni írás után az átalakítás ellenőrzi, hogy a fájlok tovább tömöríthetők-e, és egy gyors OPTIMALIZÁLó feladatot futtat (128 MB-os fájlmérettel 1 GB helyett), hogy tovább tömörítse a fájlokat olyan partíciókhoz, amelyeken a legtöbb kis fájl található. Az automatikus tömörítés segít nagy számú kis fájl kisebb méretű fájlokba való beszűkítésében. Az automatikus tömörítés csak akkor indul el, ha legalább 50 fájl van. A tömörítési művelet végrehajtása után létrehozza a tábla új verzióját, és egy új fájlt ír, amely több korábbi fájl adatait tartalmazza tömörített formában.

• Ha az írás optimalizálása engedélyezve van, a fogadóátalakítás dinamikusan optimalizálja a partícióméreteket a tényleges adatok alapján úgy, hogy minden táblapartícióhoz 128 MB-os fájlt próbál kiírni. Ez hozzávetőleges méret, és az adathalmaz jellemzőitől függően változhat. Az optimalizált írások növelik az írások és az azt követő olvasások általános hatékonyságát. Úgy rendszerezi a partíciókat, hogy a későbbi olvasások teljesítménye javuljon.

Ismert korlátozások

Ha delta fogadóba ír, van egy ismert korlátozás, amely miatt az írott sorok száma nem jelenik meg a monitorozási kimenetben.

Kapcsolódó tartalom

• Forrásátalakítás létrehozása a leképezési adatfolyamban.
• Fogadóátalakítás létrehozása a leképezési adatfolyamban.
• Hozzon létre egy módosítósor-átalakítást, amely a sorokat beszúrásként, frissítésként, upsertként vagy törlésként jelöli meg.