Fájlok áthelyezése az Azure Data Factoryvel
A következőkre vonatkozik: Azure Data Factory
Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Az ADF másolási tevékenysége beépített támogatással rendelkezik az áthelyezési forgatókönyvben, amikor bináris fájlokat másol a tárolótárolók között. Ennek engedélyezéséhez állítsa a "deleteFilesAfterCompletion" értéket igazként a másolási tevékenységben. Ezzel a másolási tevékenység a feladat befejezése után törli a fájlokat az adatforrástárból.
Ez a cikk egy megoldássablont ismertet egy másik megközelítésként, amely az ADF rugalmas vezérlési folyamatát, valamint a másolási és törlési tevékenységet használja ugyanazon forgatókönyv eléréséhez. A sablon használatának egyik gyakori forgatókönyve: A fájlok folyamatosan a forrástár kezdőmappájába kerülnek. Ütemezési eseményindító létrehozásával az ADF-folyamat rendszeres időközönként áthelyezheti ezeket a fájlokat a forrásból a céltárolóba. Az ADF-folyamat "fájlok áthelyezésének" módja az, hogy lekérjük a fájlokat a kezdőmappából, átmásoljuk őket a céltároló egy másik mappájába, majd töröljük ugyanazokat a fájlokat a forrástár kezdőmappájából.
Feljegyzés
Vegye figyelembe, hogy ez a sablon úgy lett kialakítva, hogy mappák áthelyezése helyett fájlokat helyezzen át. Ha úgy szeretné áthelyezni a mappát, hogy az csak egy mappa elérési útját tartalmazza, majd a másolási tevékenység és a törlési tevékenység használatával hivatkozzon ugyanarra az adatkészletre, amely egy mappát jelöl, nagyon óvatosnak kell lennie. Ennek az az oka, hogy meg kell győződnie arról, hogy a másolási művelet és a törlési művelet között NEM érkeznek új fájlok a mappába. Ha új fájlok érkeznek a mappába abban a pillanatban, amikor a másolási tevékenység éppen befejezte a másolási feladatot, de a Törlés tevékenység nem lett bámulva, lehetséges, hogy a Törlés tevékenység törli ezt az új érkező fájlt, amely még nem lett átmásolva a célhelyre a teljes mappa törlésével.
A megoldássablon ismertetése
Ez a sablon lekéri a fájlokat a forrásfájl-alapú tárolóból. Ezután áthelyezi őket a céltárolóba.
A sablon öt tevékenységet tartalmaz:
- A GetMetadata lekéri az objektumok listáját, beleértve a forrástár mappájából származó fájlokat és almappákat. Nem fogja rekurzívan lekérni az objektumokat.
- Szűrje az objektumlistát a GetMetadata tevékenységből, hogy csak a fájlokat jelölje ki.
- A ForEach lekéri a fájllistát a Szűrő tevékenységből, majd végighalad a listán, és átadja az egyes fájlokat a Copy tevékenység és a Törlés tevékenységnek.
- A másolás egy fájlt másol a forrásból a céltárolóba.
- A törlés ugyanazt a fájlt törli a forrástárból.
A sablon négy paramétert határoz meg:
- SourceStore_Location a forrástár mappaútvonala, ahonnan a fájlokat át szeretné helyezni.
- SourceStore_Directory a forrástár almappájának elérési útja, ahonnan a fájlokat át szeretné helyezni.
- DestinationStore_Location a céltároló mappaútvonala, ahová a fájlokat át szeretné helyezni.
- DestinationStore_Directory a céltár almappájának elérési útja, ahová a fájlokat át szeretné helyezni.
A megoldássablon használata
Nyissa meg a Fájlok áthelyezése sablont. Válassza ki a meglévő kapcsolatot, vagy hozzon létre egy új kapcsolatot a forrásfájltárhoz, ahonnan a fájlokat át szeretné helyezni. Vegye figyelembe, hogy DataSource_Folder és DataSource_File a forrásfájltár azonos kapcsolatára hivatkoznak.
Válassza ki a meglévő kapcsolatot, vagy hozzon létre egy új kapcsolatot a célfájltárhoz, ahová át szeretné helyezni a fájlokat.
Válassza a Sablon használata fület.
A folyamat az alábbi példához hasonlóan jelenik meg:
Válassza a Hibakeresés lehetőséget, írja be a paramétereket, majd válassza a Befejezés lehetőséget. A paraméterek az a mappa elérési útja, ahonnan a fájlokat át szeretné helyezni, és az a mappa elérési útja, ahová a fájlokat át szeretné helyezni.
Tekintse át az eredményt.