Adatok betöltése az Azure Data Lake Storage Gen2-be az Azure Data Factoryvel

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Az Azure Data Lake Storage Gen2 az Azure Blob Storage-ba beépített big data-elemzési képességek készlete. Lehetővé teszi az adatokhoz való kapcsolódást fájlrendszer- és objektumtárolási paradigmák használatával.

Az Azure Data Factory (ADF) egy teljes mértékben felügyelt felhőalapú adatintegrációs szolgáltatás. A szolgáltatással feltöltheti a tavat számos helyszíni és felhőalapú adattárból származó adatokkal, és időt takaríthat meg az elemzési megoldások létrehozásakor. A támogatott összekötők részletes listáját a támogatott adattárak táblázatában találja.

Az Azure Data Factory egy kibővített, felügyelt adatáthelyezési megoldást kínál. Az ADF kibővített architektúrájának köszönhetően nagy átviteli sebességgel betöltheti az adatokat. További információ: Copy tevékenység teljesítmény.

Ez a cikk bemutatja, hogyan tölthet be adatokat az Amazon Web Services S3 szolgáltatásból az Azure Data Lake Storage Gen2-be a Data Factory Adatmásoló eszközével. Hasonló lépéseket követve más típusú adattárakból másolhat adatokat.

Előfeltételek

• Azure-előfizetés: Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .
• Azure Storage-fiók, amelyen engedélyezve van a Data Lake Storage Gen2: Ha nincs Tárfiókja, hozzon létre egy fiókot.
• Adatokat tartalmazó S3-gyűjtővel rendelkező AWS-fiók: Ez a cikk bemutatja, hogyan másolhat adatokat az Amazon S3-ból. Más adattárakat is használhat hasonló lépések végrehajtásával.

Adat-előállító létrehozása

1. Ha még nem hozta létre a data factoryt, kövesse a gyorsútmutató lépéseit : Adat-előállító létrehozása az Azure Portal és az Azure Data Factory Studio használatával. A létrehozás után keresse meg a data factoryt az Azure Portalon.

   

2. Válassza a Megnyitás az Azure Data Factory Studio megnyitása csempén a adatintegráció alkalmazás külön lapon való elindításához.

Adatok betöltése az Azure Data Lake Storage Gen2-be

1. Az Azure Data Factory kezdőlapján válassza a Betöltési csempét az Adatok másolása eszköz elindításához.

2. A Tulajdonságok lapon válassza a Beépített másolási feladat lehetőséget a Tevékenység típusa csoportban, majd válassza a Futtatás egyszer lehetőséget a Feladatütemezés vagy a Tevékenységütemezés területen, majd válassza a Tovább gombot.

   

3. A Forrásadattár lapon hajtsa végre a következő lépéseket:

   1. Válassza az + Új kapcsolat lehetőséget. Válassza az Amazon S3 lehetőséget az összekötőgyűjteményből, és válassza a Folytatás lehetőséget.

      

   2. Az Új kapcsolat (Amazon S3) lapon hajtsa végre a következő lépéseket:

      1. Adja meg az Access-kulcs azonosítójának értékét.
      2. Adja meg a titkos hozzáférési kulcs értékét.
      3. Válassza a Kapcsolat tesztelése lehetőséget a beállítások érvényesítéséhez, majd válassza a Létrehozás lehetőséget.

      

   3. A Forrásadattár lapon győződjön meg arról, hogy az újonnan létrehozott Amazon S3-kapcsolat ki van jelölve a Kapcsolat blokkban.

   4. A Fájl vagy mappa szakaszban keresse meg azt a mappát és fájlt, amelyet át szeretne másolni. Jelölje ki a mappát/fájlt, majd kattintson az OK gombra.

   5. A rekurzív és bináris másolási beállítások ellenőrzésével adja meg a másolási viselkedést. Válassza a Tovább lehetőséget.

   

4. A Céladattár lapon hajtsa végre az alábbi lépéseket.

   1. Válassza az + Új kapcsolat lehetőséget, majd válassza az Azure Data Lake Storage Gen2 lehetőséget, és válassza a Folytatás lehetőséget.

      

   2. Az Új kapcsolat (Azure Data Lake Storage Gen2) lapon válassza ki a Data Lake Storage Gen2-kompatibilis fiókját a "Tárfiók neve" legördülő listából, és válassza a Létrehozás lehetőséget a kapcsolat létrehozásához.

      

   3. A Céladattár lapon válassza ki az újonnan létrehozott kapcsolatot a Kapcsolat blokkban. Ezután a Mappa elérési útja területen adja meg a copyfroms3 nevet a kimeneti mappa neveként, és válassza a Tovább gombot. Ha nem létezik, az ADF létrehozza a megfelelő ADLS Gen2 fájlrendszert és almappákat a másolás során.

      

5. A Beállítások lapon adja meg a CopyFromAmazonS3ToADLS értéket a Tevékenységnév mezőhöz, és válassza a Tovább lehetőséget az alapértelmezett beállítások használatához.

   

6. Az Összefoglalás lapon tekintse át a beállításokat, és válassza a Tovább gombot.

   

7. A folyamat (feladat) figyeléséhez az Üzembe helyezés lapon kattintson a Monitorozás elemre.

8. Ha a folyamatfuttatás sikeresen befejeződött, megjelenik egy manuális eseményindító által aktivált folyamatfuttatás. A Folyamatnév oszlopban található hivatkozások segítségével megtekintheti a tevékenység részleteit, és újrafuttathatja a folyamatot.

   

9. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez válassza a CopyFromAmazonS3ToADLS hivatkozást a Folyamatnév oszlop alatt. A másolási művelettel kapcsolatos részletekért válassza a Részletek hivatkozást (szemüveg ikon) a Tevékenység neve oszlopban. Figyelheti az olyan részleteket, mint a forrásból a fogadóba másolt adatok mennyisége, az adatátviteli sebesség, a megfelelő időtartamú végrehajtási lépések és a használt konfiguráció.

   

   

10. A nézet frissítéséhez válassza a Frissítés parancsot. A "Folyamatfuttatások" nézetre való visszalépéshez válassza a felül található Összes folyamatfuttatás lehetőséget.

11. Ellenőrizze, hogy az adatok át vannak-e másolva a Data Lake Storage Gen2-fiókba.

Kapcsolódó tartalom

• Copy tevékenység áttekintése
• Azure Data Lake Storage Gen2-összekötő