Verziókövetés az Azure Data Factoryben

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Alapértelmezés szerint az Azure Data Factory felhasználói felületének (UX) szerzői közvetlenül a data factory szolgáltatáshoz kapcsolódnak. Ez a felület a következő korlátozásokkal rendelkezik:

• A Data Factory szolgáltatás nem tartalmaz adattárat a módosítások JSON-entitásainak tárolására. A módosítások mentésének egyetlen módja az Összes közzététele gomb, és az összes módosítás közvetlenül a data factory szolgáltatásban lesz közzétéve.
• A Data Factory szolgáltatás nincs együttműködésre és verziókövetésre optimalizálva.
• Nem tartalmazza a Data Factory üzembe helyezéséhez szükséges Azure Resource Manager-sablont.

A jobb szerzői élmény érdekében az Azure Data Factory lehetővé teszi egy Git-adattár konfigurálását az Azure Repos vagy a GitHub használatával. A Git egy verziókezelő rendszer, amely egyszerűbb változáskövetést és együttműködést tesz lehetővé. Ez a cikk bemutatja, hogyan konfigurálhat és dolgozhat git-adattárakban, valamint kiemelheti az ajánlott eljárásokat és a hibaelhárítási útmutatót.

Az Azure Data Factory folyamatos integrációjára és kézbesítésére (CI/CD) is hivatkozhat, hogy többet tudjon meg a nagyobb CI/CD-mintáról, amelynek a forrásvezérlés kritikus fontosságú eleme.

Az Azure Data Factory és a Git integrációjáról az alábbi 15 perces oktatóanyag videóban talál további információt:

A Git-integráció előnyei

Az alábbiakban felsorolunk néhányat azokról az előnyökről, amelyet a Git-integráció biztosít a szerzői élmény számára:

• Forrásvezérlés: Mivel az adat-előállító számítási feladatai kritikus fontosságúvá válnak, érdemes integrálni a gyárat a Gittel, hogy több forrásvezérlési előnyt is alkalmazhasson, például a következőket:
  • A változások nyomon követésének/naplózásának képessége.
  • A hibákat okozó módosítások visszaállításának képessége.
• Részleges mentések: A data factory szolgáltatáson végzett létrehozáskor nem mentheti a módosításokat piszkozatként, és minden közzétételnek át kell adnia az adat-előállító érvényesítését. Függetlenül attól, hogy a folyamatok nincsenek-e befejezve, vagy egyszerűen nem szeretné elveszíteni a módosításokat, ha a számítógép összeomlik, a Git-integráció lehetővé teszi az adat-előállítói erőforrások növekményes módosítását, függetlenül attól, hogy milyen állapotban vannak. A git-adattár konfigurálásával mentheti a módosításokat, így csak akkor tehet közzé, ha elégedetten tesztelte a módosításokat.
• Együttműködés és ellenőrzés: Ha több csapattag is hozzájárul ugyanahhoz a gyárhoz, érdemes lehet engedélyeznie, hogy a csapattagok egy kódellenőrzési folyamaton keresztül működjenek együtt egymással. Úgy is beállíthatja a gyárat, hogy nem minden közreműködő rendelkezik egyenlő engedélyekkel. Előfordulhat, hogy egyes csapattagok csak a Giten keresztül végezhetnek módosításokat, és csak a csapat bizonyos tagjai tehetik közzé a módosításokat a gyárban.
• Jobb CI/CD: Ha több környezetben helyez üzembe folyamatos kézbesítési folyamatot, a Git-integráció bizonyos műveleteket egyszerűbbé tesz. Néhány ilyen művelet:
  • Konfigurálja úgy a kiadási folyamatot, hogy automatikusan aktiváljon, amint bármilyen módosítás történt a "dev" gyárban.
  • Testre szabhatja azokat a tulajdonságokat a gyárban, amelyek paraméterekként érhetők el a Resource Manager-sablonban. Hasznos lehet, ha csak a szükséges tulajdonságokat tartja meg paraméterekként, és minden mást szigorúan kódolt.
• Jobb teljesítmény: Egy git-integrációval rendelkező átlagos gyár 10-szer gyorsabban töltődik be, mint egy adat-előállító szolgáltatással végzett szerzői műveletek. Ennek a teljesítménybeli javulásnak az az oka, hogy az erőforrások a Giten keresztül töltődnek le.

Csatlakozás Git-adattárhoz

A Git-adattárat négy különböző módon csatlakoztathatja az adat-előállítóhoz az Azure Repos és a GitHub esetében is. Miután csatlakozott egy Git-adattárhoz, megtekintheti és kezelheti a konfigurációt a felügyeleti központban, a Forrásvezérlő szakaszban található Git-konfiguráció alatt.

1. konfigurációs módszer: Kezdőlap

Az Azure Data Factory kezdőlapján válassza a Kódtár beállítása a tetején lehetőséget.

2. konfigurációs módszer: Vászon készítése

Az Azure Data Factory UX szerzői vászonján válassza a Data Factory legördülő menüt, majd válassza a Kódtár beállítása lehetőséget.

3. konfigurációs módszer: Felügyeleti központ

Nyissa meg a felügyeleti központot az Azure Data Factory Studióban. Válassza a Git-konfigurációt a Forrásvezérlő szakaszban. Ha nincs csatlakoztatva adattár, válassza a Konfigurálás lehetőséget.

4. konfigurációs módszer: A gyár létrehozása során

Amikor új adat-előállítót hoz létre az Azure Portalon, konfigurálhatja a Git-adattár adatait a Git konfigurációs lapján.

Létrehozás Azure Repos Git-integrációval

Az Azure Repos Git-integrációval végzett vizualizációkészítés támogatja a forráskövetést és az együttműködést az adat-előállítói folyamatokon végzett munkához. Az adat-előállítók társíthatók egy Azure Repos Git-szervezeti adattárral a forráskövetéshez, az együttműködéshez, a verziószámozáshoz stb. Egyetlen Azure Repos Git-szervezet több adattárral is rendelkezhet, de egy Azure Repos Git-adattár csak egy adat-előállítóhoz társítható. Ha nem rendelkezik Azure Repos-szervezettel vagy -adattárral, kövesse az alábbi utasításokat az erőforrások létrehozásához.

Az Azure Repos beállításai

A konfigurációs panel lépésről lépésre végigvezeti az alábbi kódtár-beállítások konfigurálásának lépésein:

Az adattár beállításainak szerkesztése

Ha módosítani kell a konfigurált Azure Repos Git-adattár beállításait, választhatja a Szerkesztés lehetőséget.

Frissítheti a közzétételi ágat, és eldöntheti, hogy letiltja-e a közzététel gombot az ADF studióban. Ha úgy dönt, hogy letiltja a közzététel gombot a stúdióból, a közzététel gomb szürkén jelenik meg a stúdióban. Ez segít elkerülni az utolsó automatikus közzétételi üzembe helyezés felülírását.

Másik Microsoft Entra-bérlő használata

Az Azure Repos Git-adattár egy másik Microsoft Entra-bérlőben lehet. Egy másik Microsoft Entra-bérlő megadásához rendszergazdai engedélyekkel kell rendelkeznie a használt Azure-előfizetéshez. További információt az előfizetés-rendszergazda módosítása című témakörben talál.

A személyes Microsoft-fiók használata

Ha személyes Microsoft-fiókot szeretne használni a Git-integrációhoz, csatolhatja személyes Azure-adattárát a szervezet Active Directoryjához.

1. Vegye fel a személyes Microsoft-fiókját a szervezet Active Directoryjába vendégként. További információ: Microsoft Entra B2B együttműködési felhasználók hozzáadása az Azure Portalon.

2. Jelentkezzen be az Azure Portalra személyes Microsoft-fiókjával. Ezután váltson a szervezet Active Directoryjára.

3. Nyissa meg az Azure DevOps szakaszt, ahol most már láthatja a személyes adattárát. Válassza ki az adattárat, és csatlakozzon az Active Directoryhoz.

A konfigurációs lépések után a személyes adattár elérhető lesz a Git-integráció a Data Factory felhasználói felületén való beállításakor.

Az Azure-adattáraknak a szervezet Active Directoryhoz való csatlakoztatásáról további információt az Azure DevOps-szervezet csatlakoztatása a Microsoft Entra-azonosítóhoz című témakörben talál.

Létrehozás GitHub-integrációval

A GitHub-integrációval végzett vizualizációkészítés támogatja a forráskövetést és az együttműködést az adat-előállítói folyamatokon végzett munkához. Egy adat-előállítót hozzárendelhet egy GitHub-fiókadattárhoz a forráskövetéshez, az együttműködéshez és a verziószámozáshoz. Egyetlen GitHub-fiók több adattárat is üzemeltethet, és minden adattár több adat-előállítóhoz is társítható. Ha minden adat-előállítót úgy konfigurál, hogy egy másik ágat használjon ugyanazon az adattáron belül, külön környezeteket (például fejlesztést, előkészítést és éles üzemet) tarthat fenn, miközben a konfigurációkat egymástól függetlenül kezelheti. Ha nincs GitHub-fiókja vagy adattára, kövesse az alábbi utasításokat az erőforrások létrehozásához.

A GitHub és a Data Factory integrációja egyaránt támogatja a nyilvános GitHubot (azaz), a https://github.comGitHub Enterprise Cloudot és a GitHub Enterprise Servert. Mind a nyilvános, mind a privát GitHub-adattárakat használhatja a Data Factoryvel, amíg olvasási és írási engedéllyel rendelkezik a GitHub adattárához. Ha nyilvános adattárral szeretne csatlakozni, válassza a Hivatkozástár használata lehetőséget, mivel azok nem láthatók az Adattár neve legördülő menüben. Az ADF GitHub vállalati kiszolgálóintegrációja csak a GitHub vállalati kiszolgáló hivatalosan támogatott verzióival működik.

A GitHub-szervezeti fiók tulajdonában lévő adattárak esetében a rendszergazdának engedélyeznie kell az ADF-alkalmazást. A GitHub-felhasználói fiók tulajdonában lévő adattárak esetében egy legalább közreműködői engedéllyel rendelkező felhasználó engedélyezheti az ADF-alkalmazást. Ez az engedély nem ad közvetlen hozzáférést az ADF-alkalmazásnak a fiók/szervezet tulajdonában lévő összes adattárhoz, csak azt engedélyezi, hogy az ADF-alkalmazás a felhasználó nevében lépjen fel az adattárakhoz a felhasználó hozzáférési engedélyei alapján.

GitHub-beállítások

A konfigurációs panel a következő GitHub-adattár-beállításokat jeleníti meg:

Az adattár beállításainak szerkesztése

Ha módosítani kell a konfigurált GitHub-adattár beállításait, választhatja a Szerkesztés lehetőséget.

Frissítheti a közzétételi ágat, és eldöntheti, hogy letiltja-e a közzététel gombot az ADF studióban. Ha úgy dönt, hogy letiltja a közzététel gombot a stúdióból, a közzététel gomb szürkén jelenik meg a stúdióban. Ez segít elkerülni az utolsó automatizált közzétételi üzembe helyezés felülírását.

GitHub-szervezetek

A GitHub-szervezethez való csatlakozáshoz a szervezetnek engedélyt kell adnia az Azure Data Factory számára. A szervezet rendszergazdai engedélyekkel rendelkező felhasználójának el kell végeznie az alábbi lépéseket, hogy lehetővé tegye a Data Factory számára a csatlakozást.

Csatlakozás nyilvános GitHubhoz vagy GitHub Enterprise Cloudhoz első alkalommal az Azure Data Factoryben

Ha első alkalommal csatlakozik a nyilvános GitHubhoz vagy a GitHub Enterprise Cloudhoz az Azure Data Factoryből, az alábbi lépéseket követve csatlakozhat egy GitHub-szervezethez.

1. A Git konfigurációs paneljén adja meg a szervezet nevét a GitHub-fiók mezőben. Megjelenik egy parancssor a GitHubra való bejelentkezéshez.
2. Jelentkezzen be a felhasználói hitelesítő adataival.
3. A rendszer arra kéri, hogy engedélyezze az Azure Data Factoryt egy AzureDataFactory nevű alkalmazásként. Ezen a képernyőn megjelenik egy lehetőség, amely engedélyt ad az ADF-nek a szervezethez való hozzáférésre. Ha nem látja az engedély megadásának lehetőségét, kérje meg a rendszergazdát, hogy manuálisan adja meg az engedélyt a GitHubon keresztül.

Miután követte ezeket a lépéseket, a gyár nyilvános és privát adattárakhoz is csatlakozhat a szervezeten belül. Ha nem tud csatlakozni, próbálja meg törölni a böngésző gyorsítótárát, és próbálkozzon újra.

Már csatlakozott a nyilvános GitHubhoz vagy a GitHub Enterprise Cloudhoz egy személyes fiók használatával

Ha már csatlakozott a nyilvános GitHubhoz vagy a GitHub Enterprise Cloudhoz, és csak személyes fiók elérésére adott engedélyt, kövesse az alábbi lépéseket, hogy engedélyeket adjon egy szervezetnek.

1. Nyissa meg a GitHubot, és nyissa meg a Beállítások lehetőséget.

   

2. Válassza az Alkalmazások lehetőséget. Az Engedélyezett OAuth-alkalmazások lapon meg kell jelennie az AzureDataFactorynak.

   

3. Válassza ki az alkalmazást, és adjon hozzáférést az alkalmazásnak a szervezet számára.

   

Miután követte ezeket a lépéseket, a gyár nyilvános és privát adattárakhoz is csatlakozhat a szervezeten belül.

Csatlakozás a GitHub Enterprise Serverhez

Ha a GitHub Enterprise Serverhez csatlakozik, egy személyes hozzáférési jogkivonatot kell használnia a hitelesítéshez. Megtudhatja, hogyan hozhat létre személyes hozzáférési jogkivonatot a személyes hozzáférési jogkivonatok létrehozásakor.

Ismert GitHub-korlátozások

• Szkripteket és adatfájlokat egy GitHub-adattárban tárolhat. A fájlokat azonban manuálisan kell feltöltenie az Azure Storage-ba. A Data Factory-folyamatok nem töltik fel automatikusan a GitHub-adattárban tárolt szkripteket vagy adatfájlokat az Azure Storage-ba.

• A 2.14.0-nál régebbi verziójú GitHub Enterprise nem működik a Microsoft Edge böngészőben.

• A GitHub-integráció a Data Factory vizualizációkészítő eszközeivel csak a Data Factory általánosan elérhető verziójában működik.

Csatlakozás az Azure DevOps Server 2022-hez

Ha az Azure DevOps Server 2022-hez csatlakozik, egy személyes hozzáférési jogkivonatot kell használnia a hitelesítéshez. Itt megtudhatja, hogyan hozhat létre személyes hozzáférési jogkivonatot.

Csatlakozás a helyszíni Azure DevOpshoz a Azure DevOps Server URLAzure DevOps Project Collection

Adja meg a jogkivonat hozzáférési hatókörét olvasási/írási kódként.

Verziókövetés

A verziókövetési rendszerek (más néven forrásvezérlők) lehetővé teszik a fejlesztők számára, hogy együttműködjenek a kódon, és nyomon kövessék a kódbázison végrehajtott módosításokat. A forráskontroll a többfejlesztős projektek alapvető eszköze.

Szolgáltatáságak létrehozása

Minden adat-előállítóhoz társított Azure Repos Git-adattár rendelkezik együttműködési ággal. (main az alapértelmezett együttműködési ág). A felhasználók funkcióágakat is létrehozhatnak, ha az ág legördülő menüjében az + Új ág elemre kattintanak.

Az új ág panel megjelenése után adja meg a szolgáltatáság nevét, és válasszon ki egy ágat, amelyből a munka ki van kapcsolva.

Ha készen áll a funkcióág módosításainak az együttműködési ágba való egyesítésére, kattintson az ág legördülő listájára, és válassza a Lekéréses kérelem létrehozása lehetőséget. Ez a művelet az Azure Repos Gitbe viszi, ahol lekéréses kérelmeket kezdeményezhet, kódértékeléseket végezhet, és egyesítheti az együttműködési ág módosításait. (main ez az alapértelmezett érték). Csak az együttműködési ágból tehet közzé a Data Factory szolgáltatásban.

Közzétételi beállítások konfigurálása

Alapértelmezés szerint a Data Factory létrehozza a közzétett gyár Resource Manager-sablonjait, és menti őket egy úgynevezett adf_publishágba. Egyéni közzétételi ág konfigurálásához adjon hozzá egy publish_config.json fájlt az együttműködési ág gyökérmappájába. Közzétételkor az ADF felolvassa ezt a fájlt, megkeresi a mezőt publishBranch, és menti az összes Resource Manager-sablont a megadott helyre. Ha az ág nem létezik, a Data Factory automatikusan létrehozza. Alább látható egy példa a fájl megjelenésére:

{
    "publishBranch": "factory/adf_publish"
}

Az Azure Data Factorynek egyszerre csak egy közzétételi ága lehet. Új közzétételi ág megadásakor a Data Factory nem törli az előző közzétételi ágat. Ha el szeretné távolítani az előző közzétételi ágat, törölje manuálisan.

Kódmódosítások közzététele

Miután egyesítette az együttműködési ág módosításait (mainez az alapértelmezett beállítás), a Közzététel gombra kattintva manuálisan közzéteheti a kódmódosításokat a főágban a Data Factory szolgáltatásban.

Ekkor megnyílik egy oldalablak, ahol meggyőződhet arról, hogy a közzétételi ág és a függőben lévő módosítások helyesek. A módosítások ellenőrzése után kattintson az OK gombra a közzététel megerősítéséhez.

Ajánlott eljárások a Git-integrációhoz

Engedélyek

Általában nem szeretné, hogy minden csapattag rendelkezik engedéllyel a Data Factory frissítéséhez. A következő engedélybeállítások ajánlottak:

• Minden csapattagnak olvasási engedélyekkel kell rendelkeznie a Data Factoryhez.
• Csak bizonyos személyeknek szabad közzétennie a Data Factoryben. Ehhez rendelkezniük kell a Data Factory közreműködői szerepkörével a Data Factoryt tartalmazó erőforráscsoportban . Az engedélyekkel kapcsolatos további információkért lásd az Azure Data Factory szerepköreit és engedélyeit.

Javasoljuk, hogy ne engedélyezze a közvetlen bejelentkezést az együttműködési ágba. Ez a korlátozás segíthet megelőzni a hibákat, mivel minden bejelentkezés egy lekéréses kérelem áttekintési folyamatán megy keresztül, amelyet a funkcióágak létrehozása című szakaszban ismertetünk.

Jelszavak használata az Azure Key Vaultból

Javasoljuk, hogy az Azure Key Vault használatával tárolja a Data Factory társított szolgáltatásaihoz tartozó kapcsolati sztring, jelszavakat vagy felügyelt identitáshitelesítést. Biztonsági okokból a Data Factory nem tárol titkos kulcsokat a Gitben. A titkos kulcsokat, például jelszavakat tartalmazó társított szolgáltatások módosításai azonnal közzé lesznek téve az Azure Data Factory szolgáltatásban.

A Key Vault vagy az MSI-hitelesítés használata a folyamatos integrációt és üzembe helyezést is megkönnyíti, mivel ezeket a titkos kulcsokat nem kell megadnia a Resource Manager-sablon üzembe helyezése során.

A Git-integráció hibaelhárítása

Elavult közzétételi ág

Az alábbiakban néhány példát talál azokra a helyzetekre, amelyek elavult közzétételi ágat okozhatnak:

• A felhasználónak több ága van. Az egyik szolgáltatáságban töröltek egy társított szolgáltatást, amely nem AKV-hoz van társítva (a nem AKV társított szolgáltatások azonnal közzé vannak téve, függetlenül attól, hogy a Gitben vannak-e vagy sem), és soha nem egyesítették a szolgáltatáságat az együttműködési ágba.
• Egy felhasználó az SDK vagy a PowerShell használatával módosította az adat-előállítót
• Egy felhasználó áthelyezte az összes erőforrást egy új ágba, és először próbált közzétenni. A csatolt szolgáltatásokat manuálisan kell létrehozni az erőforrások importálásakor.
• A felhasználó manuálisan feltölt egy nem AKV társított szolgáltatást vagy egy integrációs modul JSON-t. Erre az erőforrásra hivatkoznak egy másik erőforrásból, például adatkészletből, társított szolgáltatásból vagy folyamatból. A felhasználói felületen létrehozott nem AKV társított szolgáltatás azonnal közzé lesz téve, mert a hitelesítő adatokat titkosítani kell. Ha feltölt egy olyan adathalmazt, amely hivatkozik a társított szolgáltatásra, és megpróbálja közzétenni, a felhasználói felület engedélyezi, mert az a Git-környezetben létezik. A rendszer a közzétételkor elutasítja, mivel nem létezik az adat-előállító szolgáltatásban.

Ha a közzétételi ág nincs szinkronizálva a főággal, és a legutóbbi közzététel ellenére elavult erőforrásokat tartalmaz, az alábbi megoldások egyikét használhatja:

1. lehetőség: Az élő mód felülírása funkció használata

Közzéteszi vagy felülírja a kódot az együttműködési ágból az élő módba. Az adattárban lévő kódot tekinti az igazság forrásának.

Kódfolyamat:Együttműködési ág –> Élő mód

2. lehetőség: A Git-adattár leválasztása és újracsatlakoztatása

Élő módból importálja a kódot az együttműködési ágba. A kód élő módban való használatát tekinti az igazság forrásának.

Kódfolyamat:Élő mód –> Együttműködési ág

1. Az aktuális Git-adattár eltávolítása
2. Konfigurálja újra a Gitet ugyanazokkal a beállításokkal, de győződjön meg arról, hogy a meglévő Data Factory-erőforrások importálása az adattárba be van jelölve, és válassza az Együttműködési ág (ugyanaz az ág) lehetőséget.
3. Lekéréses kérelem létrehozása a változások együttműködési ágba való egyesítéséhez.

Igény szerint válassza ki a megfelelő módszert.

Minden erőforrás újként jelenik meg a közzétételkor

A közzététel során minden erőforrás újként jelenhet meg, még akkor is, ha korábban közzétették őket. Ez akkor fordulhat elő, ha az utolsóCommitId tulajdonság alaphelyzetbe áll a gyár repoConfiguration tulajdonságán egy gyári ARM-sablon ismételt üzembe helyezésével, vagy a gyári repoConfiguration tulajdonság PowerShell vagy REST API használatával történő frissítésével. Az erőforrások közzétételének folytatása megoldhatja a problémát, de ha meg szeretné akadályozni, ne frissítse a gyári repoConfiguration tulajdonságot .

Váltás másik Git-adattárra

Ha másik Git-adattárra szeretne váltani, nyissa meg a Git konfigurációs lapját a felügyeleti központban a Forrás vezérlőelem alatt. Válassza a Leválasztás lehetőséget.

Adja meg az adat-előállító nevét, és kattintson a Megerősítés gombra az adat-előállítóhoz társított Git-adattár eltávolításához.

Miután eltávolította az aktuális adattárral való társításokat, konfigurálhatja a Git-beállításokat egy másik adattár használatára, majd importálhatja a meglévő Data Factory-erőforrásokat az új adattárba.

Kapcsolódó tartalom

• A folyamatok figyelésével és kezelésével kapcsolatos további információkért tekintse meg a folyamatok programozott figyelését és kezelését ismertető témakört.
• A folyamatos integráció és üzembe helyezés implementálásához lásd: Folyamatos integráció és teljesítés (CI/CD) az Azure Data Factoryben.