Kopírovanie údajov pomocou kopírovania aktivity
V kanáli údajov môžete použiť aktivitu Kopírovať na kopírovanie údajov medzi úchytmi údajov umiestnenými v cloude.
Po skopírovaní údajov môžete použiť iné aktivity na ďalšiu transformáciu a analýzu údajov. Aktivitu kopírovania môžete použiť aj na publikovanie výsledkov transformácie a analýzy pre Analytické nástroje (BI) a spotrebu aplikácie.
Ak chcete kopírovať údaje zo zdroja do cieľa, služba, ktorá spúšťa aktivitu Kopírovať, vykoná tieto kroky:
- Číta údaje zo zdrojového úložiska údajov.
- Vykoná serializáciu/deserializáciu, kompresiu/dekompresiu, mapovanie stĺpcov a podobne. Vykonáva tieto operácie na základe konfigurácie.
- Zapíše údaje do cieľového úložiska údajov.
Požiadavky
Na začiatok musíte splniť nasledujúce predpoklady:
konto nájomníka služby Microsoft Fabric s aktívnym predplatným, Vytvorte si bezplatné konto.
Uistite sa, že máte povolený pracovný priestor služby Microsoft Fabric.
Pridanie aktivity kopírovania pomocou asistenta kopírovania
Postupujte podľa týchto krokov a nastavte svoju aktivitu kopírovania pomocou asistenta kopírovania.
Začíname s asistentom kopírovania
Otvorte existujúci údajový kanál alebo vytvorte nový údajový kanál.
Začnite výberom položky Kopírovať údaje na plátne a otvorte nástroj Kopírovať asistenta . Alebo vyberte položku Použiť asistenta kopírovania z rozbaľovacieho zoznamu Kopírovať údaje na karte Aktivity na páse s nástrojmi.
Konfigurácia zdroja
Vyberte typ zdroja údajov z kategórie. Ako príklad použijete ukladací priestor objektu BLOB platformy Azure. Vyberte položku Azure Blob Storage a potom vyberte položku Ďalej.
Výberom položky Vytvoriť nové pripojenie vytvorte pripojenie k zdroju údajov.
Po výbere možnosti Vytvoriť nové pripojenie vyplňte požadované informácie o pripojení a potom vyberte položku Ďalej. Podrobnosti o vytváraní pripojenia pre jednotlivé typy zdrojov údajov nájdete v článku o jednotlivých konektoroch.
Ak máte existujúce pripojenia, môžete vybrať položku Existujúce pripojenie a z rozbaľovacieho zoznamu vybrať pripojenie.
Vyberte súbor alebo priečinok, ktoré sa má kopírovať v tomto kroku konfigurácie zdroja, a potom vyberte položku Ďalej.
Konfigurácia cieľa
Vyberte typ zdroja údajov z kategórie. Ako príklad použijete ukladací priestor objektu BLOB platformy Azure. Môžete vytvoriť nové pripojenie, ktoré odkazuje na nové konto úložiska objektu Blob platformy Azure pomocou krokov uvedených v predchádzajúcej časti, alebo použiť existujúce pripojenie z rozbaľovacieho zoznamu pripojenia. Možnosti Testovať pripojenie a Upraviť sú k dispozícii pre každé vybraté pripojenie.
Nakonfigurujte a priraďte svoje zdrojové údaje k cieľu. Potom výberom položky Ďalej dokončite cieľové konfigurácie.
Poznámka
V rámci tej istej aktivity kopírovania môžete použiť len jednu lokálnu bránu údajov. Ak sú zdroje aj údaje typu sink lokálne, musia používať rovnakú bránu. Ak chcete presúvať údaje medzi lokálnymi zdrojmi údajov s rôznymi bránami, musíte skopírovať prvú bránu do stredného cloudového zdroja v rámci jednej aktivity kopírovania. Potom môžete použiť inú aktivitu kopírovania a skopírovať ju zo zdroja stredného cloudu pomocou druhej brány.
Kontrola a vytvorenie aktivity kopírovania
Skontrolujte nastavenia aktivity kopírovania v predchádzajúcich krokoch a výberom tlačidla OK dokončite kroky. Prípadne sa môžete vrátiť k predchádzajúcim krokom a v prípade potreby upraviť nastavenia v nástroji.
Po dokončení sa aktivita kopírovania pridá na plátno kanála údajov. Všetky nastavenia vrátane rozšírených nastavení tejto aktivity kopírovania sú po výbere k dispozícii na kartách.
Teraz môžete buď uložiť dátový kanál pomocou tejto aktivity jednej kópie, alebo pokračovať v navrhovaní kanála údajov.
Pridanie aktivity kopírovania priamo
Ak chcete pridať aktivitu kopírovania priamo, postupujte podľa týchto krokov.
Pridanie aktivity kopírovania
Otvorte existujúci údajový kanál alebo vytvorte nový údajový kanál.
Pridajte aktivitu kopírovania výberom položky Pridať aktivitu>kanála Kopírovať aktivitu alebo výberom položky Kopírovať údaje>Pridať na plátno na karte Aktivity.
Konfigurácia všeobecných nastavení na karte Všeobecné
Informácie o konfigurácii všeobecných nastavení nájdete v téme Všeobecné.
Nakonfigurujte zdroj na karte Zdroj
Vyberte položku + Nové vedľa pripojenia a vytvorte pripojenie k zdroju údajov.
V kontextovom okne vyberte typ zdroja údajov. Ako príklad použijete databázu Azure SQL. Vyberte položku Databáza Azure SQL a potom položku Pokračovať.
Prejde na stránku na vytvorenie pripojenia. Vyplňte požadované informácie o pripojení na paneli a potom vyberte položku Vytvoriť. Podrobnosti o vytváraní pripojenia pre jednotlivé typy zdrojov údajov nájdete v článku o jednotlivých konektoroch.
Po úspešnom vytvorení pripojenia sa vrátite na stránku kanála údajov. Potom vyberte položku Obnoviť , čím sa z rozbaľovacieho zoznamu načíta pripojenie, ktoré ste vytvorili. Môžete tiež vybrať existujúce pripojenie k databáze Azure SQL z rozbaľovacieho zoznamu priamo, ak ste ho už vytvorili predtým. Možnosti Testovať pripojenie a Upraviť sú k dispozícii pre každé vybraté pripojenie. Potom v časti Typ pripojenia vyberte možnosť Databáza Azure SQL.
Zadajte tabuľku, ktorá sa má skopírovať. Ak chcete zobraziť ukážku zdrojovej tabuľky, vyberte položku Zobraziť ukážku údajov . Na čítanie údajov zo zdroja môžete použiť aj procedúru Dotaz a uloženú.
Rozbaľte ponuku Rozšírené , aby ste zobrazili pokročilejšie nastavenia.
Konfigurácia cieľa na cieľovej karte
Vyberte cieľový typ. Môže ísť o interný ukladací priestor údajov prvej triedy z vášho pracovného priestoru, ako je napríklad Lakehouse, alebo vaše externé ukladací priestor údajov. Ako príklad použijete Lakehouse.
Vyberte si, či chcete použiť lakehouse v type ukladacieho priestoru údajov pracovného priestoru. Vyberte položku + Nové a prejdete na stránku vytvorenia Lakehouse. Zadajte názov svojho jazera a potom vyberte položku Vytvoriť.
Po úspešnom vytvorení pripojenia sa vrátite na stránku kanála údajov. Potom vyberte položku Obnoviť , čím sa z rozbaľovacieho zoznamu načíta pripojenie, ktoré ste vytvorili. Môžete si tiež vybrať existujúce pripojenie k Lakehouse z rozbaľovacieho zoznamu priamo, ak ste ho už predtým vytvorili.
Zadajte tabuľku alebo nastavte cestu k súboru na definovanie súboru alebo priečinka ako cieľa. Tu vyberte položku Tabuľky a zadajte tabuľku, ktorá sa má zapisovať údaje.
Rozbaľte ponuku Rozšírené , aby ste zobrazili pokročilejšie nastavenia.
Teraz môžete buď uložiť dátový kanál pomocou tejto aktivity jednej kópie, alebo pokračovať v navrhovaní kanála údajov.
Konfigurácia priradení na karte priradenia
Ak konektor, ktorý používate, podporuje mapovanie, môžete prejsť na kartu Mapovanie a konfigurovať priradenie.
Ak chcete importovať schému údajov, vyberte položku Importovať schémy.
Môžete vidieť, že sa zobrazuje automatické mapovanie. Zadajte stĺpce Source (Zdroj ) a Destination (Cieľ ). Ak vytvoríte novú tabuľku v cieli, môžete prispôsobiť názov stĺpca Cieľ tu. Ak chcete zapísať údaje do existujúcej cieľovej tabuľky, nemôžete upraviť existujúci názov stĺpca Cieľ . Môžete tiež zobraziť stĺpce Typ zdroja a cieľa.
Okrem toho môžete vybrať + Nové priradenie a pridať nové priradenie, výberom položky Vymazať vymažete všetky nastavenia mapovania a potom vyberte položku Obnoviť, čím obnovíte všetky zdrojové stĺpce priradenia.
Konfigurácia ďalších nastavení na karte Nastavenia
Karta Nastavenia obsahuje nastavenia výkonu, pracovnej verzie a podobne.
Popis jednotlivých nastavení nájdete v nasledujúcej tabuľke.
Nastavenie | Description | Vlastnosť skriptu JSON |
---|---|---|
Inteligentná optimalizácia priepustnosť | Zadajte hodnotu na optimalizáciu priepustnosť. Môžete si vybrať z nasledovného: • Automatické • Štandardné • Vyvážené • Maximum Ak vyberiete možnosť Automaticky, optimálne nastavenie sa použije dynamicky na základe dvojice zdroja – cieľa a vzoru údajov. Priepustnosť môžete tiež prispôsobiť a vlastná hodnota môže byť 2 – 256, zatiaľ čo vyššia hodnota znamená viac ziskov. |
dataIntegrationUnits (množiny údajov) |
Stupeň paralelného kopírovania | Zadajte stupeň paralelného spracovávania, ktorý by sa použil pri načítavaní údajov. | paralelné kópie |
Chybám | Pri výbere tejto možnosti môžete ignorovať niektoré chyby, ktoré sa vyskytli uprostred procesu kopírovania. Napríklad nekompatibilné riadky medzi zdrojom a cieľovím ukladacím priestorom, odstránenie súboru počas premiestňovania údajov atď. | • enableSkipIncompatibleRow • skipErrorFile: fileMissing fileForbidden invalidFileName |
Povoliť zapisovanie do denníka | Pri výbere tejto možnosti môžete zapisovať do denníka skopírované súbory, vynechané súbory a riadky. | / |
Povolenie pracovnej verzie | Určte, či sa majú kopírovať údaje cez dočasný ukladací priestor. Umožnenie pracovnej verzie iba pre prospešné scenáre. | enableStaging (povoliť menovku) |
Typ ukladacieho priestoru údajov | Keď povolíte fázu, môžete ako typ ukladacieho priestoru údajov vybrať položky Pracovný priestor a Externý . | / |
Pre pracovný priestor | ||
Pracovný priestor | Zadajte, ak chcete použiť vstavané fázové úložisko. | / |
Pre externé | ||
Pripojenie konta pracovnej verzie | Zadajte pripojenie úložiska Azure Blob Storage alebo Azure Data Lake Storage Gen2, ktoré odkazuje na inštanciu úložiska, ktoré používate ako dočasný ukladací priestor. Ak ho nemáte, vytvorte fázové pripojenie. | connection (v časti externalReferences ) |
Cesta k úložisku | Zadajte cestu, ktorá má obsahovať fázové údaje. Ak neposkytnete cestu, služba vytvorí kontajner na uloženie dočasných údajov. Cestu zadajte iba vtedy, ak používate úložisko s podpisom zdieľaného prístupu alebo ak potrebujete, aby sa dočasné údaje nachádzali na konkrétnom mieste. | cesta |
Povoliť kompresiu | Určuje, či sa údaje majú komprimovať predtým, ako sa skopírujú do cieľa. Toto nastavenie znižuje objem prenášaných údajov. | enableCompression |
Zachovať | Zadajte, či sa majú zachovať metaúdaje/zoznamy ACL počas kopírovania údajov. | zachovať |
Poznámka
Ak použijete fázovú kópiu s povolenou kompresiou, overovanie objektom služby pre fázové pripojenie objektu BLOB nie je podporované.
Konfigurácia parametrov v kopírovanej aktivite
Parametre možno použiť na ovládanie správania kanála a jeho aktivít. Vlastnosť Add dynamic content (Pridať dynamický obsah) môžete použiť na určenie parametrov pre vlastnosti kopírovanej aktivity. Ako príklad uvádzame určenie lakehouse/skladu údajov/databázy KQL.
Vo svojom zdroji alebo cieli vyberte ako typ ukladacieho priestoru údajov položku Pracovný priestor a ako typ úložiska údajov Lakehouse/Data Warehouse/KQL vyberte možnosť Pridať dynamický obsah v rozbaľovacom zozname služby Lakehouse alebo Data Warehouse alebo KQL Database.
V kontextovom okne Pridajte tablu s dynamickým obsahom na karte Parametre vyberte položku +.
Zadajte názov parametra a podľa potreby zadajte predvolenú hodnotu, alebo môžete po výbere položky Spustiť v kanáli zadať hodnotu parametra.
Všimnite si, že hodnota parametra by mala byť Lakehouse/Data Warehouse/KQL Database object ID. Ak chcete získať ID objektu Lakehouse,Data Warehouse/KQL Database, v pracovnom priestore otvorte databázu Lakehouse/Data Warehouse/KQL a ID sa nachádza po
/lakehouses/
alebo/datawarehouses/
/databases/
v URL adrese.ID objektu Lakehouse:
ID objektu skladu údajov:
ID objektu databázy KQL:
Výberom položky Uložiť sa vráťte na tablu Pridať dynamický obsah . Potom vyberte parameter, aby sa zobrazoval v poli výrazu. Potom vyberte OK. Vrátite sa na stránku kanála a môžete vidieť, že výraz parametra je zadaný po objekte Lakehouse object ID/object Warehouse ID/KQL Database ID objektu.