Konfigurácia SFTP do kopírovanej aktivity

Tento článok popisuje, ako použiť aktivitu kopírovania v kanáli údajov na kopírovanie údajov z SFTP.

Podporovaný formát

SFTP podporuje nasledujúce formáty súborov. V každom článku nájdete informácie o nastaveniach založených na formáte.

• formátu Avro
• binárneho formátu
• formát textu s oddeľovačmi
• formátu Excelu
• formátu JSON
• formátu ORC
• formátu Parquet
• formátu XML

Podporovaná konfigurácia

Ak chcete nastaviť každú kartu v časti Aktivita kopírovania, prejdite do nasledujúcich sekcií.

• všeobecné
• zdrojové
• cieľ
• mapovania
• nastavenia

Všeobecné

Ak chcete nakonfigurovať kartu Všeobecné nastavenia , pozrite si Všeobecné nastavenia pokyny.

Zdroj

Prejdite na kartu Source a nakonfigurujte zdroj aktivity kopírovania. Podrobnú konfiguráciu získate v nasledujúcom obsahu.

Nasledujúce tri vlastnosti sa vyžadujú:

• Typ ukladacieho priestoru údajov: vyberte položky Externý.

• pripojenia: Zo zoznamu pripojení vyberte pripojenie SFTP. Ak pripojenie neexistuje, vytvorte nové pripojenie SFTP výberom položky Nový.

• Typ cesty k súboru: vyberte zo zoznamu Cesta k súboru, cesta k súboru so zástupným znakom a zoznam súborov na základe toho, ako chcete čítať súbory.

  • Cesta k súboru: Ak vyberiete tento typ, zadajte cestu k zdrojového súboru. Môžete vybrať položky Prehľadávať a vybrať zdrojové súbory alebo zadať cestu k súboru manuálne.

  • Cesta k divokému súboru: Ak vyberiete tento typ, zadajte cesty k zástupným znakom na filtrovanie zdrojových priečinkov alebo súborov.

    Povolené zástupné znaky sú * (zodpovedá nule alebo viacerým znakom) a ? (zodpovedá nule alebo jednému znaku). Ak názov priečinka obsahuje zástupný znak alebo tento escape znak vnútri, použite ^ na to, aby ste sa vyhli. Ďalšie príklady nájdete v Príkladoch filtra priečinkov a súborov.

    

    Cesta k priečinku zástupných znakov: Zadajte cestu k priečinku so zástupnými znakmi na filtrovanie zdrojových priečinkov.

    Názov zástupného súboru: Zadajte názov súboru so zástupnými znakmi v rámci danej cesty k priečinku/cesty zástupného znaku k filtrovaniu zdrojových súborov.

  • Zoznam súborov: Ak vyberiete tento typ, zadajte cestu k priečinku a cesta k zoznamu súborov označuje, že chcete skopírovať danú množinu súborov. Ukážte na textový súbor obsahujúci zoznam súborov, ktoré chcete skopírovať, jeden súbor na riadok. Ďalšie príklady nájdete v príkladoch zoznamu Súbor.

    • Cesta k priečinku: Zadajte cestu k zdrojového priečinku. Je to nutné.
      

    • Cesta k zoznamu súborov: Zadajte cestu textového súboru, ktorý obsahuje zoznam súborov, ktoré chcete skopírovať.

      

• Formát súboru: V rozbaľovacom zozname vyberte použitý formát súboru. Vyberte Nastavenia nastavenia a nakonfigurujte formát súboru. Ak chcete získať nastavenia rôznych formátov súborov, podrobné informácie nájdete v článkoch v podporovanom formáte.

V časti Rozšírenémôžete zadať nasledujúce polia:

• filtrovať podľa naposledy upravených: Súbory sa filtrujú na základe naposledy upravených dátumov, ktoré ste zadali. Táto vlastnosť sa nevzťahuje na konfiguráciu typu cesty k súboru ako zoznamu súborov.

  • Čas začatia (UTC): Súbory sa vyberú, ak je ich čas poslednej úpravy väčší alebo rovnaký ako nakonfigurovaný čas.
  • Čas ukončenia (UTC): Súbory sa vyberú, ak je ich čas poslednej úpravy kratší ako nakonfigurovaný čas.

  Ak Čas začatia (UTC) má hodnotu datetime, ale Čas ukončenia (UTC) má hodnotu NULL, znamená to, že súbory, ktorých posledný upravený atribút je väčší alebo rovnaký ako hodnota dátumu a času, je vybratý. Ak Čas ukončenia (UTC) má hodnotu dátumu a času, ale Start time (UTC) má hodnotu NULL, znamená to, že súbory, ktorých posledný upravený atribút je menší ako hodnota datetime je vybratá. Vlastnosti môžu mať hodnotu NULL, čo znamená, že na údaje sa nepoužije žiadny filter atribútu súboru.

• Disable chunking: Blokovanie je navrhnuté tak, aby optimalizovalo výkon a prebieha pod ním. Táto možnosť vám umožňuje zakázať bloku údajov v jednotlivých súboroch. Pri kopírovaní údajov z SFTP sa služba najprv pokúsi získať dĺžku súboru, potom súbor rozdeliť na viaceré časti a prečítať ich paralelne. Zadajte, či váš server SFTP podporuje získavanie dĺžky súboru alebo snahu o prečítanie z určitého posunu. Predvolene nie je začiarknuté.

• Povoliť zisťovanie oblasti: Zadajte, či sa majú analyzovať oblasti z cesty k súboru, a pridať ich ako nadbytočné zdrojové stĺpce. Jej výber nie je predvolene podporovaný a nepodporuje sa, keď používate formát binárneho súboru.

  • Koreňová cesta oblasti: Keď je povolené zisťovanie oblasti, zadajte absolútnu koreňovú cestu, aby ste mohli čítať rozdelených priečinkov ako stĺpce údajov.
    Ak v predvolenom nastavení nie je zadaná,

    • Keď použijete cestu k súboru alebo zoznam súborov v zdroji, cesta ku koreňu oblasti je cesta, ktorú ste nakonfigurovali.
    • Keď použijete filter zástupného priečinka, podprogram koreňová cesta oblasti je podprogram pred prvým zástupým znakom.

    Za predpokladu, že napríklad nakonfigurujete cestu ako root/folder/year=2020/month=08/day=27:

    • Ak ako root/folder/year=2020zadáte koreňovú cestu oblasti, aktivita kopírovania vygeneruje ďalšie dva stĺpce za mesiac a deň s hodnotou 08 a 27 okrem stĺpcov v súboroch.
    • Ak nie je určená koreňová cesta oblasti, nevygeneruje sa žiadny ďalší stĺpec.

    

• Max súbežných pripojení: Táto vlastnosť označuje hornú hranicu súbežných pripojení vytvorených s ukladacím priestorom údajov počas spustenia aktivity. Zadajte hodnotu iba vtedy, keď chcete obmedziť súbežné pripojenia.

• Ďalšie stĺpce: Pridajte ďalšie stĺpce údajov na ukladanie relatívnej cesty alebo statickej hodnoty zdrojových súborov. Pre druhý sa podporuje výraz. Ďalšie informácie nájdete v Pridanie ďalších stĺpcov počas kopírovania.

Cieľ

Prejdite do časti Cieľ kartu a nakonfigurujte cieľ aktivity kopírovania. Podrobnú konfiguráciu získate v nasledujúcom obsahu.

• Typ ukladacieho priestoru údajov: vyberte položky Externý.
• pripojenia: Zo zoznamu pripojení vyberte pripojenie SFTP. Ak pripojenie neexistuje, vytvorte nové pripojenie SFTP výberom položky Nový.
• Cesta k súboru: Zadajte cestu k súboru, do čoho sa majú zapisovať údaje. Môžete vybrať položky Prehľadávať a vybrať zdrojové súbory alebo zadať cestu k súboru manuálne.
• Formát súboru: V rozbaľovacom zozname vyberte použitý formát súboru. Vyberte Nastavenia nastavenia a nakonfigurujte formát súboru. Ak chcete získať nastavenia rôznych formátov súborov, podrobné informácie nájdete v článkoch v podporovanom formáte.

V časti Rozšírenémôžete zadať nasledujúce polia:

• Správanie pri kopírovaní: Zadajte správanie pri kopírovaní, keď je zdrojom súbory z úložiska údajov na základe súborov. Vyberte si z nasledujúcich vlastností.

  • Hierarchia zjednodušenia štruktúry: Všetky súbory zo zdrojového priečinka sa nachádzajú na prvej úrovni cieľového priečinka. Cieľové súbory majú automaticky generované názvy.
  • Zlúčenie súborov: Zlúči všetky súbory zo zdrojového priečinka do jedného súboru. Ak je zadaný názov súboru, zlúčený názov súboru je zadaný názov. V opačnom prípade ide o automaticky generovaný názov súboru.
  • Zachovať hierarchiu (predvolené): Zachová hierarchiu súborov v cieľovom priečinku. Relatívna cesta zdrojového súboru k zdrojového priečinka je identická s relatívnou cestou cieľového súboru k cieľového priečinka.
  • Pridať dynamický obsah: vyberte túto možnosť, aby ste určili správanie pri kopírovaní pomocou dynamického obsahu.

• Max súbežných pripojení: Horná hranica súbežných pripojení vytvorených do ukladacieho priestoru údajov počas spustenia aktivity. Zadajte hodnotu iba vtedy, keď chcete obmedziť súbežné pripojenia.

• časový limit operácie (minúty): Zadajte časový limit na písanie jednotlivých blokov na server SFTP. Predvolená hodnota je 60 minút.

• Nahrať s dočasnýmsúboru: Zadajte, či chcete nahrať do dočasných súborov a premenovať ich, alebo priamo zapísať do cieľového priečinka alebo do umiestnenia súboru. Predvolene je vybratá a služba sa najprv zapíše do dočasných súborov a potom ich po dokončení nahrávania premenuje.

  Táto sekvencia pomáha predchádzať konfliktom, ktoré môžu viesť k poškodeniu súboru v prípade, že do toho istého súboru zapíšete iné procesy a (2) skontrolujte, či počas prenosu existuje pôvodná verzia súboru. Ak váš server SFTP nepodporuje operáciu premenovania, túto možnosť zakážte a skontrolujte, či do cieľového súboru súčasne nezapisujete.

  Tip

  Ak sa zobrazí chybové hlásenie UserErrorSftpPathNotFound," "UserErrorSftpPermissionDenied" alebo "SftpOperationFail", keď píšete údaje do SFTP a používateľ SFTP, ktorý používate, má správne povolenia, skontrolujte, či váš server SFTP podporuje operáciu premenovanie súboru funguje. Ak sa tak nestane, zakážte Možnosť Nahrať s možnosťou dočasného súboru a skúste to znova.

Mapovanie

Informácie Konfigurácia kariet mapovania nájdete v téme Konfigurácia priradení na karte priradenia. Ak ako formát súboru vyberiete binárny údaj, mapovanie nebude podporované.

Nastavenia

Ak chcete Nastavenia konfigurácii karty, prejdite do Konfigurovať ďalšie nastavenia na karte Nastavenia.

Súhrn tabuľky

Nasledujúca tabuľka obsahuje ďalšie informácie o aktivite kopírovania v SFTP.

Zdroj

Cieľ

Súvisiaci obsah

• prehľad konektorov SFTP.