Získanie údajov z Amazon S3
V tomto článku sa dozviete, ako získať údaje z Amazon S3 do novej alebo existujúcej tabuľky. Amazon S3 je služba úložiska objektov vytvorená na ukladanie a načítavanie údajov.
Ďalšie informácie o Amazon S3, pozri Čo je Amazon S3?.
Požiadavky
- Pracovný priestor s kapacitou povolenou pre službu Microsoft Fabric
- Databáza KQL s povoleniami na úpravu
- Kontajner Amazon S3 s údajmi
Source
Na dolnom páse s nástrojmi databázy KQL vyberte položku Získať údaje.
V okne Získať údaje je vybratá karta Zdroj.
Zo zoznamu k dispozícii vyberte zdroj údajov. V tomto príklade ingestujete údaje z Amazon S3.
Konfigurácia
Vyberte cieľovú tabuľku. Ak chcete ingestovať údaje do novej tabuľky, vyberte položku +Nová tabuľka a zadajte názov tabuľky.
Poznámka
Názvy tabuliek môžu mať maximálne 1 024 znakov vrátane medzier, alfanumerických znakov, spojovoviek a znakov podčiarknutia. Špeciálne znaky nie sú podporované.
Do poľa URI prilepte reťazec pripojenia jedného kontajnera alebo jednotlivého objektu v nasledujúcom formáte.
Bucket:
https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKeyVoliteľne môžete použiť filtre kontajnera na filtrovanie údajov podľa konkrétnej prípony súboru.
Vyberte Ďalej.
Skontrolovať
Otvorí sa karta Kontrola s ukážkou údajov.
Proces príjmu dokončíte výberom položky Dokončiť.
Voliteľne:
- Výberom položky Zobrazovač príkazov zobrazte a skopírujte automatické príkazy vygenerované zo vstupov.
- Pomocou rozbaľovacieho zoznamu súboru definície schémy môžete zmeniť súbor, z ktorému je schéma odvodená.
- Automaticky odvodený formát údajov môžete zmeniť výberom požadovaného formátu z rozbaľovacieho zoznamu. Ďalšie informácie nájdete v téme Formáty údajov podporované funkciou Inteligencia v reálnom čase.
- Upraviť stĺpce.
- Preskúmajte rozšírené možnosti na základe typu údajov.
Úprava stĺpcov
Poznámka
- V prípade tabuľkových formátov (CSV, TSV, PSV) nie je možné priradiť stĺpec dvakrát. Ak chcete priradiť k existujúcemu stĺpcu, najskôr odstráňte nový stĺpec.
- Nemôžete zmeniť existujúci typ stĺpca. Ak sa pokúsite priradiť stĺpec, ktorý má iný formát, pravdepodobne budete mať prázdne stĺpce.
Zmeny, ktoré môžete vykonať v tabuľke, závisia od nasledujúcich parametrov:
- Typ tabuľky je nový alebo existujúci
- Typ mapovania je nový alebo existujúci
| Typ tabuľky | Typ mapovania | Dostupné úpravy |
|---|---|---|
| Nová tabuľka | Nové priradenie | Premenovanie stĺpca, zmena typu údajov, zmena zdroja údajov, transformácia priradenia, pridanie stĺpca, odstránenie stĺpca |
| Existujúca tabuľka | Nové priradenie | Pridať stĺpec (v ktorom môžete potom zmeniť typ údajov, premenovať a aktualizovať) |
| Existujúca tabuľka | Existujúce priradenie | žiadne |
Transformácie mapovania
Niektoré priradenia formátov údajov (Parquet, JSON a Avro) podporujú jednoduché transformácie času ingestu. Ak chcete použiť transformácie mapovania, vytvorte alebo aktualizujte stĺpec v okne Upraviť stĺpce .
Transformácie mapovania možno vykonať v stĺpci typu reťazec alebo dátum a čas, pričom zdroj má typ údajov int alebo long. Podporované transformácie mapovania sú:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Rozšírené možnosti na základe typu údajov
Tabular (CSV, TSV, PSV):
Ak preberáte tabuľkové formáty v existujúcej tabuľke, môžete vybrať možnosť Rozšírená>schéma ponechať tabuľku. Tabuľkové údaje nemusia nevyhnutne obsahovať názvy stĺpcov, ktoré sa používajú na priradenie zdrojových údajov k existujúcim stĺpcom. Keď je táto možnosť začiarknuté, priradenie sa vykoná podľa poradia a schéma tabuľky zostáva rovnaká. Ak táto možnosť nezačiarknete, na prichádzajúce údaje sa vytvoria nové stĺpce bez ohľadu na štruktúru údajov.
Ak chcete použiť prvý riadok ako názvy stĺpcov, vyberte položku Rozšírený>prvý riadok je hlavička stĺpca.
JSON:
Ak chcete určiť delenie údajov JSON stĺpcom, vyberte položku Rozšírené>vnorené úrovne od 1 do 100.
Ak vyberiete položku Rozšírené>riadky vynechať JSON s chybami, údaje sa prejdú vo formáte JSON. Ak toto políčko začiarknete začiarknuté, údaje sa ingestujú vo formáte multijson.
Súhrn
V okne Príprava údajov sú všetky tri kroky označené zelenými značkami začiarknutia po úspešnom dokončení príjmu údajov. Kartu môžete vybrať na dotazovanie, zrušenie prijatia údajov alebo zobrazenie tabule súhrnu príjmu.
Súvisiaci obsah
- Ak chcete spravovať databázu, pozrite si tému Správa údajov.
- Ak chcete vytvoriť, uložiť a exportovať dotazy, pozrite si tému Údaje dotazu v množine dotazov KQL.