Kurz: Nastavenie databázy pre sklad údajov služby Fabric

Vzťahuje sa na:✅ Warehouse v službe Microsoft Fabric

Tento kurz vás prevedie nastavením databázy a nasadením vášho prvého projektu do skladu služby Fabric.

Úvod

Open-source architektúra DBT (Data Build Tool) zjednodušuje inžinierstvo transformácie údajov a analýzy. Zameriava sa na transformácie založené na SQL v rámci analytickej vrstvy, ktorá s SQL zaobchádza ako s kódom. Dbt podporuje riadenie verzií, modularizáciu, testovanie a dokumentáciu.

Adaptér dbt pre microsoft Fabric možno použiť na vytvorenie projektov dbt, ktoré sa potom môžu nasadiť do skladu údajov služby Fabric.

Môžete tiež zmeniť cieľovú platformu pre projekt dbt jednoduchým zmenou adaptéra, napríklad; Projekt vytvorený pre vyhradený fond SQL služby Azure Synapse je možné v priebehu niekoľkých sekúnd inovovať na sklad údajov služby Fabric.

Požiadavky na dbt adaptér pre Microsoft Fabric

Ak si chcete nainštalovať a nastaviť požiadavky databázy, postupujte podľa tohto zoznamu:

1. Verzia jazyka Python 3.7 (alebo vyššia).

2. Ovládač Microsoft ODBC pre SERVER SQL Server.

3. Najnovšia verzia adaptéra dbt-fabric z odkladacieho priestoru PyPI (Python Package Index) pomocou pip install dbt-fabric.

   pip install dbt-fabric
   

   Poznámka

   pip install dbt-fabric Zmenou a pip install dbt-synapse použitím nasledujúcich pokynov môžete nainštalovať adaptér databázy pre vyhradený fond SQL Synapse.

4. Uistite sa, že dbt-fabric a jeho závislosti sú nainštalované pomocou pip list príkazu:

   pip list
   

   Dlhý zoznam balíkov a aktuálnych verzií by sa mal vrátiť z tohto príkazu.

5. Ak ešte nemáte zostavu, vytvorte sklad. Na toto cvičenie môžete použiť skúšobnú kapacitu: zaregistrujte sa do bezplatnej skúšobnej verzie služby Microsoft Fabric, vytvorte pracovný priestor a vytvorte sklad.

Začíname s adaptérom dbt-fabric

V tomto kurze sa používa Visual Studio Code, ale môžete použiť preferovaný nástroj podľa svojho výberu.

1. Naklonujte projekt jaffle_shop demo dbt do počítača.

   • Odkladací priestor môžete naklonovať pomocou vstavaného ovládacieho prvku zdroja programu Visual Studio Code.
   • Alebo môžete git clone použiť napríklad príkaz:

   git clone https://github.com/dbt-labs/jaffle_shop.git
   

2. jaffle_shop Otvorte priečinok projektu v programe Visual Studio Code.

   

3. Registráciu môžete vynechať, ak ste už vytvorili Sklad.

4. Vytvorte profiles.yml súbor. Pridajte nasledujúcu konfiguráciu do časti profiles.yml. Tento súbor nakonfiguruje pripojenie k skladu v službe Microsoft Fabric pomocou adaptéra dbt-fabric.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Poznámka

   type Zmeňte hodnotu z fabric na synapse prepnutie adaptéra databázy na službu Azure Synapse Analytics, ak chcete. Každá existujúca platforma údajov projektu dbt sa môže aktualizovať zmenou adaptéra databázy. Ďalšie informácie nájdete v zozname dbt podporovaných platforiem údajov.

5. Vykonajte vlastné overenie v službe Azure v termináli programu Visual Studio Code.

   • Ak používate overovanie azure CLI, spustite az login v termináli Visual Studio Code.
   • Informácie o objekte služby alebo inom identifikátore Entra ID spoločnosti Microsoft (predtým Azure Active Directory) v službe Microsoft Fabric nájdete v téme nastavenie dbt (Nástroj na tvorbu údajov) a dbt Resource Configurations. Ďalšie informácie nájdete v téme Overenie v spoločnosti Microsoft Entra ako alternatívu k overovania SQL v službe Microsoft Fabric.

6. Teraz ste pripravení otestovať pripojenie. Ak chcete otestovať pripojenie k skladu, spustite dbt debug ho v termináli Visual Studio Code.

   dbt debug
   

   

   Všetky kontroly sa prejdú, čo znamená, že môžete pripojiť svoj sklad pomocou adaptéra dbt-fabric z jaffle_shop projektu dbt.

7. Teraz je čas otestovať, či adaptér funguje alebo nie. Najskôr spustite príkaz dbt seed na vloženie vzorového údajov do skladu.

   

8. Spustením dbt run overte údaje pre niektoré testy.

   dbt run
   

   

9. Spustite príkaz dbt test na spustenie modelov definovaných v projekte demo dbt.

   dbt test
   

   

Teraz ste nasadili projekt dbt do skladu údajov služby Fabric.

Presúvanie medzi rôznymi skladmi

Je to jednoduchý pohyb projektu dbt medzi rôznymi skladmi. Projekt dbt v ľubovoľnom podporovanom sklade možno rýchlo migrovať pomocou tohto postupu:

1. Nainštalujte nový adaptér. Ďalšie informácie a úplné pokyny na inštaláciu nájdete v téme Adaptéry dbt.

2. Aktualizujte type vlastnosť v súbore profiles.yml .

3. Zostavte projekt.

dbt v službe Fabric Data Factory

V integrácii s Apache Airflow, populárnou službou na riadenie pracovných postupov, sa dbt stáva výkonným nástrojom na organizovanie transformácií údajov. Možnosti plánovania a správy úloh toku vzduchu umožňujú dátovým tímom automatizovať spustenia dbt. Zabezpečuje pravidelné aktualizácie údajov a zachováva konzistentný tok vysokokvalitných údajov na analýzu a vytváranie zostáv. Tento kombinovaný prístup, ktorý využíva odborné znalosti spoločnosti DBT v oblasti transformácie so správou pracovných postupov toku vzduchu, poskytuje efektívne a robustné údajové kanály, čo v konečnom dôsledku vedie k rýchlejším a prehľadnejším rozhodnutiam založeným na údajoch.

Apache Airflow je platforma typu open-source, ktorá sa používa na programové vytváranie, plánovanie a monitorovanie zložitých pracovných postupov údajov. Umožňuje definovať množinu úloh, nazývaných operátory, ktoré možno skombinovať do smerovaných cyklických grafov (DAGs), ktoré predstavujú údajové kanály.

Ďalšie informácie o tom, ako využiť databázu so skladom, nájdete v téme Transformácia údajov pomocou dbt v službe Data Factory v službe Microsoft Fabric.

Úvahy

Dôležité veci, ktoré je potrebné vziať do úvahy pri použití dbt-tkaniny adaptér:

• Skontrolujte aktuálne obmedzenia skladu údajov v službe Microsoft Fabric.

• Fabric podporuje overovanie Microsoft Entra ID (predtým Azure Active Directory) pre subjekty používateľov, identity používateľov a objekty služby. Odporúčaným režimom overenia na interaktívnu prácu v sklade je CLI (rozhrania príkazového riadka) a používanie objektov služby na automatizáciu.

• Pozrite si príkazy T-SQL (Transact-SQL), ktoré nie sú podporované v sklade údajov služby Fabric.

• Niektoré príkazy T-SQL sú podporované adaptérom dbt-fabric pomocou Create Table as Select (CTAS) DROPa CREATE príkazov, ako ALTER TABLE ADD/ALTER/DROP COLUMNsú napríklad , , MERGETRUNCATE, sp_rename.

• Prečítajte si tému Nepodporované typy údajov a získajte informácie o podporovaných a nepodporovaných typoch údajov.

• Môžete zapisovať problémy na adaptéri dbt-tkaniny na GitHube navštívením Issues · microsoft/dbt-fabric · GitHub.

Ďalší krok

Súvisiaci obsah

• Čo je skladovanie údajov v službe Microsoft Fabric?
• Kurz: Vytvorenie skladu v službe Microsoft Fabric
• Kurz: Transformácia údajov pomocou uloženej procedúry
• Ovládanie zdroja so skladom