Pripojte sa k delta stolom Azure Data Lake Storage

Pripojte sa k údajom v delta tabuľkách a preneste ich do Dynamics 365 Customer Insights - Data.

Hlavné dôvody na pripojenie k údajom uloženým vo formáte Delta:

• Priamo importujte údaje vo formáte Delta, aby ste ušetrili čas a námahu.
• Eliminujte výpočtové a ukladacie náklady spojené s transformáciou a ukladaním kópie vašich údajov z Lakehouse.
• Automaticky zvýšte spoľahlivosť prijímania údajov na Customer Insights - Data poskytované delta verziami.

Podporované funkcie a verzie Databricks

Customer Insights - Data podporuje funkcie Databricks s 'minReaderVersion' 2 alebo staršou. Funkcie Databricks, ktoré vyžadujú čítačku Databricks verzie 3 alebo novšej, nie sú podporované. V tabuľke sú uvedené podporované a nepodporované funkcie Databricks.

Ďalšie informácie: Ako Databricks riadi kompatibilitu funkcií Delta Lake?.

Požiadavky

• Azure Data Lake Storage musí byť v rovnakom nájomníkovi a oblasti Azure ako Customer Insights - Data.

• Ak sa chcete pripojiť k úložisku chránenému bránami firewall, Nastavte súkromné ​​prepojenia Azure.

• Principál služby Customer Insights - Data musí mať povolenia prispievateľa dát úložiska Blob na prístup k účtu úložiska. Ďalšie informácie nájdete v časti Udelenie povolení principálovi služby na prístup k účtu úložiska.

• Používateľ, ktorý nastavuje alebo aktualizuje zdroj údajov, potrebuje v účte Azure Data Lake Storage aspoň povolenia na čítanie údajov objektu Storage Blob.

• Údaje uložené v online službách môžu byť uložené na inom mieste, než kde sa údaje spracúvajú alebo ukladajú. Importovaním alebo pripojením k údajom uloženým v online službách súhlasíte s prenosom údajov.  Ďalšie informácie nájdete v Centre dôveryhodnosti spoločnosti Microsoft.

• Customer Insights - Data podporuje čítačku Databricks verzie 2. Delta tabuľky využívajúce funkcie, ktoré vyžadujú čítačku Databricks verzie 3 alebo vyššej, nie sú podporované. Ďalšie informácie: Podporované funkcie Databricks.

• Tabuľky Delta musia byť v priečinku v úložnom kontajneri a nemôžu byť v koreňovom adresári kontajnera. Napríklad:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Údaje vo vašom Azure Data Lake Storage musia byť v delta tabuľkách. Customer Insights - Data spolieha na vlastnosť verzie v histórii tabuľky na identifikáciu najnovších zmien pre prírastkové spracovanie.

Pripojte sa k údajom Delta z Azure Data Lake Storage

Názvy dátových pripojení, dátové cesty, ako sú priečinky v kontajneri a názvy tabuliek, musia používať názvy, ktoré začínajú písmenom. Mená môžu obsahovať iba písmená, čísla a podčiarkovník (_). Špeciálne znaky nie sú podporované.

1. Prejdite na Údaje>Zdroje údajov.

2. Vyberte Pridať zdroj údajov.

3. Vyberte Tabuľky delty jazera Azure Data.

   

4. Zadajte Názov zdroja údajov a voliteľný Popis. Na názov sa odkazuje v následných procesoch a po vytvorení zdroja údajov ho nie je možné zmeniť.

5. Vyberte jednu z nasledujúcich možností pre Pripojenie úložiska pomocou.

   • Predplatné Azure: Vyberte Predplatné a potom Skupinu prostriedkov a Účet úložiska.
   • Prostriedok Azure: Zadajte Id prostriedku.

6. Vyberte názov kontajnera , ktorý obsahuje priečinok s vašimi údajmi.

7. Voliteľne, ak chcete prijímať údaje z účtu úložiska prostredníctvom súkromného prepojenia Azure, vyberte Povoliť súkromné ​​prepojenie. Ďalšie informácie nájdete na stránke Súkromné ​​odkazy.

8. Prejdite do priečinka, ktorý obsahuje údaje v delta tabuľkách, a vyberte ho. Potom vyberte Ďalej. Zobrazí sa zoznam dostupných tabuliek.

9. Vyberte tabuľky, ktoré chcete zahrnúť.

10. Pri vybratých tabuľkách, kde nie je definovaný primárny kľúč, sa pod Primárny kľúč zobrazí Povinné . Pre každú z týchto tabuliek:

    1. Vyberte Povinné. Zobrazí sa panel Upraviť tabuľku .
    2. Vyberte Primárny kľúč. Primárny kľúč je atribút jedinečný pre tabuľku. Ak má byť atribút platným primárnym kľúčom, nemal by obsahovať duplicitné hodnoty, chýbajúce hodnoty ani nulové hodnoty. Ako primárne kľúče sú podporované atribúty typu reťazec, celé číslo a GUID.
    3. Výberom možnosti Zavrieť uložíte a zatvoríte panel.

    

11. Ak chcete povoliť profilovanie údajov v niektorom zo stĺpcov, vyberte počet Stĺpcov pre tabuľku. Zobrazí sa stránka Správa atribútov .

    

    1. Vyberte Profilovanie údajov pre celú tabuľku alebo pre konkrétne stĺpce. V predvolenom nastavení nie je povolená žiadna tabuľka pre profilovanie údajov.
    2. Vyberte položku Hotovo.

12. Vyberte položku Uložiť. Otvorí sa stránka Zdroje údajov a zobrazí sa nový zdroj údajov v stave Obnovovanie .

    Prepitné

    Existujú stavy pre úlohy a procesy. Väčšina procesov závisí od iných upstream procesov, ako sú zdroje údajov a profilovanie údajov obnovenia.

    Výberom stavu otvorte tablu Podrobnosti o priebehu a pozrite si priebeh úloh. Ak chcete úlohu zrušiť, vyberte Zrušiť úlohu v spodnej časti tably.

    Pod každou úlohou si môžete vybrať Zobraziť podrobnosti pre ďalšie informácie o priebehu, ako je čas spracovania, dátum posledného spracovania a všetky príslušné chyby a upozornenia súvisiace s úlohou alebo procesom. Ak chcete zobraziť ďalšie procesy v systéme, vyberte položku Zobraziť stav systému v spodnej časti panela.

Načítanie údajov môže chvíľu trvať. Po úspešnom obnovení je možné spracované údaje skontrolovať na stránke Tabuľky .

Po uložení zdroja údajov sa už nemôžete vrátiť a pridať ďalšie tabuľky. Ak chcete pridať ďalšie tabuľky, vytvorte ďalší zdroj údajov, aby sa tabuľky preniesli do Customer Insights - Data.

Spravujte zmeny schémy

Keď sa stĺpec pridá alebo odstráni zo schémy zdroja údajov priečinkov Delta, systém spustí úplnú obnovu údajov. Úplné obnovy trvajú dlhšie na spracovanie všetkých údajov ako prírastkové obnovy.

Pridanie stĺpca

Keď sa do zdroja údajov pridá stĺpec, informácie sa automaticky pridajú k údajom v Customer Insights - Data po obnovení. Ak je už zjednotenie pre tabuľku nakonfigurované, nový stĺpec sa musí pridať do procesu zjednotenia.

1. V kroku Údaje o zákazníkovi vyberte Vybrať tabuľky a stĺpce a vyberte nový stĺpec.

2. V kroku Zjednotené zobrazenie údajov skontrolujte, či stĺpec nie je vylúčený z profilu zákazníka. Vyberte Vylúčené a prečítajte si stĺpec.

3. V kroku Spustiť aktualizácie jednotného profilu vyberte Zjednotiť zákaznícke profily a závislosti.

Zmeňte alebo odstráňte stĺpec

Keď sa stĺpec odstráni zo zdroja údajov, systém skontroluje závislosti v iných procesoch. Ak existuje závislosť na stĺpcoch, systém zastaví obnovenie a zobrazí chybu, ktorá naznačuje, že závislosti musia byť odstránené. Tieto závislosti sa zobrazia v upozornení, ktoré vám pomôže ich nájsť a odstrániť.

Overte zmenu schémy

Po obnovení zdroja údajov prejdite na stránku Údaje>Tabuľky . Vyberte tabuľku pre zdroj údajov a overte schému.

Cestovanie v čase pri jazere Delta a obnovovanie údajov

Cestovanie v čase pri jazere Delta je schopnosť dotazovať sa cez verzie tabuľky na základe časovej pečiatky alebo čísla verzie. Zmeny v priečinkoch Delta sú verzované a Customer Insights - Data používa verzie priečinkov Delta na sledovanie toho, aké údaje sa majú spracovať. Pri pravidelnej obnove delta tabuľky sa údaje sťahujú zo všetkých verzií tabuľky s údajmi od posledného obnovenia. Pokiaľ sú k dispozícii všetky verzie, Customer Insights - Data môže spracovať len zmenené prvky a poskytnúť rýchlejšie výsledky. Zistite viac o cestovaní v čase.

Napríklad, ak Customer Insights – Data boli naposledy synchronizované s verziou 23 údajov vášho priečinka Delta, očakáva sa, že bude k dispozícii verzia 23 a možno aj nasledujúce verzie. Ak nie sú k dispozícii očakávané verzie údajov, synchronizácia údajov zlyhá a vyžaduje si ručné úplné obnovenie údajov. Synchronizácia údajov môže zlyhať, ak boli údaje priečinka Delta vymazané a potom znovu vytvorené. Alebo ak sa Customer Insights - Data nemohli pripojiť k priečinkom Delta dlhší čas, kým sa verzie vyvíjali.

Ak sa chcete vyhnúť potrebe úplného obnovenia údajov, odporúčame vám udržiavať primeranú nevybavenú históriu, napríklad 15 dní.

Manuálne spustite úplné obnovenie údajov v priečinku tabuľky Delta

Úplné obnovenie vezme všetky údaje z tabuľky vo formáte Delta a znova ich načíta z tabuľky Delta verzie nula (0). Zmeny v schéme priečinka Delta spúšťajú automatické úplné obnovenie. Ak chcete manuálne spustiť úplné obnovenie, vykonajte nasledujúce kroky.

1. Prejdite na Údaje>Zdroje údajov.

2. Vyberte zdroj údajov Azure Data Lake Delta tabuľky .

3. Vyberte tabuľku, ktorú chcete obnoviť. Zobrazí sa tabla Upraviť tabuľku .

   

4. Vyberte Spustiť jednorazové úplné obnovenie.

5. Ak chcete spustiť obnovenie, vyberte možnosť Uložiť . Otvorí sa stránka Zdroje údajov , ktorá zobrazuje zdroj údajov v stave Obnovuje sa , obnovuje sa však iba vybratá tabuľka.

6. Ak je to možné, postup zopakujte pre ďalšie tabuľky.

Zlyhanie synchronizácie údajov

Synchronizácia údajov môže zlyhať, ak boli údaje priečinka Delta vymazané a potom znovu vytvorené. Alebo ak sa Customer Insights - Data nemohli pripojiť k priečinkom Delta dlhší čas, kým sa verzie vyvíjali. Ak chcete minimalizovať dopad, keď občasné zlyhanie dátového kanála spôsobí potrebu úplného obnovenia, odporúčame vám udržiavať primeranú históriu nevybavených vecí, napríklad 15 dní.

Ďalšie kroky

• Prehľad zjednotenia údajov