Izveidojiet savienojumu ar Delta tabulām Azure Data Lake Storage

Izveidojiet savienojumu ar datiem Delta tabulās un ievietojiet tos Dynamics 365 Customer Insights - Data.

Galvenie iemesli, lai izveidotu savienojumu ar datiem, kas tiek glabāti Delta formātā:

• Tieši importējiet Delta formatētos datus, lai ietaupītu laiku un pūles.
• Novērsiet skaitļošanas un uzglabāšanas izmaksas, kas saistītas ar jūsu lakehouse datu kopijas pārveidošanu un glabāšanu.
• Automātiski uzlabojiet datu uzņemšanas uzticamību, ko Customer Insights - Data nodrošina Delta versiju izveide.

Atbalstītie Databricks līdzekļi un versijas

Customer Insights - Data atbalsta Databricks funkcijas ar "minReaderVersion" 2 vai vecāku versiju. Databricks līdzekļi, kuriem nepieciešama Databricks lasītāja versija 3 vai jaunāka, netiek atbalstīti. Tabulā ir parādīti atbalstītie un neatbalstītie Databricks līdzekļi.

Uzziniet vairāk: Kā Databricks pārvalda Delta Lake līdzekļu saderību?.

Priekšnoteikumi

• Jābūt Azure Data Lake Storage tajā pašā nomniekā un Azure reģionā, kurā Customer Insights - Data.

• Pakalpojuma Customer Insights - Data vadītājam ir jābūt Storage Blob Data Contributor atļaujām, lai piekļūtu krātuves kontam. Papildinformāciju skatiet sadaļā Atļauju piešķiršana pakalpojuma vadītājam, lai piekļūtu krātuves kontam.

• Lietotājam, kurš iestata vai atjaunina datu avots, kontā ir nepieciešamas vismaz Storage Blob Data Reader atļaujas Azure Data Lake Storage .

• Tiešsaistes pakalpojumos glabātie dati var tikt glabāti citā atrašanās vietā, nevis tajā, kur dati tiek apstrādāti vai glabāti. Importējot tiešsaistes pakalpojumos saglabātos datus vai izveidojot savienojumu ar tiem, jūs piekrītat, ka datus var pārsūtīt. Papildinformāciju skatiet Microsoft drošības kontroles centrā.

• Customer Insights - Data atbalsta Databricks lasītāja 2. versiju. Delta tabulas, kurās tiek izmantoti līdzekļi, kuriem nepieciešama Databricks lasītāja 3. vai jaunāka versija, netiek atbalstītas. Papildinformācija: Atbalstītie Databricks līdzekļi.

• Delta tabulām ir jāatrodas mapē krātuves konteinerā, un tās nevar atrasties konteinera saknes direktorijā. Piemēram:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Datiem jūsu Azure Data Lake Storage ir jābūt Delta tabulās. Customer Insights - Data paļaujas uz versijas rekvizītu tabulas vēsturē, lai identificētu jaunākās izmaiņas inkrementālai apstrādei.

Savienojuma izveide ar Delta datiem no Azure Data Lake Storage

1. Dodieties uz Datu>avoti.

2. Atlasiet Pievienot datu avots.

3. Atlasiet Azure Data Lake Delta tabulas.

   

4. Ievadiet a datu avota nosaukums un neobligātu aprakstu. Nosaukums ir minēts pakārtotajos procesos, un pēc datu avots izveides to nav iespējams mainīt.

5. Izvēlieties kādu no tālāk norādītajām opcijām opcijai Krātuves savienošana, izmantojot.

   • Azure abonements: atlasiet abonementu un pēc tam resursu grupu un krātuves kontu.
   • Azure resurss: ievadiet resursa ID.

6. Ja vēlaties pieņemt datus no krātuves konta, izmantojot Azure Private saistīt, atlasiet Iespējot privāto saistīt. Papildinformāciju skatiet sadaļā Privātās saites.

7. Izvēlieties tā konteinera nosaukumu , kurā ir jūsu datu mape, un atlasiet Tālāk.

8. Naviģējiet uz mapi, kurā ir dati Delta tabulās, un atlasiet to. Pēc tam atlasiet Tālāk. Tiek parādīts pieejamo tabulu saraksts.

9. Atlasiet tabulas, kuras vēlaties iekļaut.

10. Atlasītajām tabulām, kurās primārā atslēga nav definēta, obligātais displejs ir redzams sadaļā Primārā atslēga. Katrai no šīm tabulām:

    1. Atlasiet Obligāts. Tiek parādīts panelis Rediģēt tabulu .
    2. Izvēlieties primāro atslēgu. Primārā atslēga ir tabulai unikāls atribūts. Lai atribūts būtu derīga primārā atslēga, tajā nedrīkst ietvert vērtību dublikātus, trūkstošās vērtības vai nulles vērtības. Virknes, vesela skaitļa un GUID datu tipa atribūti tiek atbalstīti kā primārās atslēgas.
    3. Atlasiet Aizvērt , lai saglabātu un aizvērtu paneli.

    

11. Lai jebkurā kolonnā iespējotu datu profilēšanu, atlasiet tabulas kolonnu skaitu . Tiek parādīta lapa Atribūtu pārvaldība.

    

    1. Atlasiet Datu profilēšana visai tabulai vai konkrētām kolonnām. Pēc noklusējuma datu profilēšanai nav iespējota neviena tabula.
    2. Atlasiet Gatavs.

12. Atlasiet vienumu Saglabāt. Tiek atvērta lapa Datu avoti , kurā jaunais datu avots tiek rādīts atsvaidzināšanas statusā.

    Padoms

    Uzdevumiem un procesiem ir statusi . Lielākā daļa procesu ir atkarīgi no citiem augšupējiem procesiem, piemēram, datu avotiem un datu profilēšanas atsvaidzināšanas.

    Atlasiet statusu, lai atvērtu detalizētās informācijas rūti Par norisi un skatītu uzdevumu norisi. Lai atceltu darbu, rūts apakšdaļā atlasiet Atcelt darbu .

    Zem katra uzdevuma varat atlasīt Skatīt detalizētu informāciju , lai iegūtu papildinformāciju par norisi, piemēram, apstrādes laiku, pēdējo apstrādes datumu un visas piemērojamās kļūdas un brīdinājumus, kas saistīti ar uzdevumu vai procesu. Paneļa apakšdaļā atlasiet Skatīt sistēmas statusu , lai skatītu citus sistēmas procesus.

Datu ielāde var aizņemt laiku. Pēc veiksmīgas atsvaidzināšanas pieņemtos datus var pārskatīt lapā Tabulas .

Shēmas izmaiņu pārvaldība

Kad kolonna tiek pievienota vai noņemta no Delta mapju shēmas datu avots, sistēma palaiž pilnīgu datu atsvaidzināšanu. Pilnīgai atsvaidzināšanai ir nepieciešams ilgāks laiks, lai apstrādātu visus datus, nekā pakāpeniskai atsvaidzināšanai.

Kolonnas pievienošana

Kad kolonna tiek pievienota datu avots, informācija tiek automātiski pievienota datiem Customer Insights - Data , tiklīdz tiek veikta atsvaidzināšana. Ja tabulai jau ir konfigurēta apvienošana, apvienošanas procesam jāpievieno jaunā kolonna.

1. Sadaļā Klienta dati solis atlasiet Atlasīt tabulas un kolonnas un atlasiet jauno kolonnu.

2. Vienotajā datu skatā solis pārliecinieties, vai kolonna nav izslēgta no klienta profila. Atlasiet Izslēgts un izlasījāt kolonnu.

3. Sadaļā Palaist vienotā profila atjauninājumus solis atlasiet Apvienot klientu profilus un atkarības.

Kolonnas mainīšana vai noņemšana

Kad kolonna tiek noņemta no datu avots, sistēma pārbauda atkarības citos procesos. Ja kolonnas ir atkarīgas, sistēma aptur atsvaidzināšanu un nodrošina kļūdu, kas norāda, ka atkarības ir jānoņem. Šīs atkarības tiek parādītas paziņojumā, lai palīdzētu jums tās atrast un noņemt.

Shēmas izmaiņu validēšana

Pēc datu avots atsvaidzināšanas dodieties uz lapu Datu>tabulas . Atlasiet datu avots tabulu un pārbaudiet shēmu.

Deltas ezera laika ceļojumi un datu atsvaidzināšana

Delta ezera laika ceļojums ir iespēja veikt vaicājumus, izmantojot tabulas versijas, pamatojoties uz laikspiedolu vai versijas numuru. Delta mapju izmaiņas ir versijas, un Customer Insights - Data tās izmanto mapju Delta versijas, lai sekotu līdzi apstrādājamajiem datiem. Parastā delta tabulas atsvaidzināšanā dati tiek izvilkti no visām datu tabulas versijām kopš pēdējās atsvaidzināšanas. Kamēr ir visas versijas, Customer Insights - Data var apstrādāt tikai mainītos elementus un nodrošināt ātrākus rezultātus. Uzziniet vairāk par ceļošanu laikā.

Piemēram, ja Customer Insights — dati pēdējo reizi sinhronizēti ar jūsu Delta mapes datu 23. versiju, paredzams, ka tiks atrasta 23. versija un, iespējams, nākamās pieejamās versijas. Ja paredzētās datu versijas nav pieejamas, datu sinhronizācija neizdodas un ir nepieciešama manuāla pilna datu atsvaidzināšana. Datu sinhronizācija var neizdoties, ja Delta mapes dati tika izdzēsti un pēc tam izveidoti no jauna. Vai arī, ja Customer Insights - Data nevarēja izveidot savienojumu ar delta mapēm ilgāku laiku, kamēr versijas tika uzlabotas.

Lai izvairītos no nepieciešamības atsvaidzināt pilnus datus, ieteicams saglabāt saprātīgu vēstures uzkrājumu, piemēram, 15 dienas.

Manuāla pilnas datu atsvaidzināšanas palaišana Delta tabulas mapē

Pilnīga atsvaidzināšana paņem visus datus no tabulas Delta formātā un atkārtoti ielādē tos no Delta tabulas nulles versijas (0). Izmaiņas Delta mapes shēmā izraisa automātisku pilnīgu atsvaidzināšanu. Lai manuāli aktivizētu pilno atsvaidzināšanu, veiciet tālāk norādītās darbības.

1. Dodieties uz Datu>avoti.

2. Atlasiet Azure Data Lake Delta tabulas datu avots.

3. Atlasiet tabulu, kuru vēlaties atsvaidzināt. Tiek parādīta tabulas rediģēšanas rūts.

   

4. Atlasiet Palaist vienreizēju pilnu atsvaidzināšanu.

5. Atlasiet Saglabāt , lai palaistu atsvaidzināšanu. Tiek atvērta lapa Datu avoti , kurā redzama datu avots atsvaidzināšanas statusā , bet tiek atsvaidzināta tikai atlasītā tabula.

6. Ja nepieciešams, atkārtojiet procesu citām tabulām.

Datu sinhronizācijas kļūme

Datu sinhronizācija var neizdoties, ja Delta mapes dati tika izdzēsti un pēc tam izveidoti no jauna. Vai arī, ja Customer Insights - Data nevarēja izveidot savienojumu ar delta mapēm ilgāku laiku, kamēr versijas tika uzlabotas. Lai samazinātu ietekmi, kad periodiska datu konveijera kļūme rada nepieciešamību pēc pilnīgas atsvaidzināšanas, ieteicams uzturēt pamatotu vēstures uzkrājumu, piemēram, 15 dienas.

Nākamās darbības

• Datu apvienošanas pārskats