Connecteu-vos a taules Delta a Azure Data Lake Storage

Connecteu-vos a les dades de les taules Delta i introduïu-les Dynamics 365 Customer Insights - Data.

Motius principals per connectar-se a les dades emmagatzemades en format Delta:

• Importa directament dades amb format Delta per estalviar temps i esforç.
• Elimineu els costos de computació i emmagatzematge associats a la transformació i emmagatzematge d'una còpia de les dades del vostre llac.
• Millora automàticament la fiabilitat de la ingesta de dades proporcionada Customer Insights - Data per Delta versioning.

Característiques i versions del Databricks compatibles

Customer Insights - Data admet característiques del Databricks amb un "minReaderVersion" de 2 o anterior. No s'admeten les característiques del Databricks que requereixen la versió 3 o posterior del lector del Databricks. La taula mostra les característiques del Databricks admeses i no admeses.

Més informació: Com gestiona Databricks la compatibilitat de les característiques de Delta Lake?.

Requisits previs

• Ha Azure Data Lake Storage d'estar al mateix inquilí i regió d'Azure que Customer Insights - Data.

• L'entitat Customer Insights - Data de servei ha de tenir permisos de col·laborador de dades blob d'emmagatzematge per accedir al compte d'emmagatzematge. Per obtenir més informació, vegeu Concedir permisos a l'entitat de servei per accedir al compte d'emmagatzematge.

• L'usuari que configura o actualitza la font de dades necessita com a mínim permisos de lector de dades blob d'emmagatzematge Azure Data Lake Storage al compte.

• Les dades emmagatzemades en serveis en línia poden emmagatzemar-se en una ubicació diferent d'on es processen o emmagatzemen les dades. En importar o connectar-se a dades emmagatzemades en serveis en línia, accepteu que es puguin transferir dades. Obteniu més informació al Centre de confiança de Microsoft.

• Customer Insights - Data admet la versió 2 del lector Databricks. No s'admeten les taules delta que utilitzen característiques que requereixen la versió 3 o posterior del lector del Databricks. Més informació: Característiques del Databricks compatibles.

• Les taules Delta han d'estar en una carpeta del contenidor d'emmagatzematge i no poden estar al directori arrel del contenidor. Per exemple:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Les dades del vostre Azure Data Lake Storage han d'estar en taules Delta. Customer Insights - Data Es basa en la propietat version de l'historial de la taula per identificar els canvis més recents per al processament incremental.

Connecteu-vos a les dades de Delta des de Azure Data Lake Storage

1. Aneu a Fonts> de dades de dades.

2. Seleccioneu Afegeix una font de dades.

3. Seleccioneu Taules Delta de l'Azure Data Lake.

   

4. Introduïu un nom de font de dades i una descripció opcional. Es fa referència al nom en processos posteriors i no és possible canviar-lo després de crear la font de dades.

5. Trieu una de les opcions següents per connectar el vostre emmagatzematge usant.

   • Subscripció de l'Azure: seleccioneu la subscripció i, a continuació, el grup de recursos i el compte d'emmagatzematge.
   • Recurs Azure: introduïu l'identificador derecurs.

6. Opcionalment, si voleu ingerir dades d'un compte d'emmagatzematge a través d'un enllaç privat de l'Azure, seleccioneu Habilita l'enllaç privat. Per obtenir més informació, vegeu Enllaços privats.

7. Trieu el nom del contenidor que conté la carpeta de les vostres dades i seleccioneu Següent.

8. Aneu a la carpeta que conté les dades de les taules delta i seleccioneu-la. A continuació, seleccioneu Següent. Es mostra una llista de taules disponibles.

9. Seleccioneu les taules que voleu incloure.

10. Per a les taules seleccionades on no s'ha definit una clau principal,Obligatori es mostra a Clau principal. Per a cadascuna d'aquestes taules:

    1. Seleccioneu Obligatori. Es mostra el tauler Edita la taula .
    2. Trieu la clau principal. La clau primària és un atribut únic de la taula. Per tal que un atribut sigui una clau principal vàlida, no hauria d'incloure valors duplicats, valors que faltin o valors nuls. Els atributs de tipus de dades de cadena, enter i GUID s'admeten com a claus primàries.
    3. Seleccioneu Tanca per desar i tancar el tauler.

    

11. Per habilitar la creació de perfils de dades a qualsevol de les columnes, seleccioneu el nombre de columnes de la taula. Es mostra la pàgina Gestiona els atributs .

    

    1. Seleccioneu Perfils de dades per a tota la taula o per a columnes específiques. Per defecte, no hi ha cap taula habilitada per a la creació de perfils de dades.
    2. Seleccioneu Fet.

12. Seleccioneu Desa. S'obre la pàgina Fonts de dades que mostra la nova font de dades en estat d'actualització .

    Propina

    Hi ha estats per a tasques i processos . La majoria dels processos depenen d'altres processos originals, com ara fonts de dades i actualitzacions de perfils dedades.

    Seleccioneu l'estat per obrir la subfinestra Detalls del progrés i visualitzar el progrés de les tasques. Per cancel·lar la feina, seleccioneu Cancel·la la feina a la part inferior de la subfranja.

    A cada tasca, podeu seleccionar Mostra els detalls per obtenir més informació sobre el progrés, com ara el temps de processament, la data de l'últim processament i els errors i advertiments aplicables associats a la tasca o al procés. Seleccioneu Visualitza l'estat del sistema a la part inferior del tauler per veure altres processos del sistema.

La càrrega de les dades pot tardar temps. Després d'una actualització correcta, les dades ingerides es poden revisar des de la pàgina Taules .

Administrar els canvis d'esquema

Quan s'afegeix o se suprimeix una columna de l'esquema d'una font de dades de carpetes Delta, el sistema executa una actualització completa de les dades. Les actualitzacions completes triguen més a processar totes les dades que les actualitzacions incrementals.

Afegir una columna

Quan s'afegeix una columna a la font de dades, la informació s'afegeix automàticament a les dades un Customer Insights - Data cop es produeix una actualització. Si la unificació ja està configurada per a la taula, s'ha d'afegir la nova columna al procés d'unificació.

1. Al pas Dades del client, seleccioneu Selecciona taules i columnes i seleccioneu la columna nova.

2. Al pas Visualització de dades unificades, assegureu-vos que la columna no s'exclogui del perfil del client. Seleccioneu Exclòs i torneu a afegir la columna.

3. Al pas Executa actualitzacions al perfil unificat, seleccioneu Unifica els perfils i les dependències dels clients.

Canviar o suprimir una columna

Quan se suprimeix una columna d'una font de dades, el sistema comprova si hi ha dependències en altres processos. Si hi ha una dependència de les columnes, el sistema atura l'actualització i proporciona un error que indica que s'han d'eliminar les dependències. Aquestes dependències es mostren en una notificació per ajudar-vos a localitzar-les i suprimir-les.

Validar un canvi d'esquema

Després d'actualitzar la font de dades, aneu a la pàgina Taules >de dades . Seleccioneu la taula de la font de dades i verifiqueu l'esquema.

Viatge en el temps del llac Delta i actualitzacions de dades

El viatge en el temps del llac Delta és la capacitat de consultar a través de versions de taula basades en una marca de temps o un número de versió. Els canvis a les carpetes Delta tenen versions i Customer Insights - Data utilitzen les versions de la carpeta Delta per fer un seguiment de quines dades s'han de processar. En una actualització regular de la taula delta, les dades s'extreuen de totes les versions de la taula de dades des de l'última actualització. Sempre que totes les versions estiguin presents, Customer Insights - Data pot processar només els elements canviats i oferir resultats més ràpids. Obteniu més informació sobre els viatges en el temps.

Per exemple, si Customer Insights - Dades sincronitzades per última vegada amb la versió 23 de les dades de la carpeta Delta, espera trobar la versió 23 i possiblement les versions posteriors disponibles. Si les versions de dades esperades no estan disponibles, la sincronització de dades falla i requereix una actualització manual completa de les dades. La sincronització de dades pot fallar si les dades de la carpeta Delta s'han suprimit i es han tornat a crear. O si Customer Insights - Data no s'ha pogut connectar a les carpetes Delta durant un període prolongat mentre avançaven les versions.

Per evitar la necessitat d'una actualització completa de les dades, us recomanem que mantingueu un historial pendent raonable, com ara 15 dies.

Executar manualment una actualització completa de dades en una carpeta de taula Delta

Una actualització completa pren totes les dades d'una taula en format Delta i les torna a carregar des de la versió zero (0) de la taula Delta. Els canvis a l'esquema de la carpeta Delta activen una actualització completa automàtica. Per activar manualment una actualització completa, seguiu els passos següents.

1. Aneu a Fonts> de dades de dades.

2. Seleccioneu la font de dades de taules Delta de l'Azure Data Lake.

3. Seleccioneu la taula que voleu actualitzar. Es mostra la subfinestra Edita la taula .

   

4. Seleccioneu Executa l'actualització completa única.

5. Seleccioneu Desa per executar l'actualització. S'obre la pàgina Fonts de dades que mostra la font de dades en estat d'actualització , però només s'està actualitzant la taula seleccionada.

6. Repetiu el procés per a altres taules, si escau.

Error de sincronització de dades

La sincronització de dades pot fallar si les dades de la carpeta Delta s'han suprimit i es han tornat a crear. O si Customer Insights - Data no s'ha pogut connectar a les carpetes Delta durant un període prolongat mentre avançaven les versions. Per minimitzar l'impacte quan una fallada intermitent del pipeline de dades crea la necessitat d'una actualització completa, us recomanem que mantingueu un historial de treball pendent raonable, com ara 15 dies.

Passos següents

• Visió general de la unificació de dades