Informazioni di riferimento sulle tabelle di sistema di derivazione

Questo articolo fornisce una panoramica di due tabelle di sistema di derivazione. Queste tabelle di sistema si basano sulla funzionalità di derivazione dei dati di Unity Catalog, consentendo di eseguire query sui dati di derivazione a livello di codice per alimentare processi decisionali e report.

Tabella delle derivazioni

La tabella del sistema di lineage delle tabelle include un registro per ogni evento di lettura o scrittura su una tabella o un percorso di Unity Catalog. Ciò include, ma non è limitato a, esecuzioni di lavori, esecuzioni di notebook e aggiornamenti delle dashboard con l'evento di lettura o scrittura.

Percorso tabella: questa tabella di sistema si trova in system.access.table_lineage.

schema di lineage delle tabelle

La tabella del sistema delle linee delle tabelle utilizza il seguente schema.

Tabella di derivazione delle colonne

La tabella di derivazione della colonna non include eventi che non dispongono di un'origine. Ad esempio, se inserisci in una colonna utilizzando valori espliciti, non viene registrato. Se si legge una colonna, questa viene registrata indipendentemente dal fatto che si scriva o meno l'output. La derivazione delle colonne non è supportata per DLT.

Percorso tabella: questa tabella di sistema si trova in system.access.column_lineage.

schema di derivazione delle colonne

La tabella di sistema di derivazione delle colonne usa lo schema seguente:

Lettura delle tabelle di sistema di derivazione

Quando si analizzano le tabelle di sistema di derivazione, tenere presente quanto segue:

• Per il entity_type, Azure Databricks supporta DLT, taccuini, lavori, query SQL di Databricks e pannelli di controllo. Gli eventi di altre entità non sono supportati.
• Se viene visualizzato entity_type come null, significa che nell'evento non è coinvolta alcuna entità di Azure Databricks. Ad esempio, potrebbe trattarsi del risultato di una query JDBC o di un utente che fa clic nella scheda Dati di esempio nell'interfaccia utente di Azure Databricks.
• Per determinare se l'evento è stato letto o scritto, è possibile visualizzare il tipo di origine e il tipo di destinazione.
  • Sola lettura: il tipo di origine non è null, ma il tipo di destinazione è null.
  • Sola scrittura: il tipo di destinazione non è null, ma il tipo di origine è null.
  • Leggi e scrivi: il tipo di origine e il tipo di destinazione non sono nulli.

Esempio di tabella di sistema di derivazione

Come esempio di come viene registrata la derivazione nelle tabelle di sistema, di seguito è riportato un esempio di query seguita dai record di derivazione creati dalla query:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

Il record in system.access.table_lineage sarà simile al seguente:

Il record in system.access.column_lineage sarà simile al seguente:

Risoluzione dei problemi relativi alle query sulle tabelle esterne

Quando si fa riferimento a una tabella esterna usando il relativo percorso di archiviazione cloud, il record di derivazione associato include solo il nome del percorso e non il nome della tabella. Ad esempio, il record di derivazione per questa query include il nome del percorso e non il nome della tabella:

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Se si sta tentando di eseguire query sui record di derivazione per una tabella esterna a cui fa riferimento il percorso, sarà necessario filtrare la query usando source_path o target_path anziché source_table_full_name o target_table_full_name. Ad esempio, la query seguente esegue il pull di tutti i record di derivazione per una tabella esterna:

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Esempio: Recuperare record di derivazione in base al nome della tabella esterna

Se non si vuole recuperare manualmente il percorso di archiviazione cloud per trovare la derivazione, è possibile usare la funzione seguente per ottenere dati di derivazione usando il nome della tabella. È anche possibile sostituire system.access.table_lineage con system.access.column_lineage nella funzione se si desidera eseguire una query sulla derivazione delle colonne.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Usare quindi il comando seguente per chiamare la funzione e visualizzare i record di derivazione per la tabella esterna:

display(getLineageForTable("table_name"))