Referens för härkomstsystemtabeller

Den här artikeln innehåller en översikt över de två ursprungssystemtabellerna. Dessa systemtabeller bygger på Unity Catalogs data härledningsfunktion, vilket gör att du programmeringsmässigt kan fråga om härkomstdata i syfte att understödja beslutsfattande och rapporter.

Linjediagram för tabell

Tabellens härkomstsystemtabell innehåller en post för varje läs- eller skrivhändelse på en Unity Catalog-tabell eller sökväg. Detta omfattar men är inte begränsat till jobbkörningar, anteckningsblockskörningar och instrumentpaneler som uppdateras med läs- eller skrivhändelsen.

Tabellsökväg: Den här systemtabellen finns på system.access.table_lineage.

Tabell härstamningsschema

Tabellsystemet för härkomst använder följande schema.

Kolumn linjetabell

Kolumnens ursprungstabell innehåller inte händelser som inte har någon källa. Om du till exempel infogar i en kolumn med explicita värden hämtas den inte. Om du läser en kolumn registreras den oavsett om du skriver utdata eller inte. Kolumnlinje stöds inte för DLT.

Tabellsökväg: Den här systemtabellen finns på system.access.column_lineage.

Kolumnlinjeschema

Systemtabellen för kolumn härkomst använder följande schema:

Läsa systemtabeller för härkomst

Observera följande när du analyserar systemtabeller för ursprung:

• För entity_typestöder Azure Databricks DLT, anteckningsböcker, jobb, Databricks SQL-frågor och dashboards. Händelser från andra entiteter stöds inte.
• Om du ser entity_type som nullbetyder det att ingen Azure Databricks-entitet är inblandad i händelsen. Det kan till exempel vara resultatet av en JDBC-fråga eller från en användare som klickar på fliken Exempeldata i Azure Databricks-användargränssnittet.
• För att avgöra om händelsen var en läsning eller en skrivning kan du visa källtypen och måltypen.
  • Skrivskyddad: Källtypen är inte null, men måltypen är null.
  • Endast skriven: Måltypen har inte värdet null, men källtypen har värdet null.
  • Läs och skriv: Källtypen och måltypen är inte null.

Exempel på härkomstsystemtabell

Som ett exempel på hur ursprung registreras i systemtabeller är här en exempelfråga följt av de härstamningsposter som frågan skapar:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

Posten i system.access.table_lineage skulle se ut så här:

Posten i system.access.column_lineage ser ut så här:

Felsöka externa tabellfrågor

När du refererar till en extern tabell med hjälp av dess molnlagringssökväg innehåller den associerade informationen om härstamningen endast sökvägens namn och inte tabellnamnet. Till exempel skulle härledningsposten för denna fråga innehålla sökvägens namn och inte tabellnamnet.

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Om du försöker fråga efter härkomstposter för en extern tabell med angiven sökväg måste du filtrera frågan med hjälp av source_path eller target_path i stället för source_table_full_name eller target_table_full_name. Till exempel hämtar följande frågeställning alla linjeposter för en externtabell.

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Exempel: Hämta ursprungsposter baserat på namnet på den externa tabellen

Om du inte vill hämta molnlagringssökvägen manuellt för att hitta ursprung kan du använda följande funktion för att hämta ursprungsdata med hjälp av tabellnamnet. Du kan också ersätta system.access.table_lineage med system.access.column_lineage i funktionen om du vill fråga kolumnhärstamning.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Använd sedan följande kommando för att anropa funktionen och visa ursprungsposter för den externa tabellen:

display(getLineageForTable("table_name"))