Verwijzing naar afstammingssysteemtabellen

Dit artikel bevat een overzicht van de twee herkomstsysteemtabellen. Deze systeemtabellen zijn gebaseerd op de functie voor gegevensherkomst van Unity Catalog, zodat u programmatisch gegevens van herkomst kunt opvragen om beslissingen en rapporten te maken.

Afstammingtabeloverzicht

De systeemtabel voor tabelafstamming bevat een record voor elke lees- of schrijfbewerking in een Unity Catalog-tabel of -pad. Dit omvat, maar is niet beperkt tot taakuitvoeringen, notebookuitvoeringen en dashboards die zijn bijgewerkt met de lees- of schrijfbeurtenis.

Tabelpad: Deze systeemtabel bevindt zich op system.access.table_lineage.

tabelherkomstschema

De tabel van het tabelherkomstsysteem maakt gebruik van het volgende schema.

Tabel voor kolomherkomst

De kolomherkomsttabel bevat geen gebeurtenissen die geen bron hebben. Als u bijvoorbeeld invoegt in een kolom met expliciete waarden, wordt deze niet vastgelegd. Als u een kolom leest, wordt deze vastgelegd, ongeacht of u de uitvoer schrijft. Kolomafstamming wordt niet ondersteund voor DLT.

Tabelpad: Deze systeemtabel bevindt zich op system.access.column_lineage.

kolomafstammingsschema

De tabel van het kolomherkomstsysteem maakt gebruik van het volgende schema:

Systeemtabellen voor afstammingsinformatie lezen

Let op de volgende overwegingen bij het analyseren van afstammingssysteemtabellen:

• Voor de entity_typeondersteunt Azure Databricks DLT, notebooks, jobs, Databricks SQL-query's en dashboards. Gebeurtenissen van andere entiteiten worden niet ondersteund.
• Als u de entity_type als null ziet, betekent dit dat er geen Azure Databricks-entiteit betrokken is bij de gebeurtenis. Dit kan bijvoorbeeld het resultaat zijn van een JDBC-query of van een gebruiker die op het tabblad Voorbeeldgegevens klikt in de gebruikersinterface van Azure Databricks.
• Als u wilt bepalen of de gebeurtenis een lees- of schrijfbewerking is, kunt u het brontype en het doeltype bekijken.
  • Alleen-lezen: het brontype is niet nul, maar het doeltype is nul.
  • Alleen-schrijven: Het doeltype is niet nul, maar het brontype is nul.
  • Lezen en schrijven: het brontype en het doeltype zijn niet null.

Voorbeeld van een lijnsysteemtabel

Als voorbeeld van hoe herkomst wordt vastgelegd in systeemtabellen, volgt hier een voorbeeldquery gevolgd door de herkomstrecords die door de query worden gemaakt:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

De record in system.access.table_lineage ziet er als volgt uit:

De record in system.access.column_lineage ziet er als volgt uit:

Het oplossen van problemen met externe tabelquery's

Wanneer u naar een externe tabel verwijst met behulp van het cloudopslagpad, bevat de bijbehorende herkomstrecord alleen de padnaam en niet de tabelnaam. De herkomstrecord voor deze query bevat bijvoorbeeld de padnaam en niet de tabelnaam:

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Als u een query wilt uitvoeren op herkomstrecords voor een externe tabel waarnaar wordt verwezen via pad, moet u de query filteren met source_path of target_path in plaats van source_table_full_name of target_table_full_name. Met de volgende query worden bijvoorbeeld alle herkomstrecords voor een externe tabel opgehaald:

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Voorbeeld: Herkomstrecords ophalen op basis van de naam van de externe tabel

Als u het cloudopslagpad niet handmatig wilt ophalen om herkomst te vinden, kunt u de volgende functie gebruiken om herkomstgegevens op te halen met behulp van de tabelnaam. U kunt ook system.access.table_lineage vervangen door system.access.column_lineage in de functie als u gegevens wilt opvragen over kolomafstamming.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Gebruik vervolgens de volgende opdracht om de functie aan te roepen en herkomstrecords voor de externe tabel weer te geven:

display(getLineageForTable("table_name"))