Referenční dokumentace systémových tabulek rodokmenu

Tento článek obsahuje přehled dvou systémových tabulek rodokmenu. Tyto systémové tabulky vycházejí z funkce sledování původu dat v Unity Catalog, která umožňuje programově dotazovat data o původu pro podporu rozhodování a sestav.

Tabulka s rodokmenem datových tabulek

Systémová tabulka původu tabulky obsahuje záznam pro každou událost čtení nebo zápisu na tabulce nebo cestě katalogu Unity. To zahrnuje mimo jiné spuštění úloh, spuštění poznámkového bloku a řídicí panely aktualizované událostí čtení nebo zápisu.

Cesta k tabulce: Tato systémová tabulka se nachází na system.access.table_lineageadrese .

schéma rodokmenu tabulky

Tabulka liniového systému používá následující schéma.

Tabulka rodokmenu sloupců

Tabulka rodokmenu sloupců neobsahuje události, které nemají zdroj. Pokud například vložíte do sloupce pomocí explicitních hodnot, nezachytí se. Pokud přečtete sloupec, zachytí se bez ohledu na to, jestli zapíšete výstup. Rodokmen sloupců není pro DLT podporován.

Cesta k tabulce: Tato systémová tabulka se nachází na system.access.column_lineageadrese .

schéma rodokmenu sloupců

Systémová tabulka rodokmenu sloupců používá následující schéma:

Čtení systémových tabulek rodokmenu

Při analýze systémových tabulek rodokmenu si všimněte následujících aspektů:

• Azure Databricks podporuje pro entity_typeDLT, poznámkové bloky, úlohy, dotazy SQL Databricks a řídicí panely. Události z jiných entit nejsou podporovány.
• Pokud se zobrazí entity_type jako null, znamená to, že v události není zahrnuta žádná entita Azure Databricks. Může to být například výsledek dotazu JDBC nebo kliknutí na kartu Ukázková data v uživatelském rozhraní Azure Databricks.
• Pokud chcete zjistit, jestli byla událost čtením nebo zápisem, můžete zobrazit typ zdroje a cílový typ.
  • Jen pro čtení: Typ zdroje není null, ale cílový typ má hodnotu null.
  • Pouze zápis: Cílový typ není null, ale zdrojový typ je null.
  • Čtení a zápis: Typ zdroje a cílový typ nemají hodnotu null.

Příklad systémové tabulky rodokmenu

Jako příklad, jak se rodokmen zaznamenává v systémových tabulkách, tady je příklad dotazu následovaný záznamy rodokmenu, který dotaz vytvoří:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

Záznam system.access.table_lineage by vypadal takto:

Záznam system.access.column_lineage by vypadal takto:

Řešení potíží s dotazy na externí tabulky

Pokud odkazujete na externí tabulku pomocí cesty ke cloudovému úložišti, přidružený záznam rodokmenu obsahuje pouze název cesty, nikoli název tabulky. Záznam rodokmenu pro tento dotaz by například obsahoval název cesty, nikoli název tabulky:

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Pokud se pokoušíte dotazovat záznamy rodokmenu pro externí tabulku odkazovanou cestou, budete muset dotaz filtrovat pomocí source_path nebo target_path místo source_table_full_name nebo target_table_full_name. Například následující dotaz načítá všechny záznamy rodokmenu pro externí tabulku:

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Příklad: Načtení záznamů rodokmenu na základě názvu externí tabulky

Pokud nechcete ručně načíst cestu ke cloudovému úložišti a najít rodokmen, můžete pomocí následující funkce získat data rodokmenu pomocí názvu tabulky. Pokud chcete dotazovat linii sloupců, můžete ve funkci nahradit system.access.table_lineage za system.access.column_lineage.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Pak pomocí následujícího příkazu volejte funkci a zobrazte záznamy rodokmenu pro externí tabulku:

display(getLineageForTable("table_name"))