A leszármazási rendszer tábláinak referenciája

Ez a cikk áttekintést nyújt a két életútrendszer-tábláról. Ezek a rendszertáblák a Unity Catalog adatszármazási funkciójáraépülnek, így programozottan lekérdezheti az adatszármazási adatokat a döntéshozatal és a jelentések elkészítéséhez.

Táblázati származás táblázat

A table lineage system table tartalmaz egy rekordot minden olvasási vagy írási eseményhez egy Unity Catalog-táblán vagy elérési úton. Ez magában foglalja, de nem kizárólag a feladatok futtatását, a jegyzetfüzetek futtatását és az olvasási vagy írási eseményekkel frissített irányítópultokat.

Táblázat elérési útja: Ez a rendszertábla a következő helyen system.access.table_lineagetalálható: .

Táblavonal-rendszer

A table lineage system tábla a következő sémát használja.

Oszlop-származási táblázat

Az oszlopsortábla nem tartalmaz olyan eseményeket, amelyek nem rendelkeznek forrással. Ha például egy oszlopba explicit értékek beszúrásával történik a beillesztés, az nem kerül rögzítésre. Ha elolvas egy oszlopot, a rendszer akkor is rögzíti, ha nem írja meg a kimenetet. Az oszlopok származása nem támogatott a DLT esetében.

Táblázat elérési útja: Ez a rendszertábla a következő helyen system.access.column_lineagetalálható: .

oszlopsorséma

Az oszlopsorrendszer táblázata a következő sémát használja:

Olvasóéletút-rendszertáblák

Vegye figyelembe a következő szempontokat a sorrendszertáblák elemzésekor:

• A entity_typeesetében az Azure Databricks támogatja a DLT-t, a jegyzetfüzeteket, a feladatokat, a Databricks SQL-lekérdezéseket és az irányítópultokat. Más entitásokból származó események nem támogatottak.
• Ha a entity_type-t null-ként látja, az azt jelenti, hogy az eseményben nincs Azure Databricks entitás. Ez lehet például egy JDBC-lekérdezés eredménye, vagy egy felhasználó, aki az Azure Databricks felhasználói felületén a Mintaadatok lapra kattint.
• Annak megállapításához, hogy az esemény olvasási vagy írási volt-e, megtekintheti a forrástípust és a céltípust.
  • Írásvédett: A forrástípus nem nulla, de a céltípus nulla.
  • Írásra korlátozott: A céltípus nem nulla, de a forrástípus nulla.
  • Olvasás és írás: A forrástípus és a céltípus nem null értékű.

Példa a leszármazási rendszer táblázatára

Példa a rendszertáblákban való származás rögzítésére: íme egy lekérdezés példája, majd a lekérdezés által létrehozott származási rekordok következnek:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

A(z) system.access.table_lineage rekord így nézne ki:

A(z) system.access.column_lineage rekord így nézne ki:

Külső tábla-lekérdezések hibaelhárítása

Ha egy külső táblára hivatkozik a felhőbeli tároló elérési útján, a társított sorrekord csak az elérési utat tartalmazza, a tábla nevét nem. Például a lekérdezéshez tartozó életútrekord az elérési út nevét tartalmazza, nem pedig a tábla nevét:

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Ha egy elérési út alapján hivatkozott külső tábla lineage rekordjait próbálja lekérdezni, akkor a lekérdezést source_path vagy target_path alapján kell szűrnie source_table_full_name vagy target_table_full_name helyett. Az alábbi lekérdezés például lekéri egy külső tábla összes sorbajegyzését:

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Példa: Származási rekordok lekérése külső táblanév alapján

Ha nem szeretné manuálisan lekérni a felhőtároló elérési útját az adatok származási nyomvonalának meghatározásához, az alábbi függvénnyel lekérheti a származási adatokat a táblanév használatával. Ha oszlopok terjedelmét szeretné lekérdezni, a függvényben is lecserélheti a system.access.table_lineage-t system.access.column_lineage-re.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Ezután a következő paranccsal hívja meg a függvényt, és megjelenítse a külső tábla sortörési rekordjait:

display(getLineageForTable("table_name"))