Odniesienie do tabel systemowych powiązań

Ten artykuł zawiera omówienie dwóch tabel systemowych pochodzenia. Te tabele systemowe bazują na funkcji pochodzenia danych Unity Catalog , co umożliwia programowe wykonywanie zapytań dotyczących pochodzenia danych, wspierając podejmowanie decyzji i sporządzanie raportów.

Tabela pochodzenia tabel

Tabela systemu śledzenia pochodzenia tabeli zawiera rekord dla każdego zdarzenia odczytu lub zapisu w tabeli lub ścieżce katalogu Unity. To obejmuje, ale nie ogranicza się do uruchamiania zadań, uruchamiania notesów i pulpitów nawigacyjnych zaktualizowanych w wyniku zdarzenia odczytu lub zapisu.

ścieżka tabeli: ta tabela systemowa znajduje się w system.access.table_lineage.

schemat pochodzenia tabel

Tabela systemu pochodzenia tabel używa następującego schematu.

Tabela pochodzenia kolumn

Tabela pochodzenia kolumn nie zawiera zdarzeń, które nie mają źródła. Na przykład, jeśli wstawisz jawne wartości do kolumny, nie zostanie to zapisane. Jeśli odczytujesz kolumnę, zostanie przechwycona niezależnie od tego, czy zapisujesz dane wyjściowe. Pochodzenie kolumn nie jest obsługiwane w przypadku biblioteki DLT.

ścieżka tabeli: ta tabela systemowa znajduje się w system.access.column_lineage.

Schemat pochodzenia kolumn

Tabela systemu pochodzenia kolumn używa następującego schematu:

Odczytywanie tabel systemowych genealogii

Podczas analizowania tabel systemowych pochodzenia należy zwrócić uwagę na następujące kwestie:

• W przypadku entity_type Azure Databricks obsługuje DLT, notesy, zadania, zapytania Databricks SQL i pulpity nawigacyjne. Zdarzenia z innych jednostek nie są obsługiwane.
• Jeśli widzisz element entity_type jako null, oznacza to, że żadna jednostka usługi Azure Databricks nie jest zaangażowana w to zdarzenie. Może to być na przykład wynik zapytania JDBC lub kliknięcie przez użytkownika na karcie Przykładowe dane w interfejsie użytkownika usługi Azure Databricks.
• Aby określić, czy zdarzenie było odczytem, czy zapisem, możesz wyświetlić typ źródła i typ docelowy.
  • Tylko do odczytu: typ źródła jest niezerowy, ale typ docelowy ma wartość null.
  • Tylko do zapisu: typ docelowy nie ma wartości null, ale typ źródłowy ma wartość null.
  • Odczyt i zapis: typ źródła i typ docelowy nie mają wartości null.

Przykład tabeli systemu genealogicznego

Przykładem, jak rejestrowane jest pochodzenie w tabelach systemowych, jest przykładowe zapytanie, po którym następują rekordy pochodzenia tworzone przez zapytanie:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

Rekord w pliku system.access.table_lineage będzie wyglądać następująco:

Rekord w pliku system.access.column_lineage będzie wyglądać następująco:

Rozwiązywanie problemów z zapytaniami tabel zewnętrznych

W przypadku odwołania się do tabeli zewnętrznej, korzystając ze ścieżki przechowywania w chmurze, skojarzony rekord pochodzenia danych zawiera tylko nazwę ścieżki, a nie nazwę tabeli. Na przykład rekord pochodzenia dla tego zapytania będzie zawierać nazwę ścieżki, a nie nazwę tabeli:

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Jeśli próbujesz wykonać zapytanie danych dotyczących pochodzenia dla zewnętrznej tabeli odwoływanej za pomocą ścieżki, powinieneś/powinnaś filtrować zapytanie, używając source_path lub target_path zamiast source_table_full_name lub target_table_full_name. Na przykład następujące zapytanie ściąga wszystkie rekordy pochodzenia dla tabeli zewnętrznej:

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Przykład: Pobieranie rekordów rodowodowych na podstawie nazwy tabeli zewnętrznej

Jeśli nie chcesz ręcznie pobierać ścieżki do magazynu w chmurze, aby znaleźć linię, możesz użyć następującej funkcji, aby pobrać dane linii przy użyciu nazwy tabeli. Możesz również zastąpić system.access.table_lineagesystem.access.column_lineage w funkcji, jeśli chcesz wykonać zapytanie dotyczące pochodzenia kolumn.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Następnie użyj następującego polecenia, aby wywołać funkcję i wyświetlić rekordy pochodzenia dla tabeli zewnętrznej:

display(getLineageForTable("table_name"))