Köken Sistem Tabloları Referansı

Bu makalede, iki köken sistemi tablosuna genel bir bakış sağlanır. Bu sistem tabloları, Unity Kataloğu'nun veri kökeni özelliğiüzerine kuruludur ve böylece karar alma ve raporları desteklemek için köken verilerini program aracılığıyla sorgulamanıza olanak tanır.

Tablo kökeni tablosu

Tablo kökeni sistem tablosu, Unity Kataloğu tablosunda veya yolundaki her okuma veya yazma olayı için bir kayıt içerir. Buna iş yürütmeleri, notebook çalıştırmaları ve okuma ya da yazma olaylarıyla güncellenen gösterge tabloları dahildir ancak bunlarla sınırlı değildir.

Tablo yolu: Bu sistem tablosu system.access.table_lineagekonumunda bulunur.

Tablo soyağacı şeması

Tablo kökeni sistem tablosu aşağıdaki şemayı kullanır.

Sütun kökeni tablosu

Sütun kökeni tablosu, kaynağı olmayan olayları içermez. Örneğin, açıkça belirtilmiş değerler kullanarak bir sütuna eklendiğinde, kaydedilmez. Eğer bir sütunu okursanız, çıktıyı yazıp yazmadığınıza bakılmaksızın yakalanır. DLT için sütun izleme desteklenmez.

Tablo yolu: Bu sistem tablosu system.access.column_lineagekonumunda bulunur.

Sütun kökeni şeması

Sütun kökeni sistem tablosu aşağıdaki şemayı kullanır:

Köken sistemi tablolarını okuma

Köken sistemi tablolarını analiz ederken aşağıdaki noktalara dikkat edin:

• entity_typeiçin Azure Databricks DLT, not defterleri, iş görevleri, Databricks SQL sorgularını ve panoları destekler. Diğer kaynaklardan gelen olaylar desteklenmez.
• Eğer entity_type öğesini null olarak görüyorsanız, bu, olaya hiçbir Azure Databricks varlığının dahil olmadığı anlamına gelir. Örneğin, bir JDBC sorgusunun veya bir kullanıcının Azure Databricks kullanıcı arabirimindeki Örnek Veri sekmesine tıklamasının sonucu olabilir.
• Olayın okuma mı yoksa yazma mı olduğunu belirlemek için kaynak türünü ve hedef türü görüntüleyebilirsiniz.
  • Salt okunur: Kaynak türü boş değil, ancak hedef tür boştur.
  • Yalnızca yazma: Hedef tip boş değil, ancak kaynak tip boş.
  • Okuma ve yazma: Kaynak türü ve hedef türü null değil.

Köken sistemi tablo örneği

Kökenlerin sistem tablolarında nasıl kaydedildiğiyle ilgili bir örnek olarak, aşağıda örnek bir sorgu ve ardından sorgunun oluşturduğu köken kayıtları verilmiştir:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

içindeki system.access.table_lineage kayıt şöyle görünür:

içindeki system.access.column_lineage kayıt şöyle görünür:

Dış tablo sorgularının sorunlarını giderme

Bulut depolama yolunu kullanarak bir dış tabloya başvurdığınızda, ilişkili köken kaydı tablo adını değil yalnızca yol adını içerir. Örneğin, bu sorgunun köken kaydı tablo adını değil yol adını içerir:

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Yol tarafından referans verilen bir dış tablonun soy kayıtlarını sorgulamaya çalışıyorsanız, source_path veya target_pathyerine source_table_full_name veya target_table_full_name kullanarak sorguyu filtrelemeniz gerekir. Örneğin, aşağıdaki sorgu bir dış tablonun tüm köken kayıtlarını çeker:

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Örnek: Dış tablo adına göre köken kayıtlarını alma

Kökeni bulmak için bulut depolama yolunu el ile almak istemiyorsanız, tablo adını kullanarak köken verilerini almak için aşağıdaki işlevi kullanabilirsiniz. Fonksiyonda sütun kökenini sorgulamak istiyorsanız system.access.table_lineage'ı system.access.column_lineage ile de değiştirebilirsiniz.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Ardından işlevi çağırmak ve dış tablonun köken kayıtlarını görüntülemek için aşağıdaki komutu kullanın:

display(getLineageForTable("table_name"))