Delta Lake-táblák bővítése egyéni metaadatokkal
A Databricks azt javasolja, hogy mindig fűzz megjegyzéseket a táblákhoz és a táblák oszlopaihoz. Ezeket a megjegyzéseket AI használatával hozhatja létre. Lásd: AI által létrehozott megjegyzések hozzáadása Unity Catalog-objektumokhoz.
A Unity Catalog emellett lehetővé teszi az adatok címkézését is. Lásd: Címkék alkalmazása a Unity Catalog biztonságos objektumaira.
Az egyes véglegesítések üzeneteit a Delta Lake tranzakciónaplójának egyik mezőjében lévő táblákba is naplózhatja.
Felhasználó által definiált véglegesítési metaadatok beállítása
A felhasználó által definiált sztringeket metaadatként is megadhatja a véglegesítésekben, a DataFrameWriter vagy userMetadata
a SparkSession konfiguráció spark.databricks.delta.commitInfo.userMetadata
használatával. Ha mindkettő meg van adva, akkor a beállítás előnyben részesíti. Ez a felhasználó által definiált metaadatok olvashatók a DESCRIBE HISTORY
műveletben. Lásd: Dolgozzon a Delta Lake táblaelőzményével.
SQL
SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source
Python
df.write \
.mode("overwrite") \
.option("userMetadata", "some-comment") \
.table("target_table")
Scala
df.write
.mode("overwrite")
.option("userMetadata", "some-comment")
.table("target_table")