Megosztás a következőn keresztül:

Delta Lake-táblák bővítése egyéni metaadatokkal

  • Cikk

A Databricks azt javasolja, hogy mindig fűzz megjegyzéseket a táblákhoz és a táblák oszlopaihoz. Ezeket a megjegyzéseket AI használatával hozhatja létre. Lásd: AI által létrehozott megjegyzések hozzáadása Unity Catalog-objektumokhoz.

A Unity Catalog emellett lehetővé teszi az adatok címkézését is. Lásd: Címkék alkalmazása a Unity Catalog biztonságos objektumaira.

Az egyes véglegesítések üzeneteit a Delta Lake tranzakciónaplójának egyik mezőjében lévő táblákba is naplózhatja.

Felhasználó által definiált véglegesítési metaadatok beállítása

A felhasználó által definiált sztringeket metaadatként is megadhatja a véglegesítésekben, a DataFrameWriter vagy userMetadata a SparkSession konfiguráció spark.databricks.delta.commitInfo.userMetadatahasználatával. Ha mindkettő meg van adva, akkor a beállítás előnyben részesíti. Ez a felhasználó által definiált metaadatok olvashatók a DESCRIBE HISTORY műveletben. Lásd: Dolgozzon a Delta Lake táblaelőzményével.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")