Fióktevékenység figyelése rendszertáblákkal

Ez a cikk ismerteti az Azure Databricks rendszertábláinak fogalmát, és kiemeli azokat az erőforrásokat, amelyek segítségével a lehető legtöbbet hozhatja ki a rendszertáblák adataiból.

Mik azok a rendszertáblák?

A rendszertáblák a fiók működési adatainak Azure Databricks által üzemeltetett elemzési tárai, amelyek a system katalógusban találhatók. A rendszertáblák felhasználhatók a fiók előzményeinek megfigyelhetőségére.

Követelmények

• A rendszertáblák eléréséhez a munkaterületnek engedélyezve kell lennie a Unity Catalogban. További információ: Rendszertábla-sémák engedélyezése.

• A rendszertáblák nem érhetők el a következő régiókban:
  • Azure China-régiók
  • Azure Kormányzati régiók
  • Nyugat-India
  • Nyugat-Svájc

Mely rendszertáblák érhetők el?

Az Azure Databricks jelenleg a következő rendszertáblákat üzemelteti:

A számlázható használati és tarifatáblák szabadon használhatók. A nyilvános előzetes verzióban lévő táblák szintén ingyenesen használhatók az előzetes verzióban, de a jövőben díjat vonhatnak maga után.

Rendszertábla sémáinak engedélyezése

Mivel a rendszertáblákat a Unity Catalog szabályozza, a rendszertáblák engedélyezéséhez és eléréséhez legalább egy Unity Catalog-kompatibilis munkaterülettel kell rendelkeznie a fiókjában. A rendszertáblák a fiók összes munkaterületéről tartalmaznak adatokat, de csak unitykatalógus-kompatibilis munkaterületről érhetők el.

A rendszertáblák sémaszinten engedélyezve vannak. Ha engedélyezi a rendszerséma használatát, a sémán belüli összes táblát engedélyezi. Új sémák kiadásakor a fiókadminisztrátornak manuálisan kell engedélyeznie a sémát.

A rendszertáblákat egy fiókadminisztrátornak kell engedélyeznie. A rendszertáblákat a system-schemas parancsaival vagy a SystemSchemas APIhasználatával engedélyezheti.

Elérhető rendszersémák listázása

A következő curl paranccsal listázhatja az elérhető rendszersémákat:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

Az alábbi a(z) GET parancs kimenetének példája:

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: A rendszerséma elérhető, de még nincs engedélyezve.

state: EnableCompleted: Engedélyezte a rendszersémát, és látható a Katalógusböngészőben.

Rendszerséma engedélyezése

A rendszerséma engedélyezéséhez használja a következő curl-parancsot:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Ha a rendszerséma sikeresen engedélyezve van, az eredménykód 200 lesz visszaadva.

Ha megkísérel újra engedélyezni egy rendszerséma használatát, a rendszer a következőt adja vissza: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Rendszerséma letiltása

A rendszerséma letiltásához használja a következő curl parancsot:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Hozzáférés biztosítása a rendszertáblákhoz

A rendszertáblákhoz való hozzáférést a Unity Katalógus szabályozza. Alapértelmezés szerint egyetlen felhasználó sem fér hozzá ezekhez a rendszersémákhoz. A hozzáférés biztosításához a metaadattár-rendszergazda és a fiókadminisztrátor is USE és SELECT engedélyt kell adnia a rendszersémákhoz. Lásd: Jogosultságok kezelése a Unity Catalog.

A rendszertáblák írásvédettek, és nem módosíthatók.

A rendszertáblák tartalmazzák a fiók összes munkaterületének adatait?

A rendszertáblák az ugyanazon a felhőrégióban üzembe helyezett fiók összes munkaterületének működési adatait tartalmazzák. A számlázási rendszertáblák fiókszintű adatokat tartalmaznak.

Annak ellenére, hogy a rendszertáblák csak unitykatalógus-munkaterületen keresztül érhetők el, a táblák a fiók nem Unity-katalógus munkaterületeinek működési adatait is tartalmazzák.

Hol vannak tárolva a rendszertáblák adatai?

A fiók rendszertáblájának adatait egy, a metaadattárával azonos régióban található Azure Databricks által üzemeltetett tárfiók tárolja. Az adatok biztonságosan meg lesznek osztva Önnel a Delta Sharing használatával.

Minden tábla ingyenes adatmegőrzési időszakkal rendelkezik. A megőrzési időszak meghosszabbításával kapcsolatos információkért forduljon az Azure Databricks-fiók csapatához.

Hol találhatók rendszertáblák a Catalog Explorerben?

A fiók rendszertáblái egy systemnevű katalógusban találhatók, amely minden Unity Catalog-metaadattárban megtalálható. A system katalógusban olyan sémák láthatók, mint például a rendszertáblákat tartalmazó access és billing.

A streamelési rendszer tábláinak szempontjai

Az Azure Databricks a Delta Sharing használatával osztja meg a rendszertáblák adatait az ügyfelekkel. A Delta Sharing használatával történő streamelés során vegye figyelembe a következő szempontokat:

• Ha rendszertáblákkal streamel, állítsa a skipChangeCommits opciót true-re. Ez biztosítja, hogy a streamelési feladat ne legyen megszakítva a rendszertáblákban lévő törlésekkel. Lásd: Frissítések és törlések figyelmen kívül hagyása.
• Trigger.AvailableNow a Delta Sharing streamelése nem támogatott. A rendszer átalakítja a következővé Trigger.Once: .

Ha egy eseményindítót használ a streamelési feladatban, és úgy találja, hogy az nem éri el a legújabb rendszertábla-verziót, a Databricks azt javasolja, hogy növelje a feladat ütemezett gyakoriságát.

Növekményes változások olvasása a streamelési rendszer tábláiból

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Ismert problémák

• A valós idejű monitorozás jelenleg nem támogatott. Az adatok a nap folyamán frissülnek. Ha nem látja egy nemrég történt esemény naplózását, térjen vissza később.
• A __internal_logging rendszertábla sémája a hasznos adatok naplózásának támogatására szolgál külső modellek esetén, AI-átjáróval kompatibilis következtetési táblák és kiosztott átviteli sebességű számítási feladatok használatával. Ez a séma látható a fiókadminisztrátor számára, de nem engedélyezhető, és nem használható ügyfél-munkafolyamatokhoz.

• A rendszertáblák engedélyezéséhez előfordulhat, hogy hálózati hozzáférést kell biztosítania a rendszertáblák Blob tároló végpontjához. Az egyes régiók rendszertábláinak tárolási végpontjainak listáját a Storage-végpont IP-címeinekcímű cikkben tekintheti meg.
• A rendszerséma system.operational_data és system.lineage elavult, és üres táblákat tartalmaz.