Övervaka kontoaktivitet med systemtabeller

Den här artikeln beskriver begreppet systemtabeller i Azure Databricks och markerar resurser som du kan använda för att få ut mesta möjliga av dina systemtabelldata.

Vad är systemtabeller?

Systemtabeller är ett analyslager värdbaserat på Azure Databricks för driftdata i ditt konto som finns i system-katalogen. Systemtabeller kan användas för historisk observerbarhet i hela ditt konto.

Krav

• För att få åtkomst till systemtabeller måste arbetsytan vara aktiverad för Unity Catalog. Mer information finns i Aktivera systemtabellscheman.

• Systemtabeller är inte tillgängliga i följande regioner:
  • Azure Kina-regioner
  • Azure Government-regioner
  • Västra Indien
  • Schweiz, västra

Vilka systemtabeller är tillgängliga?

För närvarande är Azure Databricks värd för följande systemtabeller:

Fakturerbara användnings- och pristabeller är kostnadsfria att använda. Tabeller i offentlig förhandsversion är också kostnadsfria att använda under förhandsversionen, men kan medföra en avgift i framtiden.

Aktivera systemtabellscheman

Eftersom systemtabeller styrs av Unity Catalog måste du ha minst en Unity Catalog-aktiverad arbetsyta i ditt konto för att aktivera och komma åt systemtabeller. Systemtabeller innehåller data från alla arbetsytor i ditt konto, men de kan bara nås från en Unity Catalog-aktiverad arbetsyta.

Systemtabeller aktiveras på schemanivå. Om du aktiverar ett systemschema aktiverar du alla tabeller i schemat. När nya scheman släpps måste kontoadministratören aktivera schemat manuellt.

Systemtabeller måste aktiveras av en kontoadministratör. Du kan aktivera systemtabeller med hjälp av system-schemas kommandon i Databricks CLI- eller med hjälp av SystemSchemas API.

Lista tillgängliga systemscheman

Använd följande curl-kommando för att visa tillgängliga systemscheman:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

Följande är ett exempel på utdata från GET kommandot:

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: Systemschemat är tillgängligt men har ännu inte aktiverats.

state: EnableCompleted: Du har aktiverat systemschemat och det visas i Katalogutforskaren.

Aktivera ett systemschema

Använd följande curl-kommando för att aktivera ett systemschema:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Om systemschemat har aktiverats returneras resultatkoden 200 .

Om du försöker återaktivera ett systemschema returneras följande: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Inaktivera ett systemschema

Använd följande curl-kommando för att inaktivera ett systemschema:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Bevilja åtkomst till systemtabeller

Åtkomst till systemtabeller styrs av Unity Catalog. Ingen användare har åtkomst till dessa systemscheman som standard. För att bevilja åtkomst måste en användare som är både metaarkivadministratör och kontoadministratör bevilja USE och SELECT behörigheter för systemschemana. Se avsnitt Hantera privilegier i Unity Catalog.

Systemtabeller är skrivskyddade och kan inte ändras.

Innehåller systemtabeller data för alla arbetsytor i ditt konto?

Systemtabeller innehåller driftdata för alla arbetsytor i ditt konto som distribueras i samma molnregion. Tabeller för faktureringssystem innehåller kontoomfattande data.

Även om systemtabeller bara kan nås via en Unity Catalog-arbetsyta innehåller tabellerna även driftdata för arbetsytor som inte är Unity-kataloger i ditt konto.

Var lagras systemtabelldata?

Ditt kontos systemtabelldata lagras i ett lagringskonto som hostas av Azure Databricks och som finns i samma region som din metadata-lagring. Data delas säkert med dig via Delta Sharing.

Varje tabell har en fri datakvarhållningsperiod. Om du vill ha information om hur du förlänger kvarhållningsperioden kontaktar du ditt Azure Databricks-kontoteam.

Var finns systemtabeller i Catalog Explorer?

Systemtabellerna i ditt konto finns i en katalog med namnet system, som ingår i alla Unity Catalog-metaarkiv. system I katalogen visas scheman som access och billing som innehåller systemtabellerna.

Överväganden för systemtabeller för direktuppspelning

Azure Databricks använder Delta Sharing för att dela systemtabellsdata med kunder. Tänk på följande när du strömmar med Delta Sharing:

• Om du använder direktuppspelning med systemtabeller anger du alternativet skipChangeCommits till true. Detta säkerställer att strömningsjobbet inte avbryts från borttagningar i systemtabellerna. Se Ignorera uppdateringar och borttagningar.
• Trigger.AvailableNow stöds inte med Delta Sharing-strömning. Den konverteras till Trigger.Once.

Om du använder en utlösare i ditt strömningsjobb och upptäcker att den inte kommer ikapp den senaste systemtabellversionen rekommenderar Databricks att du ökar den schemalagda frekvensen för strömningsjobbet.

Läsa inkrementella ändringar från systemtabeller för direktuppspelning

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Kända problem

• För närvarande finns inget stöd för realtidsövervakning. Data uppdateras under dagen. Om du inte ser någon logg för en händelse nyligen kan du gå tillbaka senare.
• Det __internal_logging systemtabellschemat används för att stödja nyttolastloggning med hjälp av AI Gateway-aktiverade slutsatsdragningstabeller för externa modeller och etablerade dataflödesarbetsbelastningar. Det här schemat är synligt för kontoadministratörer, men det kan inte aktiveras och bör inte användas för kundarbetsflöden.

• Om du vill aktivera systemtabeller kan du behöva bevilja nätverksåtkomst till systemtabellerna Blob Storage-slutpunkt. Information om hur du visar en lista över lagringsslutpunkten för alla regioners systemtabeller finns i IP-adresser för lagringsslutpunkt.
• Systemschemana system.operational_data och system.lineage är inaktuella och innehåller tomma tabeller.