Odniesienie do tabeli systemu zdarzeń w pomieszczeniach czystych
Ważne
Ta tabela systemowa znajduje się w publicznej wersji zapoznawczej. Aby uzyskać dostęp do tabeli, schemat musi być włączony w katalogu system
. Aby uzyskać więcej informacji, zobacz Włączanie schematów tabel systemowych.
Tabela zdarzeń dotyczących czystych pomieszczeń rejestruje działania podejmowane przez Ciebie lub Twoich współpracowników na Twoim koncie. Ta tabela zawiera dane regionalne z całego konta.
Aby uzyskać więcej informacji na temat czystych pomieszczeń, zobacz Co to jest usługa Azure Databricks Clean Rooms?.
ścieżka tabeli: ta tabela systemowa znajduje się w system.access.clean_room_events
.
Schemat tabeli systemu zdarzeń w czystym pomieszczeniu
Tabela systemu zdarzeń cleanroom używa następującego schematu:
Nazwa kolumny | Typ danych | opis | Przykład |
---|---|---|---|
account_id |
string | Identyfikator konta usługi Databricks | 7af234db-66d7-4db3 -bbf0-956098224879 |
metastore_id |
string | Identyfikator magazynu metadanych Unity Catalog | 5a31ba44-bbf4-4174 -bf33-e1fa078e6765 |
event_id |
string | Identyfikator zdarzenia w czystym pomieszczeniu | db52a413-7a0a-4d49 -b742-7ae5f06bc4b2 |
clean_room_name |
string | Nazwa czystego pokoju skojarzonego ze zdarzeniem | market-analysis |
central_clean_room_id |
string | Identyfikator centralnej sali czystej | e01b6a78-1336-47e1 -b63d-3e49aa5b627 |
initiator_global_metastore_id |
string | Globalny identyfikator magazynu metadanych współpracownika, który zainicjował zdarzenie | aws:us-west-2:ec22936d -cd29-4421-a88a-883fb356776a |
event_time |
znacznik czasu | Sygnatura czasowa zdarzenia | 2023-01-01T01:01:01.123 |
event_type |
string | Typ zdarzenia. Zobacz Zdarzenia zarejestrowane w czystym pomieszczeniu. | CLEAN_ROOM_CREATED |
clean_room_created_metadata |
struktura | Metadane typu zdarzenia CLEAN_ROOM_CREATED |
{ "collaborators": [ {"collaborator_global_metastore_id": "aws:us-west-2:ec22936d-cd29-4421-a88a-883fb356776a"}, {"collaborator_global_metastore_id": "azure:wesus:”3be05a26-5a83-478c-8428-9ef9aa67b5d0"}] } |
clean_room_deleted_metadata |
struktura | Metadane typu zdarzenia CLEAN_ROOM_DELETED |
{ "central_clean_room_id": "af0d4563-2267-412c-9d4a -8a59c4895c18" } |
run_notebook_started_metadata |
struktura | Metadane typu zdarzenia RUN_NOTEBOOK_STARTED |
{ "notebook_name": "market analysis", "notebook_checksum": "7072696E7468656C6C6F776F7264", "run_id": "TaskRunId-634124444694206" } |
run_notebook_completed_metadata |
struktura | Metadane typu zdarzenia RUN_NOTEBOOK_COMPLETED |
Zobacz metadane ukończonego uruchomienia notatnika |
clean_room_assets_updated_metadata |
struktura | Metadane typu zdarzenia CLEAN_ROOM_ASSETS_UPDATED |
{ "added_assets": [{ "data_object_type": "TABLE", "name": "sales", "catalog": "demo"}], "updated_assets":[], "removed_assets": [] } |
delete_output_schema_metadata |
struktura | Metadane typu zdarzenia DELETE_OUTPUT_SCHEMA |
{ "name": "output_schema_55555", "owner_global_metastore_id": "aws:us-west-2:555555-55...", "action": "DELETE" expire_time: "2025-01-14T15:28:19.000Z" } |
initiator_collaborator_alias |
string | Alias współpracownika, który zainicjował wydarzenie. W przypadku czystych pomieszczeń utworzonych za pośrednictwem interfejsu użytkownika wartość to creator lub collaborator . W przypadku czystych pomieszczeń utworzonych przez API, są to wartości niestandardowe określone podczas tworzenia. |
creator |
Zarejestrowane zdarzenia w czystym pomieszczeniu
Ta tabela systemowa rejestruje następujące zdarzenia:
-
CLEAN_ROOM_CREATED
: użytkownik tworzy nowy czysty pokój. -
CLEAN_ROOM_DELETED
: użytkownik usuwa czysty pokój. -
RUN_NOTEBOOK_STARTED
: Użytkownik uruchamia notatnik w czystym pomieszczeniu. -
RUN_NOTEBOOK_COMPLETED
: Ukończono uruchamianie notesu. Sprawdźrun_notebook_completed_metadata
, aby sprawdzić, czy przebieg zakończył się pomyślnie, czy nie. -
CLEAN_ROOM_ASSETS_UPDATED
: Zasoby pomieszczenia czystego są aktualizowane. Może to być dodawanie, aktualizowanie lub usuwanie zasobów. -
DELETE_OUTPUT_SCHEMA
: schemat danych wyjściowych wygasa i jest usuwany.initiator_global_metastore_id
dla tego typu zdarzenia jest zawszesystem
, ponieważ usunięcie następuje, gdy schemat wyjściowy wygasa.
Aby zapobiec zduplikowaniu rekordów, tylko jeden rekord jest emitowany dla każdego zdarzenia w czystych pomieszczeniach, w których współpracownicy należą do tego samego magazynu metadanych. W clean roomach, gdzie współpracownicy należą do oddzielnych magazynów metadanych, dla każdego z nich generowane są unikalne rekordy.
Schemat metadanych uruchomionego notesu został ukończony
Kolumna run_notebook_completed_metadata
zawiera informacje o metadanych dla zdarzeń RUN_NOTEBOOK_COMPLETED
. Jeśli podczas uruchomienia notesu została utworzona tabela wyjściowa, informacje są rejestrowane przy użyciu struktury output_schema
.
Kolumna run_notebook_completed_metadata
używa następującego schematu:
notebook_name: "example_notebook"
run_id: "TaskRunId-55555129818570"
state: "SUCCESS"
duration_in_seconds: 120
output_schema:
name: "output_schema_123450129818570"
owner_global_metastore_id: "aws:us-west-2:55555e-55bc-55a5-55ab-555d5ec16013"
action: "CREATE"
expire_time: "2025-01-14T15:28:19.000Z"
assets_added:
0:
name: "important_data"
data_object_type: "TABLE"
Monitorowanie rozliczanego użycia pomieszczeń czystych
Aby dowiedzieć się więcej na temat użycia i kosztów czystego pomieszczenia, możesz połączyć tę tabelę z tabelą billing.usage
, korzystając z kolumny central_clean_room_id
. W tabeli billing.usage
wykorzystanie pomieszczeń czystych jest przypisywane przy pomocy klucza usage_metadata.central_clean_room_id
.
Przykładowe zapytania
Następujące przykładowe zapytania ułatwiają uzyskanie wglądu w aktywność clean room na Twoim koncie:
- Wyświetl listę wszystkich zdarzeń z określonego pomieszczenia czystego
- wyświetl listę wszystkich zdarzeń zainicjowanych przez określonego współpracownika
- Lista wszystkich odpowiednich współpracowników stref czystych
- Lista najwolniejszych uruchomień notebooka
- Wskaźnik sukcesu dla każdego notatnika
- Wyświetl listę wszystkich zdarzeń, w których określona tabela została dodana do czystych pomieszczeń
Wyświetlanie listy wszystkich zdarzeń z określonego czystego pokoju
Zastąp :central_clean_room_id
identyfikatorem centralnego pomieszczenia czystego, który można znaleźć w panelu szczegółów pomieszczenia obok Central Id.
SELECT
event_time, initiator_global_metastore_id, event_type,
CASE
WHEN event_type = 'CLEAN_ROOM_CREATED' THEN to_json(clean_room_created_metadata)
WHEN event_type = 'CLEAN_ROOM_DELETED' THEN to_json(clean_room_deleted_metadata)
WHEN event_type = 'RUN_NOTEBOOK_STARTED' THEN to_json(run_notebook_started_metadata)
WHEN event_type = 'RUN_NOTEBOOK_COMPLETED' THEN to_json(run_notebook_completed_metadata)
WHEN event_type = 'CLEAN_ROOM_ASSETS_UPDATED' THEN to_json(clean_room_assets_updated_metadata)
ELSE ""
END AS event_metadata
FROM system.access.clean_room_events
WHERE central_clean_room_id = :central_clean_room_id
ORDER BY event_time DESC
Wyświetlanie listy wszystkich zdarzeń zainicjowanych przez określonego współpracownika
W przypadku parametru :initiator_global_metastore_id
wprowadź globalny metastore ID współpracownika, znany również jako identyfikator udostępniania. W przypadku :collaborator_alias
wprowadź alias współpracownika. Domyślnie dwa możliwe aliasy to creator
dla twórcy "czystego pokoju" i collaborator
dla drugiej strony.
SELECT
clean_room_name, central_clean_room_id, event_type, event_time,
CASE
WHEN event_type = 'CLEAN_ROOM_CREATED' THEN to_json(clean_room_created_metadata)
WHEN event_type = 'CLEAN_ROOM_DELETED' THEN to_json(clean_room_deleted_metadata)
WHEN event_type = 'RUN_NOTEBOOK_STARTED' THEN to_json(run_notebook_started_metadata)
WHEN event_type = 'RUN_NOTEBOOK_COMPLETED' THEN to_json(run_notebook_completed_metadata)
WHEN event_type = 'CLEAN_ROOM_ASSETS_UPDATED' THEN to_json(clean_room_assets_updated_metadata)
ELSE ""
END AS event_metadata
FROM system.access.clean_room_events
WHERE initiator_global_metastore_id = :initiator_global_metastore_id AND (initiator_collaborator_alias = :collaborator_alias OR initiator_collaborator_alias IS NULL)
ORDER BY clean_room_name, event_time DESC
Wymienić wszystkich odpowiednich współpracowników cleanroomów
SELECT DISTINCT explode(transform(clean_room_created_metadata.collaborators, x -> x.collaborator_global_metastore_id)) AS collaborator
FROM system.access.clean_room_events
WHERE event_type = 'CLEAN_ROOM_CREATED'
Wymień najwolniejsze uruchomienia notebooka
SELECT
clean_room_name,
run_notebook_completed_metadata.notebook_name AS notebook_name,
run_notebook_completed_metadata.duration_in_seconds AS duration_in_seconds,
run_notebook_completed_metadata.run_id AS run_id
FROM system.access.clean_room_events
WHERE event_type = 'RUN_NOTEBOOK_COMPLETED'
AND run_notebook_completed_metadata.state = 'SUCCESS'
AND run_notebook_completed_metadata.duration_in_seconds IS NOT NULL
ORDER BY duration_in_seconds DESC
Współczynnik przebiegów powodzenia dla każdego notesu
SELECT
clean_room_name,
run_notebook_completed_metadata.notebook_name AS notebook_name,
ROUND(COUNT(CASE WHEN run_notebook_completed_metadata.state = 'SUCCESS' THEN 1 END) * 1.0 / COUNT(*) * 100) AS success_rate
FROM system.access.clean_room_events
WHERE event_type = 'RUN_NOTEBOOK_COMPLETED'
GROUP BY clean_room_name, notebook_name
ORDER BY clean_room_name, notebook_name
Wyświetlanie listy wszystkich zdarzeń, w których określona tabela została dodana do czystych pomieszczeń
Dla parametru :table_name_string
wprowadź określoną nazwę tabeli.
SELECT
clean_room_name,
initiator_global_metastore_id,
event_time,
clean_room_assets_updated_metadata
FROM
system.access.clean_room_events
WHERE
event_type = 'CLEAN_ROOM_ASSETS_UPDATED'
AND exists(
clean_room_assets_updated_metadata.added_assets,
item -> item.data_object_type = 'TABLE'
AND item.name = :table_name_string
)
ORDER BY
clean_room_name,
event_time DESC