Számítási rendszertáblák referenciája
Fontos
Ez a rendszertábla a nyilvános előzetes verzióként áll rendelkezésre . A tábla eléréséhez engedélyezni kell a sémát a system
katalógusban. További információ: Rendszertábla-sémák engedélyezése.
Ez a cikk referencia-útmutatót nyújt a számítási rendszer tábláihoz. A táblákat használhatja az általános célú és feladatokhoz kapcsolódó számítási kapacitás tevékenységének és metrikáinak figyelésére a fiókjában.
-
clusters
: A fiók számítási konfigurációit rögzíti. -
node_types
: Egyetlen rekordot tartalmaz az összes jelenleg elérhető csomóponttípushoz, beleértve a hardverinformációkat is. -
node_timeline
: Percről percre rögzíti a számítás kihasználtsági metrikáit.
Fürttábla struktúrája
A fürttábla egy lassan változó dimenziótábla, amely a számítási konfigurációk teljes előzményeit tartalmazza az általános célú és a feladatok számítása számára.
Táblázat elérési útja: Ez a rendszertábla a következő helyen található: system.compute.clusters
Név oszlop | Adattípus | Leírás | Példa |
---|---|---|---|
account_id |
húr | Annak a fióknak azonosítója, ahol a klasztert létrehozták. | 23e22ba4-87b9- 4cc2-9770-d10b894b7118 |
workspace_id |
húr | Annak a munkaterületnek az azonosítója, ahol a fürt létre lett hozva. | 1234567890123456 |
cluster_id |
karakterlánc | A klaszter azonosítója, amelyhez ez a rekord társítva van. | 0000-123456-crmpt124 |
cluster_name |
húr | A felhasználó által megadott név a fürthöz. | My cluster |
owned_by |
húr | A fürt tulajdonosának felhasználóneve. Alapértelmezés szerint a fürt létrehozójára van beállítva, de a Clusters API-val módosítható. | sample_user@email.com |
create_time |
időbélyeg | A számítási definíció módosításának időbélyege. | 2023-01-09 11:00:00.000 |
delete_time |
időbélyeg | A fürt törlésének időbélyege. Az érték null , ha a fürt nincs törölve. |
2023-01-09 11:00:00.000 |
driver_node_type |
karakterlánc | Az illesztőcsomópont típusának neve. Ez megegyezik a felhőszolgáltató példánytípus nevével. | Standard_D16s_v3 |
worker_node_type |
húr | Feldolgozó csomóponttípus neve. Ez megegyezik a felhőszolgáltató példánytípus nevével. | Standard_D16s_v3 |
worker_count |
bigint | Dolgozók száma. Csak rögzített méretű fürtökhöz van definiálva. | 4 |
min_autoscale_workers |
bigint | A munkavállalók minimális számának beállítása. Ez a mező csak automatikusan méretezhető fürtök esetében érvényes. | 1 |
max_autoscale_workers |
bigint | A dolgozók maximális száma. Ez a mező csak a fürtök automatikus méretezésére érvényes. | 1 |
auto_termination_minutes |
bigint | A konfigurált automatikus leállítás időtartama. | 120 |
enable_elastic_disk |
Boolean | Az automatikus lemezskálázás engedélyezésének állapota. | true |
tags |
térkép | A klaszter felhasználó által definiált címkéi (nem tartalmazzák az alapértelmezett címkéket). | {"ResourceClass":"SingleNode"} |
cluster_source |
húr | Azt jelzi, ki a fürt létrehozója: UI , API , JOB stb. |
UI |
init_scripts |
tömb | Initálási szkriptek elérési útjainak készlete. | "/Users/example@email.com /files/scripts/install-python-pacakges.sh" |
aws_attributes |
struktúra | AWS-specifikus beállítások. | null |
azure_attributes |
struct | Azure-specifikus beállítások. | { "first_on_demand": "0", "availability": "ON_DEMAND_AZURE", "spot_bid_max_price": "—1" } |
gcp_attributes |
struktúra | GCP-specifikus beállítások. Ez a mező üres lesz. | null |
driver_instance_pool_id |
húr | Példánykészlet azonosítója, ha az illesztőprogram egy példánykészlet tetején van konfigurálva. | 1107-555555-crhod16-pool-DIdnjazB |
worker_instance_pool_id |
zsinór | Példánykészlet azonosítója, ha a feldolgozó egy példánykészlet tetején van konfigurálva. | 1107-555555-crhod16-pool-DIdnjazB |
dbr_version |
húr | A fürt Databricks Runtime környezete. | 14.x-snapshot-scala2.12 |
change_time |
időbélyeg | A számítási definíció módosításának időbélyege. | 2023-01-09 11:00:00.000 |
change_date |
dátum: | Dátum módosítása. Megőrzés céljára használják. | 2023-01-09 |
Csomóponttípusok táblaséma
A csomóponttípustáblázat az alapszintű hardverinformációkkal rögzíti a jelenleg elérhető csomóponttípusokat.
Tábla elérési útja: Ez a rendszertábla a system.compute.node_types
található.
Név oszlop | Adattípus | Leírás | Példa |
---|---|---|---|
account_id |
szál | Annak a fióknak azonosítója, ahol a klasztert létrehozták. | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
node_type |
húr | A csomóponttípus egyedi azonosítója. | Standard_D16s_v3 |
core_count |
dupla | Az instanciához tartozó virtuális CPU-k száma. | 48.0 |
memory_mb |
hosszú | A példány összes memóriája. | 393216 |
gpu_count |
hosszú | A példányhoz rendelt GPU-k száma. | 0 |
Csomópont idővonal táblázatának sémája
A csomópont idősortáblája a csomópontszintű erőforrás-kihasználtsági adatokat rögzíti a percek részletességével. Minden rekord példányonként egy adott percnyi ideig tartalmaz adatokat.
Tábla elérési útja: Ez a rendszertábla a system.compute.node_timeline
található.
Név oszlop | Adattípus | Leírás | Példa |
---|---|---|---|
account_id |
zsinór | Annak a fióknak az azonosítója, amelyen ez a számítási erőforrás fut. | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
karakterlánc | Annak a munkaterületnek az azonosítója, amelyen ez a számítási erőforrás fut. | 1234567890123456 |
cluster_id |
string | A számítási erőforrás azonosítója. | 0000-123456-crmpt124 |
instance_id |
karakterlánc | Az adott példány azonosítója (ID). | i-1234a6c12a2681234 |
start_time |
időbélyeg | A rekord kezdési időpontja UTC-ben. | 2024-07-16T12:00:00Z |
end_time |
időbélyeg | A rekord befejezési ideje UTC-ben. | 2024-07-16T13:00:00Z |
driver |
Boolean | Az, hogy az instance meghajtó vagy munkavégző csomópont. | true |
cpu_user_percent |
dupla | A processzor felhasználóországban töltött idejének százalékos aránya. | 34.76163817234407 |
cpu_system_percent |
dupla | A processzor által a kernelben töltött idő százalékos aránya. | 1.0895310279488264 |
cpu_wait_percent |
dupla | A processzor által az I/O-ra való várakozással töltött idő százalékos aránya. | 0.03445157400629276 |
mem_used_percent |
dupla | Az adott időszakban használt számítási memória százalékos aránya (beleértve a számításon futó háttérfolyamatok által használt memóriát is). | 45.34858216779041 |
mem_swap_percent |
dupla | A memória felcserélésének tulajdonított memóriahasználat százalékos aránya. | 0.014648443087939 |
network_sent_bytes |
bigint | A hálózati forgalomban kiküldött bájtok száma. | 517376 |
network_received_bytes |
bigint | A hálózati forgalomból fogadott bájtok száma. | 179234 |
disk_free_bytes_per_mount_point |
térkép | A lemez kihasználtsága csatlakoztatási pont szerint csoportosítva. Ez a rövid élettartamú tároló csak a számítás futtatása közben van kiépítve. | {"/var/lib/lxc":123455551234,"/": 123456789123,"/local_disk0":123412341234} |
node_type |
húr | A csomóponttípus neve. Meg fog egyezni a példánytípus neve a felhőszolgáltatóéval. | Standard_D16s_v3 |
Ismert korlátozások
- A 2023. október 23. előtt törölt számítási erőforrások nem jelennek meg a fürtök táblában. Ez azt eredményezheti, hogy a
system.billing.usage
táblából származó illesztések nem egyeznek a fürtök táblájának rekordjaival. Az összes aktív számítási erőforrás vissza lett töltve. - Ezek a táblák csak a teljes célú és a feladatok számítási rekordjait tartalmazzák. Nem tartalmaznak rekordokat kiszolgáló nélküli számításhoz, DLT-számításhoz vagy SQL-raktárakhoz.
- Előfordulhat, hogy a 10 percnél rövidebb ideig futott csomópontok nem jelennek meg a
node_timeline
táblázatban.
Minta lekérdezések
Az alábbi minta lekérdezésekkel válaszolhat a gyakori kérdésekre:
- Fürtrekordok összekapcsolása a legújabb számlázási rekordokkal
- A legnagyobb átlagos kihasználtsággal és csúcskihasználtsággal rendelkező számítási erőforrások azonosítása
Feljegyzés
Néhány példa összekapcsolja a fürttáblát a system.billing.usage
táblával. Mivel a számlázási rekordok régióköziek, és a klaszter rekordok régiós-specifikusak, a számlázási rekordok csak annak a régiónak a klaszter rekordjaival egyeznek meg, amelyben a lekérdezést futtatja. Egy másik régió rekordjainak megtekintéséhez hajtsa végre a lekérdezést az adott régióban.
A klaszter rekordok összekapcsolása a legfrissebb számlázási rekordokkal
Ez a lekérdezés segíthet megérteni az idő múlásával kapcsolatos kiadásokat. Miután frissítette a usage_start_time
a legújabb számlázási időszakra, a rendszer beszerzi a számlázási rekordok legújabb frissítéseit, hogy integrálja azokat a fürtökhöz tartozó adatokba.
Az adott futtatás során minden rekord a fürt tulajdonosához van társítva. Így ha a fürt tulajdonosa megváltozik, a költségek a fürt használatának időpontjától függően a megfelelő tulajdonosra kerülnek.
SELECT
u.record_id,
c.cluster_id,
c.owned_by,
c.change_time,
u.usage_start_time,
u.usage_quantity
FROM
system.billing.usage u
JOIN system.compute.clusters c
JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
FROM system.billing.usage u
JOIN system.compute.clusters c
WHERE
u.usage_metadata.cluster_id is not null
and u.usage_start_time >= '2023-01-01'
and u.usage_metadata.cluster_id = c.cluster_id
and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
GROUP BY all) config
WHERE
u.usage_metadata.cluster_id is not null
and u.usage_start_time >= '2023-01-01'
and u.usage_metadata.cluster_id = c.cluster_id
and u.record_id = config.record_id
and c.cluster_id = config.cluster_id
and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;
A legnagyobb átlagos kihasználtsággal és csúcskihasználtsággal rendelkező számítási erőforrások azonosítása
Azonosítsa azokat a teljes célú és feladatalapú számításokat, amelyek a legmagasabb átlagos processzorkihasználtsággal és a legmagasabb csúcs cpu-kihasználtsággal rendelkeznek.
SELECT
distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
avg(cpu_wait_percent) as `Avg CPU Wait`,
max(cpu_wait_percent) as `Max CPU Wait`,
avg(mem_used_percent) as `Avg Memory Utilization`,
max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
node_timeline
WHERE
start_time >= date_add(now(), -1)
GROUP BY
cluster_id,
driver
ORDER BY
3 desc;