Megosztás a következőn keresztül:


Számítási rendszertáblák referenciája

Fontos

Ez a rendszertábla a nyilvános előzetes verzióként áll rendelkezésre . A tábla eléréséhez engedélyezni kell a sémát a system katalógusban. További információ: Rendszertábla-sémák engedélyezése.

Ez a cikk referencia-útmutatót nyújt a számítási rendszer tábláihoz. A táblákat használhatja az általános célú és feladatokhoz kapcsolódó számítási kapacitás tevékenységének és metrikáinak figyelésére a fiókjában.

  • clusters: A fiók számítási konfigurációit rögzíti.
  • node_types: Egyetlen rekordot tartalmaz az összes jelenleg elérhető csomóponttípushoz, beleértve a hardverinformációkat is.
  • node_timeline: Percről percre rögzíti a számítás kihasználtsági metrikáit.

Fürttábla struktúrája

A fürttábla egy lassan változó dimenziótábla, amely a számítási konfigurációk teljes előzményeit tartalmazza az általános célú és a feladatok számítása számára.

Táblázat elérési útja: Ez a rendszertábla a következő helyen található: system.compute.clusters

Név oszlop Adattípus Leírás Példa
account_id húr Annak a fióknak azonosítója, ahol a klasztert létrehozták. 23e22ba4-87b9-
4cc2-9770-d10b894b7118
workspace_id húr Annak a munkaterületnek az azonosítója, ahol a fürt létre lett hozva. 1234567890123456
cluster_id karakterlánc A klaszter azonosítója, amelyhez ez a rekord társítva van. 0000-123456-crmpt124
cluster_name húr A felhasználó által megadott név a fürthöz. My cluster
owned_by húr A fürt tulajdonosának felhasználóneve. Alapértelmezés szerint a fürt létrehozójára van beállítva, de a Clusters API-val módosítható. sample_user@email.com
create_time időbélyeg A számítási definíció módosításának időbélyege. 2023-01-09 11:00:00.000
delete_time időbélyeg A fürt törlésének időbélyege. Az érték null, ha a fürt nincs törölve. 2023-01-09 11:00:00.000
driver_node_type karakterlánc Az illesztőcsomópont típusának neve. Ez megegyezik a felhőszolgáltató példánytípus nevével. Standard_D16s_v3
worker_node_type húr Feldolgozó csomóponttípus neve. Ez megegyezik a felhőszolgáltató példánytípus nevével. Standard_D16s_v3
worker_count bigint Dolgozók száma. Csak rögzített méretű fürtökhöz van definiálva. 4
min_autoscale_workers bigint A munkavállalók minimális számának beállítása. Ez a mező csak automatikusan méretezhető fürtök esetében érvényes. 1
max_autoscale_workers bigint A dolgozók maximális száma. Ez a mező csak a fürtök automatikus méretezésére érvényes. 1
auto_termination_minutes bigint A konfigurált automatikus leállítás időtartama. 120
enable_elastic_disk Boolean Az automatikus lemezskálázás engedélyezésének állapota. true
tags térkép A klaszter felhasználó által definiált címkéi (nem tartalmazzák az alapértelmezett címkéket). {"ResourceClass":"SingleNode"}
cluster_source húr Azt jelzi, ki a fürt létrehozója: UI, API, JOB stb. UI
init_scripts tömb Initálási szkriptek elérési útjainak készlete. "/Users/example@email.com
/files/scripts/install-python-pacakges.sh"
aws_attributes struktúra AWS-specifikus beállítások. null
azure_attributes struct Azure-specifikus beállítások. {
"first_on_demand": "0",
"availability": "ON_DEMAND_AZURE",
"spot_bid_max_price": "—1"
}
gcp_attributes struktúra GCP-specifikus beállítások. Ez a mező üres lesz. null
driver_instance_pool_id húr Példánykészlet azonosítója, ha az illesztőprogram egy példánykészlet tetején van konfigurálva. 1107-555555-crhod16-pool-DIdnjazB
worker_instance_pool_id zsinór Példánykészlet azonosítója, ha a feldolgozó egy példánykészlet tetején van konfigurálva. 1107-555555-crhod16-pool-DIdnjazB
dbr_version húr A fürt Databricks Runtime környezete. 14.x-snapshot-scala2.12
change_time időbélyeg A számítási definíció módosításának időbélyege. 2023-01-09 11:00:00.000
change_date dátum: Dátum módosítása. Megőrzés céljára használják. 2023-01-09

Csomóponttípusok táblaséma

A csomóponttípustáblázat az alapszintű hardverinformációkkal rögzíti a jelenleg elérhető csomóponttípusokat.

Tábla elérési útja: Ez a rendszertábla a system.compute.node_typestalálható.

Név oszlop Adattípus Leírás Példa
account_id szál Annak a fióknak azonosítója, ahol a klasztert létrehozták. 23e22ba4-87b9-4cc2-9770-d10b894b7118
node_type húr A csomóponttípus egyedi azonosítója. Standard_D16s_v3
core_count dupla Az instanciához tartozó virtuális CPU-k száma. 48.0
memory_mb hosszú A példány összes memóriája. 393216
gpu_count hosszú A példányhoz rendelt GPU-k száma. 0

Csomópont idővonal táblázatának sémája

A csomópont idősortáblája a csomópontszintű erőforrás-kihasználtsági adatokat rögzíti a percek részletességével. Minden rekord példányonként egy adott percnyi ideig tartalmaz adatokat.

Tábla elérési útja: Ez a rendszertábla a system.compute.node_timelinetalálható.

Név oszlop Adattípus Leírás Példa
account_id zsinór Annak a fióknak az azonosítója, amelyen ez a számítási erőforrás fut. 23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id karakterlánc Annak a munkaterületnek az azonosítója, amelyen ez a számítási erőforrás fut. 1234567890123456
cluster_id string A számítási erőforrás azonosítója. 0000-123456-crmpt124
instance_id karakterlánc Az adott példány azonosítója (ID). i-1234a6c12a2681234
start_time időbélyeg A rekord kezdési időpontja UTC-ben. 2024-07-16T12:00:00Z
end_time időbélyeg A rekord befejezési ideje UTC-ben. 2024-07-16T13:00:00Z
driver Boolean Az, hogy az instance meghajtó vagy munkavégző csomópont. true
cpu_user_percent dupla A processzor felhasználóországban töltött idejének százalékos aránya. 34.76163817234407
cpu_system_percent dupla A processzor által a kernelben töltött idő százalékos aránya. 1.0895310279488264
cpu_wait_percent dupla A processzor által az I/O-ra való várakozással töltött idő százalékos aránya. 0.03445157400629276
mem_used_percent dupla Az adott időszakban használt számítási memória százalékos aránya (beleértve a számításon futó háttérfolyamatok által használt memóriát is). 45.34858216779041
mem_swap_percent dupla A memória felcserélésének tulajdonított memóriahasználat százalékos aránya. 0.014648443087939
network_sent_bytes bigint A hálózati forgalomban kiküldött bájtok száma. 517376
network_received_bytes bigint A hálózati forgalomból fogadott bájtok száma. 179234
disk_free_bytes_per_mount_point térkép A lemez kihasználtsága csatlakoztatási pont szerint csoportosítva. Ez a rövid élettartamú tároló csak a számítás futtatása közben van kiépítve. {"/var/lib/lxc":123455551234,"/":
123456789123,"/local_disk0":123412341234}
node_type húr A csomóponttípus neve. Meg fog egyezni a példánytípus neve a felhőszolgáltatóéval. Standard_D16s_v3

Ismert korlátozások

  • A 2023. október 23. előtt törölt számítási erőforrások nem jelennek meg a fürtök táblában. Ez azt eredményezheti, hogy a system.billing.usage táblából származó illesztések nem egyeznek a fürtök táblájának rekordjaival. Az összes aktív számítási erőforrás vissza lett töltve.
  • Ezek a táblák csak a teljes célú és a feladatok számítási rekordjait tartalmazzák. Nem tartalmaznak rekordokat kiszolgáló nélküli számításhoz, DLT-számításhoz vagy SQL-raktárakhoz.
  • Előfordulhat, hogy a 10 percnél rövidebb ideig futott csomópontok nem jelennek meg a node_timeline táblázatban.

Minta lekérdezések

Az alábbi minta lekérdezésekkel válaszolhat a gyakori kérdésekre:

Feljegyzés

Néhány példa összekapcsolja a fürttáblát a system.billing.usage táblával. Mivel a számlázási rekordok régióköziek, és a klaszter rekordok régiós-specifikusak, a számlázási rekordok csak annak a régiónak a klaszter rekordjaival egyeznek meg, amelyben a lekérdezést futtatja. Egy másik régió rekordjainak megtekintéséhez hajtsa végre a lekérdezést az adott régióban.

A klaszter rekordok összekapcsolása a legfrissebb számlázási rekordokkal

Ez a lekérdezés segíthet megérteni az idő múlásával kapcsolatos kiadásokat. Miután frissítette a usage_start_time a legújabb számlázási időszakra, a rendszer beszerzi a számlázási rekordok legújabb frissítéseit, hogy integrálja azokat a fürtökhöz tartozó adatokba.

Az adott futtatás során minden rekord a fürt tulajdonosához van társítva. Így ha a fürt tulajdonosa megváltozik, a költségek a fürt használatának időpontjától függően a megfelelő tulajdonosra kerülnek.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

A legnagyobb átlagos kihasználtsággal és csúcskihasználtsággal rendelkező számítási erőforrások azonosítása

Azonosítsa azokat a teljes célú és feladatalapú számításokat, amelyek a legmagasabb átlagos processzorkihasználtsággal és a legmagasabb csúcs cpu-kihasználtsággal rendelkeznek.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;