Számítási rendszertáblák referenciája

Ez a cikk referencia-útmutatót nyújt a számítási rendszer tábláihoz. A táblákat használhatja az általános célú és feladatokhoz kapcsolódó számítási kapacitás tevékenységének és metrikáinak figyelésére a fiókjában.

• clusters: A fiók számítási konfigurációit rögzíti.
• node_types: Egyetlen rekordot tartalmaz az összes jelenleg elérhető csomóponttípushoz, beleértve a hardverinformációkat is.
• node_timeline: Percről percre rögzíti a számítás kihasználtsági metrikáit.

Fürttábla struktúrája

A fürttábla egy lassan változó dimenziótábla, amely a számítási konfigurációk teljes előzményeit tartalmazza az általános célú és a feladatok számítása számára.

Táblázat elérési útja: Ez a rendszertábla a következő helyen található: system.compute.clusters

Csomóponttípusok táblaséma

A csomóponttípustáblázat az alapszintű hardverinformációkkal rögzíti a jelenleg elérhető csomóponttípusokat.

Tábla elérési útja: Ez a rendszertábla a system.compute.node_typestalálható.

Csomópont idővonal táblázatának sémája

A csomópont idősortáblája a csomópontszintű erőforrás-kihasználtsági adatokat rögzíti a percek részletességével. Minden rekord példányonként egy adott percnyi ideig tartalmaz adatokat.

Tábla elérési útja: Ez a rendszertábla a system.compute.node_timelinetalálható.

Ismert korlátozások

• A 2023. október 23. előtt törölt számítási erőforrások nem jelennek meg a fürtök táblában. Ez azt eredményezheti, hogy a system.billing.usage táblából származó illesztések nem egyeznek a fürtök táblájának rekordjaival. Az összes aktív számítási erőforrás vissza lett töltve.
• Ezek a táblák csak a teljes célú és a feladatok számítási rekordjait tartalmazzák. Nem tartalmaznak rekordokat kiszolgáló nélküli számításhoz, DLT-számításhoz vagy SQL-raktárakhoz.
• Előfordulhat, hogy a 10 percnél rövidebb ideig futott csomópontok nem jelennek meg a node_timeline táblázatban.

Minta lekérdezések

Az alábbi minta lekérdezésekkel válaszolhat a gyakori kérdésekre:

• Fürtrekordok összekapcsolása a legújabb számlázási rekordokkal
• A legnagyobb átlagos kihasználtsággal és csúcskihasználtsággal rendelkező számítási erőforrások azonosítása

A klaszter rekordok összekapcsolása a legfrissebb számlázási rekordokkal

Ez a lekérdezés segíthet megérteni az idő múlásával kapcsolatos kiadásokat. Miután frissítette a usage_start_time a legújabb számlázási időszakra, a rendszer beszerzi a számlázási rekordok legújabb frissítéseit, hogy integrálja azokat a fürtökhöz tartozó adatokba.

Az adott futtatás során minden rekord a fürt tulajdonosához van társítva. Így ha a fürt tulajdonosa megváltozik, a költségek a fürt használatának időpontjától függően a megfelelő tulajdonosra kerülnek.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

A legnagyobb átlagos kihasználtsággal és csúcskihasználtsággal rendelkező számítási erőforrások azonosítása

Azonosítsa azokat a teljes célú és feladatalapú számításokat, amelyek a legmagasabb átlagos processzorkihasználtsággal és a legmagasabb csúcs cpu-kihasználtsággal rendelkeznek.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;