Naslaginformatie over rekensysteemtabellen

Dit artikel bevat een naslaghandleiding voor de rekensysteemtabellen. U kunt deze tabellen gebruiken om de activiteit en metrieken van algemeen gebruik en taakberekeningen in uw account te bewaken.

• clusters: legt de configuraties voor berekeningen in uw account vast.
• node_types: Bevat één record voor elk van de momenteel beschikbare knooppunttypen, inclusief hardwaregegevens.
• node_timeline: Bevat minuut-per-minuut-records van de metrische gegevens over het gebruik van uw rekenproces.

Clustertabelschema

De clustertabel is een langzaam veranderende dimensietabel die de volledige geschiedenis van rekenconfiguraties in de loop van de tijd bevat voor alle doeleinden en taken.

tabelpad: deze systeemtabel bevindt zich op system.compute.clusters

tabelschema voor knooppunttypen

De tabel van het knooppunttype legt de momenteel beschikbare knooppunttypen vast met de basishardwaregegevens.

tabelpad: deze systeemtabel bevindt zich op system.compute.node_types.

tijdlijntabelschema voor knooppunten

De tijdlijntabel voor knooppunten legt gegevens over resourcegebruik op knooppuntniveau vast op minuutgranulariteit. Elke record bevat gegevens voor een bepaalde minuut per instantie.

tabelpad: deze systeemtabel bevindt zich op system.compute.node_timeline.

Bekende beperkingen

• Rekenresources die gemarkeerd waren als verwijderd vóór 23 oktober 2023, worden niet weergegeven in de clustertabel. Dit kan leiden tot joins uit de system.billing.usage-tabel die niet overeenkomen met de records in de clustertabel. Alle actieve rekenresources zijn weer ingevuld.
• Deze tabellen bevatten alleen records voor generieke en taakcomputing. Ze bevatten geen records voor serverloze berekeningen, DLT-berekeningen of SQL-warehouses.
• Knooppunten die minder dan 10 minuten hebben gedraaid, worden mogelijk niet weergegeven in de node_timeline tabel.

Voorbeeldqueries

U kunt de volgende voorbeeldquery's gebruiken om veelgestelde vragen te beantwoorden:

• clustergegevens verbinden met de meest recente factureringsgegevens
• De rekenresources identificeren met het hoogste gemiddelde gebruik en piekgebruik

Clusterrecords koppelen met de meest recente factureringsrecords

Deze query kan u helpen inzicht te hebben in de uitgaven in de loop van de tijd. Zodra u de usage_start_time hebt bijgewerkt naar de meest recente factureringsperiode, worden de laatste updates voor de factureringsgegevens opgehaald om te worden samengevoegd tot clustergegevens.

Elke record is gekoppeld aan de eigenaar van het cluster tijdens die specifieke uitvoering. Dus als de eigenaar van het cluster verandert, worden de kosten doorberekend naar de juiste eigenaar op basis van het gebruiksmoment van het cluster.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

De rekenresources identificeren met het hoogste gemiddelde gebruik en piekgebruik

Identificeer het rekenproces voor alle doeleinden en taken met het hoogste gemiddelde CPU-gebruik en het hoogste PIEK-CPU-gebruik.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;