Riferimento alle tabelle dei sistemi di calcolo

Questo articolo fornisce una guida di riferimento per le tabelle di sistema di calcolo. È possibile utilizzare queste tabelle per monitorare l'attività e le metriche delle risorse di calcolo generico e dei lavori nell'account.

• clusters: registra le configurazioni di calcolo nell'account.
• node_types: include un singolo record per ognuno dei tipi di nodo attualmente disponibili, incluse le informazioni sull'hardware.
• node_timeline: Includono i registri minuto per minuto delle metriche di utilizzo della computazione.

Schema della tabella del cluster

La tabella cluster è una tabella delle dimensioni a modifica lenta che contiene la cronologia completa delle configurazioni di calcolo nel tempo per il calcolo di tutti gli scopi e i processi.

percorso tabella: questa tabella di sistema si trova in system.compute.clusters

schema di tabella dei tipi di nodo

La tabella dei tipi di nodo acquisisce i tipi di nodo attualmente disponibili con le relative informazioni hardware di base.

percorso tabella: questa tabella di sistema si trova in system.compute.node_types.

schema della tabella di cronologia del nodo

La tabella della sequenza temporale del nodo acquisisce i dati di utilizzo delle risorse a livello di nodo con granularità al minuto. Ogni record contiene dati per un determinato minuto di tempo per ogni istanza.

percorso tabella: questa tabella di sistema si trova in system.compute.node_timeline.

Limitazioni note

• Le risorse di calcolo contrassegnate come eliminate prima del 23 ottobre 2023 non vengono visualizzate nella tabella cluster. Ciò potrebbe comportare join dalla tabella system.billing.usage non corrispondenti ai record nella tabella cluster. Tutte le risorse di calcolo attive sono state riempite.
• Queste tabelle includono solo i record per il calcolo generico e le attività. Non contengono record per il calcolo serverless, il calcolo DLT o i warehouse SQL.
• I nodi eseguiti per meno di 10 minuti potrebbero non essere visualizzati nella tabella node_timeline.

Esempi di query

È possibile usare le query di esempio seguenti per rispondere a domande comuni:

• Unire i record del cluster ai record di fatturazione più recenti
• Identificare le risorse di calcolo con l'utilizzo medio più elevato e il picco di utilizzo

Unire i record del cluster con i record di fatturazione più recenti

Questa query consente di comprendere le spese nel tempo. Dopo aver aggiornato il usage_start_time al periodo di fatturazione più recente, vengono acquisiti gli aggiornamenti più recenti ai record di fatturazione per l'aggiunta ai dati dei cluster.

Ogni record è associato al proprietario del cluster durante l'esecuzione specifica. Pertanto, se il proprietario del cluster cambia, i costi verranno attribuiti al proprietario corretto in base al momento dell'uso del cluster.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Identificare le risorse di calcolo con l'utilizzo medio più elevato e il picco di utilizzo

Identificare i calcoli all-purpose e jobs che hanno il maggiore utilizzo medio della CPU e il maggiore picco di utilizzo della CPU.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;