Referensi tabel sistem pekerjaan

Artikel ini adalah referensi tentang cara menggunakan tabel sistem lakeflow untuk memantau pekerjaan di akun Anda. Tabel ini mencakup rekaman dari semua ruang kerja di akun Anda yang disebarkan di wilayah cloud yang sama. Untuk melihat rekaman dari wilayah lain, Anda harus menampilkan tabel dari ruang kerja yang berada di wilayah tersebut.

Persyaratan

• Skema system.lakeflow harus diaktifkan oleh admin akun. Lihat Mengaktifkan skema tabel sistem.
• Untuk mengakses tabel sistem ini, pengguna harus:
  • Menjadi admin metastore dan admin akun, atau
  • Memiliki izin USE dan SELECT pada skema sistem. Lihat Memberikan akses ke tabel sistem.

Tabel pekerjaan yang tersedia

Semua tabel sistem yang berkaitan dengan pekerjaan berada dalam skema system.lakeflow. Saat ini, skema menghosting empat tabel:

Referensi skema terperinci

Bagian berikut ini menyediakan referensi skema untuk setiap tabel sistem terkait pekerjaan.

skema tabel pekerjaan

Tabel jobs adalah tabel dimensi yang berubah perlahan (SCD2). Saat baris berubah, baris baru dikeluarkan, secara logis menggantikan baris sebelumnya.

jalur tabel: system.lakeflow.jobs

Contoh kueri

-- Get the most recent version of a job
SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM
  system.lakeflow.jobs QUALIFY rn=1

Skema tabel tugas pekerjaan

Tabel tugas pekerjaan adalah tabel dimensi yang berubah perlahan (SCD2). Saat baris berubah, baris baru dikeluarkan, secara logis menggantikan baris sebelumnya.

jalur tabel: system.lakeflow.job_tasks

Contoh kueri

-- Get the most recent version of a job task
SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM
  system.lakeflow.job_tasks QUALIFY rn=1

Skema tabel garis waktu eksekusi pekerjaan

Tabel garis waktu eksekusi pekerjaan tidak dapat diubah dan selesai pada saat itu diproduksi.

jalur tabel: system.lakeflow.job_run_timeline

Contoh kueri

-- This query gets the daily job count for a workspace for the last 7 days:
SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  to_date(period_start_time) as date
FROM system.lakeflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
GROUP BY ALL

-- This query returns the daily job count for a workspace for the last 7 days, distributed by the outcome of the job run.
SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  result_state,
  to_date(period_start_time) as date
FROM system.lakeflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
  AND result_state IS NOT NULL
GROUP BY ALL

-- This query returns the average time of job runs, measured in seconds. The records are organized by job. A top 90 and a 95 percentile column show the average lengths of the job's longest runs.
with job_run_duration as (
    SELECT
        workspace_id,
        job_id,
        run_id,
        CAST(SUM(period_end_time - period_start_time) AS LONG) as duration
    FROM
        system.lakeflow.job_run_timeline
    WHERE
      period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
    GROUP BY ALL
)
SELECT
    t1.workspace_id,
    t1.job_id,
    COUNT(DISTINCT t1.run_id) as runs,
    MEAN(t1.duration) as mean_seconds,
    AVG(t1.duration) as avg_seconds,
    PERCENTILE(t1.duration, 0.9) as p90_seconds,
    PERCENTILE(t1.duration, 0.95) as p95_seconds
FROM
    job_run_duration t1
GROUP BY ALL
ORDER BY mean_seconds DESC
LIMIT 100

-- This query provides a historical runtime for a specific job based on the `run_name` parameter. For the query to work, you must set the `run_name`.
SELECT
  workspace_id,
  run_id,
  SUM(period_end_time - period_start_time) as run_time
FROM system.lakeflow.job_run_timeline
WHERE
  run_type="SUBMIT_RUN"
  AND run_name = :run_name
  AND period_start_time > CURRENT_TIMESTAMP() - INTERVAL 60 DAYS
GROUP BY ALL

-- This query collects a list of retried job runs with the number of retries for each run.
with repaired_runs as (
    SELECT
    workspace_id, job_id, run_id, COUNT(*) - 1 as retries_count
    FROM system.lakeflow.job_run_timeline
    WHERE result_state IS NOT NULL
    GROUP BY ALL
    HAVING retries_count > 0
    )
SELECT
    *
FROM repaired_runs
ORDER BY retries_count DESC
    LIMIT 10;

Skema tabel garis waktu eksekusi tugas pekerjaan

Tabel garis waktu eksekusi tugas pekerjaan tidak dapat diubah dan selesai pada saat itu diproduksi.

Lokasi tabel: system.lakeflow.job_task_run_timeline

pola penggabungan umum

Bagian berikut ini menyediakan kueri sampel yang menyoroti pola gabungan yang umum digunakan untuk tabel sistem pekerjaan.

Menggabungkan tabel pekerjaan dan tabel garis waktu jalannya tugas

Memperkaya jalannya pekerjaan dengan nama pekerjaan

with jobs as (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
    FROM system.lakeflow.jobs QUALIFY rn=1
)
SELECT
    job_run_timeline.*
    jobs.name
FROM system.lakeflow.job_run_timeline
    LEFT JOIN jobs USING (workspace_id, job_id)

Bergabung dengan linimasa pemrosesan kerja dan tabel penggunaan

Memperkaya setiap log penagihan dengan metadata pelaksanaan pekerjaan

SELECT
    t1.*,
    t2.*
FROM system.billing.usage t1
    LEFT JOIN system.lakeflow.job_run_timeline t2
        ON t1.workspace_id = t2.workspace_id
            AND t1.usage_metadata.job_id = t2.job_id
            AND t1.usage_metadata.job_run_id = t2.run_id
            AND t1.usage_start_time >= date_trunc("Hour", t2.period_start_time)
            AND t1.usage_start_time < date_trunc("Hour", t2.period_end_time) + INTERVAL 1 HOUR
WHERE
    billing_origin_product="JOBS"

Menghitung biaya per pemrosesan pekerjaan

Kueri ini bergabung dengan tabel sistem billing.usage untuk menghitung biaya per pekerjaan yang dijalankan.

with jobs_usage AS (
  SELECT
    *,
    usage_metadata.job_id,
    usage_metadata.job_run_id as run_id,
    identity_metadata.run_as as run_as
  FROM system.billing.usage
  WHERE billing_origin_product="JOBS"
),
jobs_usage_with_usd AS (
  SELECT
    jobs_usage.*,
    usage_quantity * pricing.default as usage_usd
  FROM jobs_usage
    LEFT JOIN system.billing.list_prices pricing ON
      jobs_usage.sku_name = pricing.sku_name
      AND pricing.price_start_time <= jobs_usage.usage_start_time
      AND (pricing.price_end_time >= jobs_usage.usage_start_time OR pricing.price_end_time IS NULL)
      AND pricing.currency_code="USD"
),
jobs_usage_aggregated AS (
  SELECT
    workspace_id,
    job_id,
    run_id,
    FIRST(run_as, TRUE) as run_as,
    sku_name,
    SUM(usage_usd) as usage_usd,
    SUM(usage_quantity) as usage_quantity
  FROM jobs_usage_with_usd
  GROUP BY ALL
)
SELECT
  t1.*,
  MIN(period_start_time) as run_start_time,
  MAX(period_end_time) as run_end_time,
  FIRST(result_state, TRUE) as result_state
FROM jobs_usage_aggregated t1
  LEFT JOIN system.lakeflow.job_run_timeline t2 USING (workspace_id, job_id, run_id)
GROUP BY ALL
ORDER BY usage_usd DESC
LIMIT 100

Dapatkan log penggunaan untuk pekerjaan SUBMIT_RUN

SELECT
  *
FROM system.billing.usage
WHERE
  EXISTS (
      SELECT 1
      FROM system.lakeflow.job_run_timeline
      WHERE
        job_run_timeline.job_id = usage_metadata.job_id
        AND run_name = :run_name
        AND workspace_id = :workspace_id
  )

Menggabungkan garis waktu eksekusi tugas pekerjaan dan tabel kluster

Memperkaya tugas pekerjaan dengan metadata cluster

with clusters as (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
    FROM system.compute.clusters QUALIFY rn=1
),
exploded_task_runs AS (
  SELECT
    *,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE array_size(compute_ids) > 0
)
SELECT
  exploded_task_runs.*,
  clusters.*
FROM exploded_task_runs t1
  LEFT JOIN clusters t2
    USING (workspace_id, cluster_id)

Temukan pekerjaan yang berjalan pada komputasi serbaguna

Kueri ini bergabung dengan compute.clusters tabel sistem untuk menghasilkan pekerjaan terbaru yang berjalan pada komputasi serbaguna alih-alih komputasi khusus pekerjaan.

with clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  WHERE cluster_source="UI" OR cluster_source="API"
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 30 DAY
),
all_purpose_cluster_jobs AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN clusters t2 USING (workspace_id, cluster_id)
)
SELECT * FROM all_purpose_cluster_jobs LIMIT 10;

Dasbor Pemantauan Pekerjaan

Dasbor berikut menggunakan tabel sistem untuk membantu Anda mulai memantau pekerjaan dan kesehatan operasional Anda. Ini termasuk kasus penggunaan umum seperti pelacakan performa pekerjaan, pemantauan kegagalan, dan pemanfaatan sumber daya.

Untuk informasi tentang mengunduh dasbor, lihat Pantau biaya pekerjaan & performa dengan tabel sistem

Pemecahan masalah

Pekerjaan tidak dicatat dalam tabel lakeflow.jobs

Jika pekerjaan tidak terlihat dalam tabel sistem:

• Pekerjaan tidak dimodifikasi dalam 365 hari terakhir
  • Ubah salah satu bidang pekerjaan yang ada dalam skema untuk memancarkan rekaman baru.
• Pekerjaan dibuat di wilayah yang berbeda
• Penciptaan lapangan kerja terbaru (keterlambatan data tabel)

Tidak dapat menemukan pekerjaan yang terlihat dalam tabel job_run_timeline

Tidak semua pelaksanaan tugas terlihat di semua tempat. Sementara entri JOB_RUN muncul di semua tabel terkait pekerjaan, WORKFLOW_RUN (eksekusi alur kerja buku catatan) hanya direkam dalam job_run_timeline dan SUBMIT_RUN (eksekusi yang dikirim satu kali) hanya direkam di kedua tabel garis waktu. Proses ini tidak dimasukkan ke tabel sistem pekerjaan lain seperti jobs atau job_tasks.

Lihat tabel Jenis run di bawah ini untuk perincian tentang di mana setiap jenis run terlihat dan dapat diakses.

Pemrosesan tugas tidak muncul dalam tabel billing.usage

Dalam system.billing.usage, usage_metadata.job_id hanya diisi untuk pekerjaan yang berjalan pada komputasi pekerjaan atau komputasi tanpa server.

Selain itu, pekerjaan WORKFLOW_RUN tidak memiliki atribusi usage_metadata.job_id atau usage_metadata.job_run_id sendiri di system.billing.usage. Sebaliknya, penggunaan komputasi mereka dikaitkan dengan notebook induk yang memicunya. Ini berarti ketika buku catatan menjalankan alur kerja, semua biaya komputasi muncul di bawah penggunaan buku catatan induk, bukan sebagai pekerjaan alur kerja yang terpisah.

Lihat referensi metadata Penggunaan untuk informasi selengkapnya.

Menghitung biaya pekerjaan yang berjalan pada komputasi serba guna

Perhitungan biaya yang tepat untuk pekerjaan yang berjalan pada komputasi khusus tidak bisa dihitung dengan akurasi 100%. Saat pekerjaan berjalan pada komputasi interaktif (serba guna), beberapa beban kerja seperti notebook, kueri SQL, atau pekerjaan lain sering berjalan secara bersamaan pada sumber daya komputasi yang sama. Karena sumber daya kluster dibagikan, tidak ada pemetaan 1:1 langsung antara biaya komputasi dan eksekusi pekerjaan individual.

Untuk pelacakan biaya pekerjaan yang akurat, Databricks merekomendasikan untuk menjalankan pekerjaan pada komputasi pekerjaan khusus atau komputasi tanpa server, di mana usage_metadata.job_id dan usage_metadata.job_run_id memungkinkan atribusi biaya yang tepat.

Jika Anda harus menggunakan komputasi semua tujuan, Anda dapat:

• Pantau penggunaan dan biaya keseluruhan kluster di system.billing.usage berdasarkan usage_metadata.cluster_id.
• Jejak metrik waktu eksekusi pekerjaan secara terpisah.
• Pertimbangkan bahwa setiap estimasi biaya akan bersifat perkiraan karena penggunaan sumber daya yang bersama-sama.

Lihat Referensi metadata penggunaan untuk informasi selengkapnya tentang atribusi biaya.

Nilai referensi

Bagian berikut ini menyertakan referensi untuk kolom tertentu dalam tabel terkait pekerjaan.

Nilai jenis pemicu

Kemungkinan nilai untuk kolom trigger_type adalah:

• CONTINUOUS
• CRON
• FILE_ARRIVAL
• ONETIME
• ONETIME_RETRY

Jalankan nilai jenis

Nilai-nilai yang mungkin untuk kolom run_type adalah:

Nilai kondisi hasil

Nilai yang mungkin untuk kolom result_state adalah:

Nilai kode penghentian

Nilai yang mungkin untuk kolom termination_code adalah: