İşler sistem tablosu referansı

Bu makale, hesabınızdaki işleri izlemek için lakeflow sistem tablolarının nasıl kullanılacağına yönelik bir başvurudur. Bu tablolar, hesabınızdaki aynı bulut bölgesine dağıtılan tüm çalışma alanlarındaki kayıtları içerir. Başka bir bölgedeki kayıtları görmek için, o bölgede dağıtılan bir çalışma alanındaki tabloları görüntülemeniz gerekir.

Gereksinimler

• şeması bir hesap yöneticisi tarafından etkinleştirilmelidir. bkz.sistem tablosu şemalarını etkinleştirme .
• Bu sistem tablolarına erişmek için kullanıcıların şunlardan birini yapması gerekir:
  • Hem meta veri deposu yöneticisi hem de hesap yöneticisi olun veya
  • Sistem şemalarında USE ve SELECT izinlerine sahip olun. Bkz. sistem tablolarına erişim izni ver.

Kullanılabilir iş tabloları

İşle ilgili tüm sistem tabloları system.lakeflow şemasında yer alır. Şu anda şema dört tablo barındırıyor:

Ayrıntılı şema referansı

Aşağıdaki bölümler, işlerle ilgili sistem tablolarının her biri için şema referansları sunar.

İşler tablosu şeması

jobs tablosu yavaş değişen bir boyut tablosudur (SCD2). Bir satır değiştiğinde, mantıksal olarak öncekinin yerini alan yeni bir satır yayılır.

Tablo yolu: system.lakeflow.jobs

Örnek sorgu

-- Get the most recent version of a job
SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM
  system.lakeflow.jobs QUALIFY rn=1

İş Görev Tablosu Şeması

İş görevleri tablosu yavaş değişen bir boyut tablosudur (SCD2). Bir satır değiştiğinde, mantıksal olarak öncekinin yerini alan yeni bir satır yayılır.

Tablo yolu: system.lakeflow.job_tasks

Örnek sorgu

-- Get the most recent version of a job task
SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM
  system.lakeflow.job_tasks QUALIFY rn=1

Görev çalıştırma zaman çizelgesi tablo şeması

İşlem çalıştırma zaman çizelgesi tablosu, oluşturulduğunda sabit ve tamamlanmış bir durumdadır.

Tablo yolu: system.lakeflow.job_run_timeline

Örnek sorgu

-- This query gets the daily job count for a workspace for the last 7 days:
SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  to_date(period_start_time) as date
FROM system.lakeflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
GROUP BY ALL

-- This query returns the daily job count for a workspace for the last 7 days, distributed by the outcome of the job run.
SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  result_state,
  to_date(period_start_time) as date
FROM system.lakeflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
  AND result_state IS NOT NULL
GROUP BY ALL

-- This query returns the average time of job runs, measured in seconds. The records are organized by job. A top 90 and a 95 percentile column show the average lengths of the job's longest runs.
with job_run_duration as (
    SELECT
        workspace_id,
        job_id,
        run_id,
        CAST(SUM(period_end_time - period_start_time) AS LONG) as duration
    FROM
        system.lakeflow.job_run_timeline
    WHERE
      period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
    GROUP BY ALL
)
SELECT
    t1.workspace_id,
    t1.job_id,
    COUNT(DISTINCT t1.run_id) as runs,
    MEAN(t1.duration) as mean_seconds,
    AVG(t1.duration) as avg_seconds,
    PERCENTILE(t1.duration, 0.9) as p90_seconds,
    PERCENTILE(t1.duration, 0.95) as p95_seconds
FROM
    job_run_duration t1
GROUP BY ALL
ORDER BY mean_seconds DESC
LIMIT 100

-- This query provides a historical runtime for a specific job based on the `run_name` parameter. For the query to work, you must set the `run_name`.
SELECT
  workspace_id,
  run_id,
  SUM(period_end_time - period_start_time) as run_time
FROM system.lakeflow.job_run_timeline
WHERE
  run_type="SUBMIT_RUN"
  AND run_name = :run_name
  AND period_start_time > CURRENT_TIMESTAMP() - INTERVAL 60 DAYS
GROUP BY ALL

-- This query collects a list of retried job runs with the number of retries for each run.
with repaired_runs as (
    SELECT
    workspace_id, job_id, run_id, COUNT(*) - 1 as retries_count
    FROM system.lakeflow.job_run_timeline
    WHERE result_state IS NOT NULL
    GROUP BY ALL
    HAVING retries_count > 0
    )
SELECT
    *
FROM repaired_runs
ORDER BY retries_count DESC
    LIMIT 10;

İş görevini çalıştırma zaman çizelgesi tablosu şeması

İş görev yürütme zaman çizelgesi tablosu değişmez ve üretildiği anda eksiksizdir.

Tablo yolu: system.lakeflow.job_task_run_timeline

Ortak Birleştirme Kalıpları

Aşağıdaki bölümlerde, iş sistemi tabloları için yaygın olarak kullanılan birleştirme desenlerini vurgulayan örnek sorgular sağlanır.

İş ve iş çalıştırma zaman çizelgesi tablolarını birleştir

Bir iş adı ekleyerek iş çalışmasını zenginleştirin

with jobs as (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
    FROM system.lakeflow.jobs QUALIFY rn=1
)
SELECT
    job_run_timeline.*
    jobs.name
FROM system.lakeflow.job_run_timeline
    LEFT JOIN jobs USING (workspace_id, job_id)

İş çalıştırma zaman çizelgesi ve kullanım tablolarını birleştirin

Her faturalama günlüğünü işletim meta verileriyle zenginleştirme

SELECT
    t1.*,
    t2.*
FROM system.billing.usage t1
    LEFT JOIN system.lakeflow.job_run_timeline t2
        ON t1.workspace_id = t2.workspace_id
            AND t1.usage_metadata.job_id = t2.job_id
            AND t1.usage_metadata.job_run_id = t2.run_id
            AND t1.usage_start_time >= date_trunc("Hour", t2.period_start_time)
            AND t1.usage_start_time < date_trunc("Hour", t2.period_end_time) + INTERVAL 1 HOUR
WHERE
    billing_origin_product="JOBS"

İş çalıştırması başına maliyeti hesaplama

Bu sorgu, iş çalıştırma başına maliyet hesaplamak için billing.usage sistem tablosu ile birleştirilir.

with jobs_usage AS (
  SELECT
    *,
    usage_metadata.job_id,
    usage_metadata.job_run_id as run_id,
    identity_metadata.run_as as run_as
  FROM system.billing.usage
  WHERE billing_origin_product="JOBS"
),
jobs_usage_with_usd AS (
  SELECT
    jobs_usage.*,
    usage_quantity * pricing.default as usage_usd
  FROM jobs_usage
    LEFT JOIN system.billing.list_prices pricing ON
      jobs_usage.sku_name = pricing.sku_name
      AND pricing.price_start_time <= jobs_usage.usage_start_time
      AND (pricing.price_end_time >= jobs_usage.usage_start_time OR pricing.price_end_time IS NULL)
      AND pricing.currency_code="USD"
),
jobs_usage_aggregated AS (
  SELECT
    workspace_id,
    job_id,
    run_id,
    FIRST(run_as, TRUE) as run_as,
    sku_name,
    SUM(usage_usd) as usage_usd,
    SUM(usage_quantity) as usage_quantity
  FROM jobs_usage_with_usd
  GROUP BY ALL
)
SELECT
  t1.*,
  MIN(period_start_time) as run_start_time,
  MAX(period_end_time) as run_end_time,
  FIRST(result_state, TRUE) as result_state
FROM jobs_usage_aggregated t1
  LEFT JOIN system.lakeflow.job_run_timeline t2 USING (workspace_id, job_id, run_id)
GROUP BY ALL
ORDER BY usage_usd DESC
LIMIT 100

SUBMIT_RUN işleri için kullanım günlüklerini alma

SELECT
  *
FROM system.billing.usage
WHERE
  EXISTS (
      SELECT 1
      FROM system.lakeflow.job_run_timeline
      WHERE
        job_run_timeline.job_id = usage_metadata.job_id
        AND run_name = :run_name
        AND workspace_id = :workspace_id
  )

İş görevi zaman çizelgesi ile küme tablolarını birleştirin

İş görevlerini küme meta verileriyle zenginleştir

with clusters as (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
    FROM system.compute.clusters QUALIFY rn=1
),
exploded_task_runs AS (
  SELECT
    *,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE array_size(compute_ids) > 0
)
SELECT
  exploded_task_runs.*,
  clusters.*
FROM exploded_task_runs t1
  LEFT JOIN clusters t2
    USING (workspace_id, cluster_id)

Çok amaçlı hesaplama üzerinde çalışan görevleri bulma

Bu sorgu, iş hesaplaması yerine genel amaçlı hesaplama üzerinde çalışmakta olan son işleri döndürmek için compute.clusters sistem tablosuyla birleşir.

with clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  WHERE cluster_source="UI" OR cluster_source="API"
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 30 DAY
),
all_purpose_cluster_jobs AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN clusters t2 USING (workspace_id, cluster_id)
)
SELECT * FROM all_purpose_cluster_jobs LIMIT 10;

İşleri izleme panosu

Aşağıdaki pano, işlerinizi ve işletimsel durumunuzu izlemeye başlamanıza yardımcı olmak için sistem tablolarını kullanır. İş performansı izleme, hata izleme ve kaynak kullanımı gibi yaygın kullanım örneklerini içerir.

Panoyu indirme hakkında bilgi için bkz. sistem tablolarıyla iş maliyetlerini & performansı izleme

Sorun giderme

İş lakeflow.jobs tablosuna kaydedilmedi

Sistem tablolarında bir iş görünmüyorsa:

• İş son 365 gün içinde değiştirilmedi
  • Şemada bulunan işin alanlarından herhangi birini yeni bir kayıt yayacak şekilde değiştirin.
• İş farklı bir bölgede oluşturuldu
• Yeni iş yaratma (tablo gecikmesi)

job_run_timeline tablosunda görülen bir işi bulamıyorum

Tüm işlem çalışmaları her yerde görünür olmayabilir. İşle ilgili tüm tablolarda JOB_RUN girdiler görünse de, WORKFLOW_RUN (not defteri iş akışı çalıştırmaları) yalnızca job_run_timeline kaydedilir ve SUBMIT_RUN (tek seferlik gönderilen çalıştırmalar) yalnızca her iki zaman çizelgesi tablosuna da kaydedilir. Bu çalıştırmalar, jobs veya job_tasksgibi diğer iş sistemi tablolarına doldurulmaz.

Her çalıştırma türünün görünür ve erişilebilir olduğu yerin ayrıntılı dökümü için aşağıdaki Çalıştırma türleri tablosuna bakın.

Çalıştırma işlemi billing.usage tabloda görünmüyor

system.billing.usage'da usage_metadata.job_id yalnızca iş işlemi veya sunucusuz işlem üzerinde çalışan işler için doldurulur.

Ayrıca, WORKFLOW_RUN içinde usage_metadata.job_id işlerin kendi usage_metadata.job_run_id veya system.billing.usage'e ait bir atfı yoktur. Bunun yerine, hesaplama kullanımları onları tetikleyen ana not defteriyle ilişkilendirilir. Bu, bir not defteri iş akışı çalıştırdığında, tüm işlem maliyetlerinin ayrı bir iş akışı olarak değil, ana not defterinin kullanımı altında görüneceği anlamına gelir.

Daha fazla bilgi için kullanım meta verileri referansına bakın.

Çok amaçlı işlemde çalışan bir işin maliyetini hesaplama

Amacına göre hesaplama üzerinde çalışan işler için, kesin maliyet hesaplamasını %100 doğrulukla yapmak mümkün değildir. bir iş etkileşimli (çok amaçlı) bir işlem üzerinde çalıştığında, not defterleri, SQL sorguları veya diğer işler gibi birden çok iş yükü genellikle aynı işlem kaynağında aynı anda çalışır. Küme kaynakları paylaşıldığından, bilgisayar işlem maliyetleriyle bireysel iş yürütmeleri arasında doğrudan 1:1 eşlemesi yoktur.

Databricks, doğru iş maliyeti izleme için işleri ayrılmış iş işlemlerinde veya sunucusuz işlemde çalıştırmanızı önerir; burada usage_metadata.job_id ve usage_metadata.job_run_id kesin maliyet atfı sağlar.

Genel amaçlı hesaplama kullanmanız gerekiyorsa şunları yapabilirsiniz:

• system.billing.usagetemelinde usage_metadata.cluster_id genel küme kullanımını ve maliyetlerini izleyin.
• İş çalışma zamanı ölçümlerini ayrı ayrı izleyin.
• Paylaşılan kaynaklar nedeniyle maliyet tahmininin yaklaşık olacağını göz önünde bulundurun.

Maliyet atfı hakkında daha fazla bilgi için Kullanım meta veri referansı'na bakın.

Referans değerler

Aşağıdaki bölümde, işlerle ilgili tablolardaki belirli sütunlara ait referanslar yer almaktadır.

Tetikleyici türü değerleri

trigger_type sütunu için olası değerler şunlardır:

• CONTINUOUS
• CRON
• FILE_ARRIVAL
• ONETIME
• ONETIME_RETRY

Çalıştırma türü değerleri

run_type sütunu için olası değerler şunlardır:

sonuç durumu değerleri

result_state sütunu için olası değerler şunlardır:

Sonlandırma kodu değerleri

termination_code sütunu için olası değerler şunlardır: