Munkák rendszertáblázatának hivatkozása

Ez a cikk a lakeflow rendszertáblák használatával a fiókban lévő feladatok monitorozására szolgál. Ezek a táblák a fiókban lévő összes munkaterület rekordjait tartalmazzák, amelyeket ugyanabban a felhőrégióban helyeznek üzembe. Egy másik régió rekordjainak megtekintéséhez meg kell tekintenie az adott régióban üzembe helyezett munkaterület tábláit.

Követelmények

• A system.lakeflow sémát egy fiókadminisztrátornak kell engedélyeznie. Lásd: Rendszertábla-sémák engedélyezése.
• A rendszertáblák eléréséhez a felhasználóknak a következőkre van szükség:
  • Legyen egyszerre metaadattár-rendszergazda és fiókadminisztrátor, vagy
  • A rendszerséma USE és SELECT engedélyekkel rendelkezik. Lásd: Hozzáférés biztosítása a rendszertáblákhoz.

Elérhető feladatok táblái

A feladatokkal kapcsolatos összes rendszertábla a system.lakeflow sémában található. A séma jelenleg négy táblát üzemeltet:

Részletes sémahivatkozás

A következő szakaszok sémahivatkozásokat tartalmaznak az egyes feladatokhoz kapcsolódó rendszertáblákhoz.

Állások táblaséma

A jobs tábla egy lassan változó dimenziótábla (SCD2). Amikor egy sor megváltozik, a rendszer egy új sort bocsát ki, logikailag lecserélve az előzőt.

táblázat elérési útja: system.lakeflow.jobs

Példa lekérdezés

-- Get the most recent version of a job
SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM
  system.lakeflow.jobs QUALIFY rn=1

feladattábla sémája

A feladattevékenységek táblázata egy lassan változó dimenziótábla (SCD2). Amikor egy sor megváltozik, a rendszer egy új sort bocsát ki, logikailag lecserélve az előzőt.

táblázat elérési útja: system.lakeflow.job_tasks

Példa lekérdezés

-- Get the most recent version of a job task
SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM
  system.lakeflow.job_tasks QUALIFY rn=1

Feladat futásának idővonal táblázatvázlata

A feladatfuttatás ütemtervtáblája nem módosítható és befejezhető a létrehozásakor.

táblázat elérési útja: system.lakeflow.job_run_timeline

Példa lekérdezés

-- This query gets the daily job count for a workspace for the last 7 days:
SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  to_date(period_start_time) as date
FROM system.lakeflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
GROUP BY ALL

-- This query returns the daily job count for a workspace for the last 7 days, distributed by the outcome of the job run.
SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  result_state,
  to_date(period_start_time) as date
FROM system.lakeflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
  AND result_state IS NOT NULL
GROUP BY ALL

-- This query returns the average time of job runs, measured in seconds. The records are organized by job. A top 90 and a 95 percentile column show the average lengths of the job's longest runs.
with job_run_duration as (
    SELECT
        workspace_id,
        job_id,
        run_id,
        CAST(SUM(period_end_time - period_start_time) AS LONG) as duration
    FROM
        system.lakeflow.job_run_timeline
    WHERE
      period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
    GROUP BY ALL
)
SELECT
    t1.workspace_id,
    t1.job_id,
    COUNT(DISTINCT t1.run_id) as runs,
    MEAN(t1.duration) as mean_seconds,
    AVG(t1.duration) as avg_seconds,
    PERCENTILE(t1.duration, 0.9) as p90_seconds,
    PERCENTILE(t1.duration, 0.95) as p95_seconds
FROM
    job_run_duration t1
GROUP BY ALL
ORDER BY mean_seconds DESC
LIMIT 100

-- This query provides a historical runtime for a specific job based on the `run_name` parameter. For the query to work, you must set the `run_name`.
SELECT
  workspace_id,
  run_id,
  SUM(period_end_time - period_start_time) as run_time
FROM system.lakeflow.job_run_timeline
WHERE
  run_type="SUBMIT_RUN"
  AND run_name = :run_name
  AND period_start_time > CURRENT_TIMESTAMP() - INTERVAL 60 DAYS
GROUP BY ALL

-- This query collects a list of retried job runs with the number of retries for each run.
with repaired_runs as (
    SELECT
    workspace_id, job_id, run_id, COUNT(*) - 1 as retries_count
    FROM system.lakeflow.job_run_timeline
    WHERE result_state IS NOT NULL
    GROUP BY ALL
    HAVING retries_count > 0
    )
SELECT
    *
FROM repaired_runs
ORDER BY retries_count DESC
    LIMIT 10;

feladatfuttatási ütemterv táblázat sémája

A feladat feladatfuttatási ütemtervtáblája nem módosítható és befejezhető a létrehozásakor.

táblázat elérési útja: system.lakeflow.job_task_run_timeline

Gyakori illesztési minták

Az alábbi szakaszok minta lekérdezéseket biztosítanak, amelyek kiemelik a feladatok rendszertábláinak gyakran használt illesztési mintáit.

Az feladatok és a feladat-végrehajtási ütemterv táblák összekapcsolása

Feladat futtatásának bővítése feladatnévvel

with jobs as (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
    FROM system.lakeflow.jobs QUALIFY rn=1
)
SELECT
    job_run_timeline.*
    jobs.name
FROM system.lakeflow.job_run_timeline
    LEFT JOIN jobs USING (workspace_id, job_id)

Csatlakozás a feladat futási ütemtervéhez és használati tábláihoz

Az egyes számlázási naplók bővítése feladatfuttatási metaadatokkal

SELECT
    t1.*,
    t2.*
FROM system.billing.usage t1
    LEFT JOIN system.lakeflow.job_run_timeline t2
        ON t1.workspace_id = t2.workspace_id
            AND t1.usage_metadata.job_id = t2.job_id
            AND t1.usage_metadata.job_run_id = t2.run_id
            AND t1.usage_start_time >= date_trunc("Hour", t2.period_start_time)
            AND t1.usage_start_time < date_trunc("Hour", t2.period_end_time) + INTERVAL 1 HOUR
WHERE
    billing_origin_product="JOBS"

Feladatonkénti költség kiszámítása

Ez a lekérdezés a billing.usage rendszertáblával csatlakozik a feladatonkénti költségek kiszámításához.

with jobs_usage AS (
  SELECT
    *,
    usage_metadata.job_id,
    usage_metadata.job_run_id as run_id,
    identity_metadata.run_as as run_as
  FROM system.billing.usage
  WHERE billing_origin_product="JOBS"
),
jobs_usage_with_usd AS (
  SELECT
    jobs_usage.*,
    usage_quantity * pricing.default as usage_usd
  FROM jobs_usage
    LEFT JOIN system.billing.list_prices pricing ON
      jobs_usage.sku_name = pricing.sku_name
      AND pricing.price_start_time <= jobs_usage.usage_start_time
      AND (pricing.price_end_time >= jobs_usage.usage_start_time OR pricing.price_end_time IS NULL)
      AND pricing.currency_code="USD"
),
jobs_usage_aggregated AS (
  SELECT
    workspace_id,
    job_id,
    run_id,
    FIRST(run_as, TRUE) as run_as,
    sku_name,
    SUM(usage_usd) as usage_usd,
    SUM(usage_quantity) as usage_quantity
  FROM jobs_usage_with_usd
  GROUP BY ALL
)
SELECT
  t1.*,
  MIN(period_start_time) as run_start_time,
  MAX(period_end_time) as run_end_time,
  FIRST(result_state, TRUE) as result_state
FROM jobs_usage_aggregated t1
  LEFT JOIN system.lakeflow.job_run_timeline t2 USING (workspace_id, job_id, run_id)
GROUP BY ALL
ORDER BY usage_usd DESC
LIMIT 100

Használati naplók lekérése SUBMIT_RUN feladatokhoz

SELECT
  *
FROM system.billing.usage
WHERE
  EXISTS (
      SELECT 1
      FROM system.lakeflow.job_run_timeline
      WHERE
        job_run_timeline.job_id = usage_metadata.job_id
        AND run_name = :run_name
        AND workspace_id = :workspace_id
  )

Csatlakozás a munkafeladat ütemtervéhez és a klasztertáblákhoz

A munkafeladatok futásának bővítése fürtök metaadataival

with clusters as (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
    FROM system.compute.clusters QUALIFY rn=1
),
exploded_task_runs AS (
  SELECT
    *,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE array_size(compute_ids) > 0
)
SELECT
  exploded_task_runs.*,
  clusters.*
FROM exploded_task_runs t1
  LEFT JOIN clusters t2
    USING (workspace_id, cluster_id)

Teljes körű számításon futó feladatok keresése

Ez a lekérdezés a compute.clusters rendszertáblához csatlakozik, hogy visszaadja a legutóbbi feladatokat, amelyek általános célú számításon futnak a feladatok számítása helyett.

with clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  WHERE cluster_source="UI" OR cluster_source="API"
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 30 DAY
),
all_purpose_cluster_jobs AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN clusters t2 USING (workspace_id, cluster_id)
)
SELECT * FROM all_purpose_cluster_jobs LIMIT 10;

Munkák felügyeleti irányítópult

Az alábbi irányítópult rendszertáblák segítségével segíti a feladatok és a működési állapot figyelésének megkezdését. Olyan gyakori használati eseteket tartalmaz, mint a feladatok teljesítményének nyomon követése, a hibák monitorozása és az erőforrás-kihasználtság.

Az irányítópult letöltéséről további információért lásd: A feladatok költségeinek monitorozása, & teljesítmény monitorozása rendszertáblákkal.

Hibaelhárítás

feladat nincs naplózva a lakeflow.jobs táblában

Ha egy feladat nem látható a rendszertáblákban:

• A feladat nem módosult az elmúlt 365 napban
  • Módosítsa a sémában található feladatmezőket új rekord kibocsátásához.
• A feladat egy másik régióban lett létrehozva
• Legutóbbi munkahelyteremtés (adatkésés)

Nem található feladat a job_run_timeline táblában

Nem minden munkamenet látható mindenhol. Bár a JOB_RUN bejegyzések minden feladattal kapcsolatos táblában megjelennek, a WORKFLOW_RUN (jegyzetfüzet-munkafolyamatok futtatásai) csak job_run_timeline rögzítve vannak, a SUBMIT_RUN (egyszeri elküldött futtatások) pedig csak mindkét idősortáblában vannak rögzítve. Ezek a futtatások nincsenek feltöltve más feladatrendszertáblákba, például jobs vagy job_tasks.

Az alábbi Futtatási típusok táblázatban részletes leírást talál annak részleteiről, hogy az egyes futtatási típusok hol láthatók és érhetők el.

feladat futtatása nem látható billing.usage táblában

A system.billing.usageusage_metadata.job_id csak azokhoz a feladatokhoz van feltöltve, amelyek feladatszámítási vagy kiszolgáló nélküli számítási környezetben futnak.

Emellett a WORKFLOW_RUN feladatoknak nincs saját usage_metadata.job_id vagy usage_metadata.job_run_id hozzárendelésük system.billing.usage-ban. Ehelyett a számítási használatuk az őket kiváltó szülőjegyzetfüzethez van rendelve. Ez azt jelenti, hogy amikor egy jegyzetfüzet elindít egy munkafolyamatot, az összes számítási költség a szülőjegyzetfüzet használata alatt jelenik meg, nem pedig külön munkafolyamat-feladatként.

További információkért lásd használati metaadatokra vonatkozó referencia.

Egy teljes célú számításon futó feladat költségeinek kiszámítása

A célalapú számításon futó feladatok pontos költségszámítása 100% pontossággal nem lehetséges. Ha egy feladat interaktív (teljes célú) számításon fut, több számítási feladat, például jegyzetfüzetek, SQL-lekérdezések vagy más feladatok gyakran egyszerre futnak ugyanazon a számítási erőforráson. Mivel a fürt erőforrásai meg vannak osztva, nincs közvetlen 1:1 összefüggés a számítási költségek és az egyes feladatok futtatása között.

A feladatok költségének pontos nyomon követése érdekében a Databricks azt javasolja, hogy dedikált vagy kiszolgáló nélküli számítási feladatokon futtasson feladatokat, ahol a usage_metadata.job_id és a usage_metadata.job_run_id lehetővé teszik a pontos költség-hozzárendelést.

Ha teljes körű számítást kell használnia, a következőt teheti:

• A fürt általános használatának és költségeinek monitorozása system.billing.usageusage_metadata.cluster_idalapján.
• A feladat futásidejű metrikáinak nyomon követése külön-külön.
• Vegye figyelembe, hogy a költségbecslések a megosztott erőforrások miatt hozzávetőlegesek lesznek.

A költség-hozzárendeléssel kapcsolatos további információkért tekintse meg használati metaadatokra vonatkozó referencia.

Referenciaértékek

Az alábbi szakasz a feladatokhoz kapcsolódó táblák egyes oszlopainak hivatkozásait tartalmazza.

Trigger-típus értékei

A trigger_type oszlop lehetséges értékei a következők:

• CONTINUOUS
• CRON
• FILE_ARRIVAL
• ONETIME
• ONETIME_RETRY

Típusértékek futtatása

A run_type oszlop lehetséges értékei a következők:

Eredményállapot-értékek

A result_state oszlop lehetséges értékei a következők:

megszüntetési kód értékei

A termination_code oszlop lehetséges értékei a következők: