A Databricks-feladatok monitorozása és megfigyelhetősége

Ez a cikk az Azure Databricks felhasználói felületén elérhető funkciókat ismerteti a feladatok megtekintéséhez, a feladatok futtatási előzményeinek megtekintéséhez és a feladatfuttatások részleteinek megtekintéséhez. A feladatok értesítéseinek konfigurálásához lásd: Értesítések hozzáadása feladathoz.

A Databricks parancssori felületének használatával a feladatok megtekintéséhez és a feladatok futtatásához futtassa a parancssori felület parancsait databricks jobs list -h, databricks jobs get -hés databricks jobs run-now -ha . A Jobs API használatáról a Jobs API-t tekintheti meg.

Ha rendelkezik hozzáféréssel a system.lakeflow sémához, megtekintheti és lekérdezheti a feladatfuttatások és feladatok rekordjait a fiókon keresztül. Lásd: Feladatok rendszertábla-referenciája. A feladatok rendszertábláihoz számlázási táblákkal is csatlakozhat, így nyomon követheti a feladatok költségeit a fiókban. Lásd: Feladatköltségek monitorozása & teljesítmény monitorozása rendszertáblákkal.

Feladatok megtekintése

Az oldalsáv MunkafolyamatokWorkflows Icon elemére kattintva megtekintheti azoknak a feladatoknak a listáját, amelyekhez hozzáféréssel rendelkezik. A Feladatok lap a Munkafolyamatok felhasználói felületén felsorolja az összes elérhető feladat adatait, például a feladat létrehozóját, a feladat eseményindítóját, ha van ilyen, és az utolsó öt futtatás eredményét.

A feladatok listájában megjelenő oszlopok módosításához kattintson és jelölje ki vagy törölje az oszlopok kijelölését.

A Feladatok listában szereplő feladatokat az alábbi képernyőképen látható módon szűrheti.

1. Keresés kulcsszavakon. A kulcsszókeresés támogatott a név, a feladatazonosító és a feladatcímke mezők esetében. Egy kulccsal és értékkel létrehozott címke kereséséhez a kulcs, az érték vagy a kulcs és az érték alapján is kereshet. Például a kulccsal department és az értékkel financerendelkező címkék esetében megkeresheti department vagy finance megkeresheti az egyező feladatokat. A kulcs és az érték alapján történő kereséshez írja be a kulcsot és az értéket kettősponttal elválasztva (például department:finance).
2. Csak a saját feladatait válassza ki.
3. Jelölje ki az összes olyan feladatot, amelyhez hozzáféréssel rendelkezik.
4. A kedvencként megjelölt összes feladat kijelölése.
5. Címkék használata. Címkék alapján történő kereséshez a címkék legördülő menüjével egyszerre legfeljebb öt címkére szűrhet, vagy közvetlenül használhatja a kulcsszókeresést.

A feladatok listáját (növekvő vagy csökkenő sorrendben) is rendezheti a Név, Feladat IDvagy Létrehozta oszlopfejlécekre kattintva. Alapértelmezés szerint a feladatok növekvő sorrendbe vannak rendezve Név szerint.

Feladat indításához kattintson a lejátszás gombra. Egy feladat leállításához kattintson a leállítás gombra. Más feladatműveletek eléréséhez kattintson a kebab menüre (például a feladat törléséhez).

Nézet egyetlen feladathoz fut

Megtekintheti a jelenleg futó és a közelmúltban befejezett futtatások listáját egy olyan feladathoz, amelyhez hozzáféréssel rendelkezik, beleértve a külső vezénylési eszközök, például az Apache Airflow vagy az Azure Data Factory által indított futtatásokat is. A legutóbbi feladatfuttatások listájának megtekintése:

1. Kattintson a Munkafolyamatok elemre az oldalsávon.
2. A Név oszlopban kattintson egy feladat nevére. A Futtatások lap az aktív és befejezett futtatások mátrix- és listanézeteivel jelenik meg.

A mátrixnézet a feladat futtatásának előzményeit jeleníti meg, beleértve az egyes feladatokat is.

A mátrix Futtatási teljes időtartam sora megjeleníti a futtatás teljes időtartamát és a futtatás állapotát. A futtatás részleteinek megtekintéséhez, beleértve a kezdési időt, az időtartamot és az állapotot, mutasson az egérmutatóra a Futtatás teljes időtartama sorban.

A Tevékenységek sor minden celláját egy tevékenység és a tevékenység megfelelő állapota jelöli. Ha meg szeretné tekinteni az egyes tevékenységek részleteit, beleértve a kezdési időpontot, az időtartamot, a fürtöt és az állapotot, vigye az egérmutatót az adott tevékenység cellájára.

A feladatfuttatás és a feladatfuttatási sávok színkódokkal jelzik a futtatás állapotát. A sikeres futások zöldek. A sikertelen futtatások pirosak, a kihagyott futtatások rózsaszínek, az újrapróbálkozásra való várakozás pedig sárga. A függőben lévő, megszakított vagy időtúllépéses állapot szürke. Az egyes feladatfuttatások és feladatfuttatási sávok magassága vizuálisan jelzi a futtatás időtartamát.

Ha konfigurálta a várt befejezési időt, a mátrix nézet figyelmeztetést jelenít meg, ha a futtatás időtartama meghaladja a konfigurált időt.

Alapértelmezés szerint a futtatások listanézete a következőket jeleníti meg:

• A futtatás kezdő időpontja.
• A futtatási azonosító.
• Függetlenül attól, hogy a futtatás feladatütemezés vagy API-kérés által lett-e aktiválva, vagy manuálisan indult el.
• Egy jelenleg futó feladat vagy egy befejezett futtatás teljes futási ideje. Figyelmeztetés jelenik meg, ha az időtartam meghaladja a konfigurált befejezési időt.
• A futtatás állapota, várólistára helyezett, függőben lévő, Futó, Kihagyott, Sikeres, Sikertelen, Időtúllépés, Megszakítottvagy Megszakított.
• Az a hibakód, amellyel a futtatás leállt.
• A futtatási paraméterek.

Az aktuálisan aktív futtatások leállítás gombot jelenítenek meg. Az összes aktív és várólistás futtatás leállításához válassza a Futtatások megszakítása vagy a Az összes várólistás futtatás megszakítása lehetőséget a legördülő menüből.

A használata futtatás során további környezetspecifikus műveletekhez, mint például a befejezett futtatások bejegyzéseinek törléséhez.

A futtatás környezetspecifikus műveleteinek eléréséhez kattintson a kebab menüre (például egy aktív futtatás leállításához vagy egy befejezett futtatás törléséhez).

A futtatáslista nézetben megjelenő oszlopok módosításához kattintson és jelölje ki vagy törölje az oszlopok kijelölését.

A feladatfuttatás részleteinek megtekintéséhez kattintson a futtatás hivatkozására a Futtatáslista nézetben a Kezdési idő oszlopban. A feladat legutóbbi sikeres futtatásának részleteinek megtekintéséhez kattintson az Ugrás a legutóbbi sikeres futtatásra elemre.

Az Azure Databricks akár 60 napig is megőrzi a feladat futtatásának előzményeit. Ha meg kell őriznie a feladatfuttatásokat, a Databricks azt javasolja, hogy a lejárat előtt exportálja az eredményeket. További információ: Feladatfuttatási eredmények exportálása.

Feladatfuttatás részleteinek megtekintése

A feladatfuttatás részletei lap a feladat kimenetét és a naplókra mutató hivatkozásokat tartalmazza, beleértve a feladatfuttatás egyes feladatainak sikerességével vagy sikertelenségével kapcsolatos információkat. A feladat futtatási adatait a feladat Futtatások lapján érheti el.

A feladatok futtatási részleteinek megtekintéséhez a Futtatások lapon kattintson a futtatás hivatkozására a Futtatáslista nézetben a Kezdési időpont oszlopban. A feladat Futtatások lapjára való visszatéréshez kattintson a Feladatazonosító értékre.

A több tevékenységgel rendelkező feladatok gráf-, idővonal- és listanézettel is rendelkeznek.

Gráfnézet

Kattintson a gráf egy feladatára a feladat végrehajtási részleteinek megtekintéséhez, beleértve a következőket:

• A tevékenység részletei, beleértve a futtatás módját, a feladat indításának módját, a kezdési időpontot, a befejezési időt, az időtartamot és az állapotot.
• A forráskód.
• A feladatot futtató fürt, amely a lekérdezési előzményekre és naplókra hivatkozik.
• A tevékenység metrikái.

Ütemterv nézet

A több feladatot tartalmazó feladatok ütemterv nézete lehetővé tette a feladatok azonosítását, a függőségek és az átfedések megértését a feladatok hibakereséséhez és optimalizálásához.

Lista nézet

A listanézet alapértelmezés szerint az állapotot, a nevet, a típust, az erőforrást, az időtartamot és a függőségeket jeleníti meg. Ebben a nézetben oszlopokat vehet fel és távolíthat el.

Kereshet egy tevékenységet név alapján, szűrhet tevékenységállapot vagy tevékenységtípus szerint, és állapot, név vagy időtartam szerint rendezheti a tevékenységeket.

A feladat Futtatások lapjára való visszatéréshez kattintson a Feladatazonosító értékre.

Hogyan határozza meg az Azure Databricks a feladatfuttatás állapotát?

Az Azure Databricks a feladat levélfeladatainak eredménye alapján határozza meg, hogy egy feladat futtatása sikeres volt-e. A levélfeladat olyan tevékenység, amely nem rendelkezik alárendelt függőségekkel. A feladatok futtatásának három kimenete lehet:

• Sikeres: Minden tevékenység sikeres volt.
• Sikertelen volt: Egyes tevékenységek sikertelenek voltak, de az összes levélfeladat sikeres volt.
• Sikertelen: Egy vagy több levélfeladat meghiúsult.
• Kihagyva: A feladatfuttatás ki lett hagyva (például kihagyhat egy feladatot, mert túllépte a feladat vagy a munkaterület egyidejű futtatásának maximális futását).
• Időtúllépés: A feladat futtatása túl sokáig tartott, és időtúllépés történt.
• Megszakítva: A feladatfuttatás megszakadt (például egy felhasználó manuálisan törölte a folyamatban lévő futtatásokat).

Streamelési feladatok metrikáinak megtekintése

A feladatfuttatás részleteinek megtekintésekor a feladatok UI-jában streamelési megfigyelési metrikákkal adatokat kaphat a streamelési munkaterhelésekről. Ezek a metrikák közé tartoznak a várakozási idő másodpercekben, a várakozási bájtok, a várakozási rekordok és a várakozási fájlok azoknál a forrásoknál, amelyeket a Spark Strukturált Streaming támogat, mint például az Apache Kafka, az Amazon Kinesis, az Auto Loader, a Google Pub/Sub és a Delta táblázatok. A metrikák diagramként jelennek meg a jobb oldali panelen, amikor megtekinti egy tevékenység futtatási részleteit. Az egyes diagramokon látható metrikák maximális értékek percenként összesítve, és akár az előző 48 órát is tartalmazhatják.

Minden streamforrás csak bizonyos metrikákat támogat. A streamelési forrás által nem támogatott metrikák nem tekinthetők meg a felhasználói felületen. Az alábbi táblázat a támogatott streamelési forrásokhoz elérhető metrikákat mutatja be:

Az egyes streamelési metrikákhoz küszöbértékeket is megadhat, és beállíthatja az értesítéseket, ha egy stream túllép egy küszöbértéket egy tevékenység futtatása során. Lásd: Lassú feladatok értesítéseinek konfigurálása.

Streamelési metrikák megtekintése egy olyan feladatfuttatáshoz, amely adatokat streamel az egyik támogatott strukturált streamelési forrásból:

1. A Feladat futtatásának részletei lapon kattintson arra a tevékenységre, amelynek a metrikáit meg szeretné tekinteni.
2. Kattintson a Metrika fülre a Feladat végrehajtás panelen.
3. A metrika gráfjának megnyitásához kattintson a metrika neve melletti elemre.
4. Egy adott stream metrikáinak megtekintéséhez írja be a stream azonosítóját a Stream_id szerinti szűrés szövegmezőbe. A streamazonosítót a feladat futtatásához használt kimeneti találja.
5. A metrikadiagramok időtartamának módosításához használja az idő legördülő menüt.
6. Ha a futtatás tíznél több streamet tartalmaz, haladjon végig a streameken, kattintson a Következő vagy a Előzőgombra.

A stream megfigyelhetőségének korlátozásai

• A metrikák percenként frissülnek, kivéve, ha egy futtatás négynél több streamet futtat. Ha egy futtatás négynél több streammel rendelkezik, a metrikák öt percenként frissülnek.
• A metrikák csak az egyes futtatások első ötven streamjéhez lesznek gyűjtve.

Tevékenységfuttatási előzmények megtekintése

Egy feladat futtatási előzményeinek megtekintése, beleértve a sikeres és sikertelen futtatásokat is:

1. Kattintson egy feladatra a Feladatfuttatás részletei lapon. Megjelenik a Feladatfuttatás részletei lap.
2. Válassza ki a feladatfuttatást a futtatási előzmények legördülő menüben.

Tevékenység futtatási előzményeinek megtekintése egy For each tevékenységhez

A For each tevékenységek futtatási előzményeinek elérése ugyanaz, mint egy standard Azure Databricks-feladat. A Feladatfuttatás részleteiFor eachkattinthat. A szokásos tevékenységekkel ellentétben azonban a For each tevékenységek futtatási részletei a beágyazott tevékenység iterációinak táblázataként jelennek meg.

Ha csak a sikertelen iterációkat szeretné megtekinteni, kattintson a Csak a sikertelen iterációk elemre.

Az iteráció kimenetének megtekintéséhez kattintson az iteráció kezdési vagybefejezési idő értékeire.

Az összes munkafolyamat legutóbbi futtatásainak megtekintése

Megtekintheti a jelenleg futó és a közelmúltban befejezett futtatások listáját egy olyan munkaterület összes feladatához, amelyhez hozzáféréssel rendelkezik, beleértve a külső vezénylési eszközök, például az Apache Airflow vagy az Azure Data Factory által indított futtatásokat is. A legutóbbi feladatfuttatások listájának megtekintése:

1. Kattintson a Munkafolyamatok elemre az oldalsávon.
2. Kattintson a Feladatfuttatások fülre a Befejezett futtatások száma gráf és a Feladatfuttatások lista megjelenítéséhez.

Befejezett futtatások számának grafikonja

A Befejezett futtatások száma diagram az elmúlt 48 órában befejezett feladatok számát jeleníti meg. Alapértelmezés szerint a gráf megjeleníti a sikertelen, kihagyott és sikeres feladatfuttatásokat. Szűrheti a gráfot is, hogy konkrét futtatási állapotokat jelenítsen meg, vagy a gráfot egy adott időtartományra korlátozza. A Feladatfuttatások lap az elmúlt 67 nap feladatfuttatásainak táblázatát is tartalmazza. Alapértelmezés szerint a táblázat a sikertelen, kihagyott és sikeres feladatfuttatások részleteit tartalmazza.

A Befejezett futtatások számát futtatási állapot szerint szűrheti:

• Ha frissíteni szeretné a gráfot az aktuálisan futó vagy a futtatásra váró feladatok megjelenítéséhez, kattintson az Aktív futtatások elemre.
• Ha frissíteni szeretné a grafikont, hogy csak a befejezett futtatások jelenjenek meg, beleértve a sikertelen, a sikeres és a kihagyott futtatásokat, kattintson a Befejezett futtatások elemre.
• Ha frissíteni szeretné a gráfot, hogy csak az elmúlt 48 órában sikeresen befejezett futtatások jelenjenek meg, kattintson a Sikeres futtatások elemre.
• Ha frissíteni szeretné a gráfot, hogy csak a kihagyott futtatások jelenjenek meg, kattintson a Kihagyott futtatások elemre. A futtatások kimaradnak, mert túllépte az egyidejű futtatások maximális számát a munkaterületen, vagy a feladat túllépte a feladatkonfiguráció által megadott egyidejű futtatások maximális számát.
• Ha frissíteni szeretné a gráfot, hogy csak a hibaállapotban befejezett futtatások jelenjenek meg, kattintson a Sikertelen futtatások elemre.

A szűrőgombok bármelyikére kattintva a futtatások listája a futtatástáblában is frissül, hogy csak a kijelölt állapotnak megfelelő feladatfuttatások jelenjenek meg.

A Kész futtatások száma gráfban megjelenített időtartomány korlátozásához kattintson és húzza a kurzort a diagramon az időtartomány kiválasztásához. A gráf és a futtatástábla frissítése csak a kiválasztott időtartományból származó futtatások megjelenítéséhez.

Az 5 leggyakoribb hibatípus táblázat a kiválasztott időtartomány leggyakoribb hibatípusainak listáját jeleníti meg, így gyorsan áttekintheti a munkaterületen előforduló feladatproblémák leggyakoribb okait.

Futtatott feladatok listája

A Feladatfuttatások lap az elmúlt 60 nap feladatfuttatásainak táblázatát is tartalmazza. Alapértelmezés szerint a táblázat a sikertelen, kihagyott és sikeres feladatfuttatások részleteit tartalmazza.

A megjelenített futtatások listáját az alábbiak alapján szűrheti:

• Feladat: Legfeljebb 3 feladatot jelöljön ki, és csak ezekhez a feladatokhoz futjon.
• Futtatás másként: Legfeljebb 3 futtatás kijelölése identitásként, és csak azok a futtatások láthatók, amelyeket ezek a felhasználók futtattak.
• Időablak: Válassza ki a kezdési és befejezési dátumot és időpontot, és szűkítse le az ebben az intervallumban történt feladatfuttatásokat.
• Futtatás állapota: Szűrés az aktív (jelenleg futó), a befejezett (ideértve a sikeres és sikertelen futtatásokat is), a sikeres, a sikertelen és a kihagyott futtatások megtekintéséhez csak.
• Hibakód: Szűrje a listát hibakód alapján, hogy az azonos hibakóddal meghiúsult összes feladat megjelenjen.

Alapértelmezés szerint a futtatások listája a futtatás táblában a következőket jeleníti meg:

• A futtatás kezdő időpontja.
• A futtatáshoz társított feladat neve.
• A feladat által futtatott felhasználónév.
• Függetlenül attól, hogy a futtatás feladatütemezés vagy API-kérés által lett-e aktiválva, vagy manuálisan indult el.
• Egy jelenleg futó feladat vagy egy befejezett futtatás teljes futási ideje. Figyelmeztetés jelenik meg, ha az időtartam meghaladja a konfigurált befejezési időt.
• A futtatás állapota: várólistára helyezett, Függőben lévő, Futó, Kihagyott, Sikeres, Sikertelen, Időtúllépés, Megszakítottvagy Megszakított.
• Minden olyan hibakód, amellyel a futtatás leállt.
• A futtatás bármely paramétere.
• Futó feladat leállításához kattintson a leállítás gombra. A feladat műveleteinek eléréséhez kattintson a (például egy aktív futtatás leállításához vagy egy befejezett futtatás törléséhez).

A futtatások listájában megjelenő oszlopok módosításához kattintson és jelölje ki vagy törölje az oszlopok kijelölését.

A feladatfuttatás részleteinek megtekintéséhez kattintson a futtatás Kezdési idő oszlopában található hivatkozásra. A feladat részleteinek megtekintéséhez kattintson a feladat nevére a Feladat oszlopban.

Feladathoz tartozó életút adatainak megtekintése

Ha a Unity Catalog engedélyezve van a munkaterületen, megtekintheti a unitykatalógus-táblákra vonatkozó részletes információkat a munkafolyamatban. Ha a munkafolyamathoz rendelkezésre állnak a lefutási adatok, megjelenik egy hivatkozás, amely a feladatHoz tartozó Feladat részletei panelen, a feladat futtatásához tartozó Feladatfuttatás részletei panelen vagy a tevékenységfuttatás tevékenységfuttatási részletei paneljén található, a felsőbb és alsóbb rétegbeli táblák számát tartalmazza. Kattintson a hivatkozásra a táblák listájának megjelenítéséhez. Kattintson egy táblára a Katalóguskezelő részletes információinak megtekintéséhez.

Databricks-eszközcsomaggal létrehozott feladat megtekintése és futtatása

Az Azure Databricks Jobs felhasználói felületén megtekintheti és futtathatja a Databricks-eszközcsomag által üzembe helyezett feladatokat. Alapértelmezés szerint ezek a feladatok írásvédettek a Feladatok felhasználói felületén. A köteg által üzembe helyezett feladat szerkesztéséhez módosítsa a csomag konfigurációs fájlját, és telepítse újra a feladatot. A módosítások csak a csomagkonfigurációra való alkalmazása biztosítja, hogy a csomag forrásfájljai mindig rögzítsék az aktuális feladatkonfigurációt.

Ha azonban azonnal módosítania kell egy feladatot, leválaszthatja a feladatot a csomagkonfigurációról, hogy lehetővé tegye a feladatbeállítások szerkesztését a felhasználói felületen. A feladat leválasztásához kattintson a Forrás leválasztása elemre. A Forrás leválasztása párbeszédpanelen kattintson a Leválasztás gombra a megerősítéshez.

A felhasználói felületen végzett feladat módosításai nem lesznek alkalmazva a csomagkonfigurációra. Ha a felhasználói felületen végrehajtott módosításokat a csomagra szeretné alkalmazni, manuálisan kell frissítenie a csomagkonfigurációt. Ha újra szeretné csatlakoztatni a feladatot a csomagkonfigurációhoz, helyezze újra üzembe a feladatot a köteg használatával.

Feladatfuttatási eredmények exportálása

Exportálhatja a jegyzetfüzet futtatási eredményeit és a feladatfuttatási naplókat az összes feladattípushoz.

Jegyzetfüzet-futtatási eredmények exportálása

A feladatfuttatásokat az eredmények exportálásával őrizheti meg. A jegyzetfüzet-feladatok futtatásakor exportálhategy renderelt jegyzetfüzetet, amely később importálható az Azure Databricks-munkaterületre.

Egyetlen feladattal rendelkező feladat jegyzetfüzet-futtatási eredményeinek exportálása:

1. A feladat részletei lapon kattintson a Futtatás részleteinek megtekintése hivatkozásra a Befejezett futtatások (elmúlt 60 nap) tábla Futtatás oszlopában.
2. Kattintson az Exportálás HTML-be gombra.

Több tevékenységgel rendelkező feladat eredményeinek exportálása a jegyzetfüzetben:

1. A feladat részletei lapon kattintson a Futtatás részleteinek megtekintése hivatkozásra a Befejezett futtatások (elmúlt 60 nap) tábla Futtatás oszlopában.
2. Kattintson az exportálni kívánt jegyzetfüzet-feladatra.
3. Kattintson az Exportálás HTML-be gombra.

Feladatfuttatási naplók exportálása

Exportálhatja a feladatfuttatás naplóit is. Beállíthatja, hogy a feladat automatikusan kézbesítse a naplókat a DBFS-nek a feladatok számítási konfigurálása során (lásd számítási konfigurációs referencia) vagy a Feladat API-n keresztül. Tekintse meg a new_cluster.cluster_log_conf Feladat API Új feladatkérelem törzsében található objektumot.