Apache Spark-alkalmazás részletes monitorozása

A Microsoft Fabric segítségével az Apache Spark használatával jegyzetfüzeteket, feladatokat és más típusú alkalmazásokat futtathat a munkaterületen. Ez a cikk bemutatja, hogyan figyelheti az Apache Spark-alkalmazást, így figyelemmel kísérheti a feladatok legutóbbi futtatási állapotát, problémáit és előrehaladását.

Apache Spark-alkalmazások megtekintése

Megtekintheti az összes Apache Spark-alkalmazást a Spark-feladatdefinícióból, vagy a jegyzetfüzetelem helyi menüjében a legutóbbi futtatási lehetőség látható –>.

Kiválaszthatja a megtekinteni kívánt alkalmazás nevét az alkalmazáslistában, az Alkalmazás részletei lapon pedig megtekintheti az alkalmazás részleteit.

Az Apache Spark-alkalmazás állapotának monitorozása

Nyissa meg a jegyzetfüzet Legutóbbi futtatások lapját vagy a Spark-feladatdefiníciót, és megtekintheti az Apache-alkalmazás állapotát.

• Siker

• Feldolgozási sorban

• Leállítva

• Visszavont

• Sikertelen

Feladatok

Nyisson meg egy Apache Spark-alkalmazásfeladatot a Spark-feladat definíciójának vagy jegyzetfüzetelem helyi menüjének Legutóbbi futtatás lehetőségével –> Legutóbbi futtatások –> válasszon ki egy feladatot a legutóbbi futtatások lapon.

Az Apache Spark alkalmazás figyelési adatainak lapján a feladatfuttatások listája megjelenik a Feladatok lapon, itt megtekintheti az egyes feladatok részleteit, beleértve a feladatazonosítót, a leírást, az állapotot, a fázisokat, a feladatokat, az időtartamot, a feldolgozott adatokat, az adatolvasást, az írott adatokat és a kódrészletet.

• A feladatazonosítóra kattintva kibonthatja vagy összecsukhatja a feladatot.
• Kattintson a feladat leírására, és a Spark felhasználói felületén a feladatra vagy a szakaszlapra ugorhat.
• Kattintson a feladat Kódrészletére, és ellenőrizheti és másolhatja a feladathoz kapcsolódó kódot.

Erőforrások

Az Erőforrások lap végrehajtóinak használati gráfja közel valós időben jeleníti meg a Spark-végrehajtók lefoglalását és kihasználtságát az aktuális Spark-alkalmazáshoz a Spark-végrehajtás során. Lásd: Az Apache Spark-alkalmazások erőforrás-kihasználtságának monitorozása.

Összegzés panel

Az Apache Spark-alkalmazás figyelési lapján kattintson a Tulajdonságok gombra az összefoglaló panel megnyitásához/összecsukásához. Az alkalmazás részleteit a Részletek területen tekintheti meg.

• A spark-alkalmazás állapota.
• Ez a Spark-alkalmazás azonosítója.
• Teljes időtartam.
• A spark-alkalmazás futási időtartama.
• A spark-alkalmazás várólistára helyezett időtartama.
• Livy-azonosító
• A Spark-alkalmazás beküldője.
• A Spark-alkalmazás beküldésének ideje.
• Végrehajtók száma.

Naplók

A Naplók lapon megtekintheti a Livy, Prelaunch, Driver log teljes naplóját a bal oldali panelen különböző beállításokkal. A szükséges naplóadatokat pedig közvetlenül lekérheti kulcsszavak keresésével és a naplók megtekintésével a napló állapotának szűrésével. A Napló letöltése gombra kattintva töltse le a napló adatait a helyibe.

Néha nem érhetők el naplók, például a feladat állapota várólistára kerül, és a fürt létrehozása sikertelen.

Élő naplók csak akkor érhetők el, ha az alkalmazásbeküldés sikertelen, és az illesztőprogram-naplók is meg vannak adva.

Adatok

Az Adatok lapon vágólapra másolhatja az adatlistát, letöltheti az adatlistát és az egyetlen adatot, és ellenőrizheti az egyes adatok tulajdonságait.

• A bal oldali panel kibontható vagy összecsukható.
• A bemeneti és kimeneti fájlok neve, olvasási formátuma, mérete, forrása és elérési útja jelenik meg ebben a listában.
• A bemeneti és kimeneti fájlok letölthetők, az elérési út másolása és a tulajdonságok megtekintése.

Elem pillanatképei

Az Elem pillanatképek lapja lehetővé teszi az Apache Spark-alkalmazáshoz társított elemek tallózását és megtekintését, beleértve a jegyzetfüzeteket, a Spark-feladatdefiníciókat és/vagy a folyamatokat. Az elem-pillanatképek lapon a jegyzetfüzetek végrehajtásakor látható a kód és a paraméterértékek pillanatképe. Emellett megjeleníti az összes beállítás és paraméter pillanatképét a Spark-feladatdefiníciók beküldésekor. Ha az Apache Spark-alkalmazás egy folyamathoz van társítva, a kapcsolódó elemoldal a megfelelő folyamatot és a Spark-tevékenységet is megjeleníti.

Az Elem pillanatképek képernyőn a következőt végezheti el:

• Tallózással navigálhat a hierarchikus fa kapcsolódó elemei között.
• Kattintson a "További műveletek listája" három pontra az egyes elemeknél a különböző műveletek elvégzéséhez.
• Kattintson a pillanatképelemre a tartalmának megtekintéséhez.
• A Breadcrumbban megtekintheti a kijelölt elemtől a gyökérig vezető útvonalat.

Diagnosztika

A diagnosztikai panel valós idejű javaslatokat és hibaelemzést biztosít a felhasználóknak, amelyeket a Spark Advisor a felhasználó kódjának elemzésével hoz létre. A beépített minták segítségével az Apache Spark Advisor segít a felhasználóknak elkerülni a gyakori hibákat, és elemezni a hibákat a kiváltó ok azonosításához.

Kapcsolódó tartalom

Az Apache Spark-alkalmazások adatainak megtekintése után a következő lépés a Spark-feladatok előrehaladásának megtekintése a Jegyzetfüzet cella alatt. Az alábbiakra lehet hivatkozni:

• Jegyzetfüzet környezetfüggő monitorozása és hibakeresése