Monitorovanie podrobností aplikácie Apache Spark

So službou Microsoft Fabric môžete pomocou služby Apache Spark spúšťať notebooky, pracovné miesta a iné druhy aplikácií vo svojom pracovnom priestore. Tento článok vysvetľuje, ako monitorovať aplikáciu Apache Spark, ktorá vám umožňuje sledovať nedávny stav spustenia, problémy a priebeh vašej práce.

Zobrazenie aplikácií Apache Spark

Všetky aplikácie Apache Spark môžete zobraziť z definície úlohy Spark alebo kontextová ponuka poznámkovej položky zobrazuje poslednú možnosť spustenia ->.

Názov aplikácie, ktorú chcete zobraziť, môžete vybrať v zozname aplikácií. Na stránke s podrobnosťami aplikácie môžete zobraziť podrobnosti o aplikácii.

Monitorovanie stavu aplikácie Apache Spark

Otvorte stránku Nedávne spustenia notebooku alebo definíciu úlohy služby Spark, môžete zobraziť stav aplikácie Apache.

• Úspech

• Vo fronte

• Zastavené

• Zrušená

• Zlyhané

Úlohy

Otvorte úlohu aplikácie Apache Spark z kontextovej ponuky úlohy Spark alebo pomocou kontextovej ponuky poznámkovej položky zobrazíte možnosť Nedávne spustenie –>Nedávne spustenia –> vyberte úlohu na stránke posledných spustení.

Na stránke s podrobnosťami o monitorovaní aplikácií Apache Spark sa zoznam spustení úloh zobrazuje na karte Jobs (Úlohy), tu môžete zobraziť podrobnosti o jednotlivých úlohách vrátane ID úlohy, Popisu, stavu, fáz, úloh, trvania, spracovania, čítania údajov, zapísania údajov a úryvku kódu.

• Kliknutím na položku Job ID (ID úlohy) môžete úlohu rozbaliť alebo zbaliť.
• Kliknite na popis úloh, môžete prejsť na stránku s úlohou alebo fázou v používateľskom rozhraní iste.
• Kliknite na úryvok kódu úlohy, môžete skontrolovať a skopírovať kód súvisiaci s touto úlohou.

Zdroje

Graf používania vykonávateľa v časti zdrojov na karte vizualizuje vyhradenie a využitie vykonávateľov služby Spark pre aktuálnu aplikáciu Spark v takmer reálnom čase počas spúšťania služby Spark. Môžete si pozrieť: Monitor Apache Spark Applications Resource Utilization.

Panel súhrnu

Na stránke monitorovania aplikácie Apache Spark kliknite na tlačidlo Vlastnosti , čím otvoríte alebo zbalíte panel súhrnu. Podrobnosti pre túto aplikáciu nájdete v podrobnostiach.

• Stav tejto aplikácie spark.
• ID tejto aplikácie Spark.
• Celkové trvanie.
• Trvanie spustenia pre túto aplikáciu spark.
• Trvanie frontu pre túto aplikáciu spark.
• Livy ID
• Odosielateľ tejto aplikácie spark.
• Odošlite čas pre túto aplikáciu spark.
• Počet vykonávateľov.

Denníky

Na karte Denníky môžete zobraziť úplný denník Livy, Prelaunch, Denník vodiča s rôznymi možnosťami vybratými na ľavom paneli. Požadované informácie z denníka môžete načítať priamo prehľadávaním kľúčových slov a zobrazením denníkov filtrovaním stavu denníka. Kliknutím na položku Stiahnuť denník stiahnete informácie z denníka do miestneho súboru.

Niekedy nie sú k dispozícii žiadne denníky, napríklad stav úlohy vo fronte a vytvorenie klastra zlyhalo.

Dynamické denníky sú k dispozícii len v prípade zlyhania odoslania aplikácie a k dispozícii sú aj denníky ovládačov.

Údaje

Na karte Údaje môžete skopírovať zoznam údajov v Schránke, stiahnuť zoznam údajov a jednotlivé údaje a skontrolovať vlastnosti jednotlivých údajov.

• Ľavý panel je možné rozbaliť alebo zbaliť.
• Názov, formát čítania, veľkosť, zdroj a cesta vstupných a výstupných súborov sa zobrazia v tomto zozname.
• Vstupné a výstupné súbory je možné stiahnuť, skopírovať vlastnosti cesty a zobraziť.

Snímky položiek

Karta Snímky položiek umožňuje prehľadávať a zobrazovať položky súvisiace s aplikáciou Apache Spark vrátane notebookov, definície úloh Spark a/alebo kanálov. Strana snímok položky zobrazuje snímku hodnoty kódu a parametra v čase spustenia pre poznámkové bloky. Zobrazuje tiež snímku všetkých nastavení a parametrov v čase odoslania definícií úloh služby Spark. Ak je aplikácia Apache Spark priradená ku kanálu, stránka súvisiacej položky tiež predstavuje zodpovedajúci kanál a aktivitu Spark.

Na obrazovke Snímky položiek môžete:

• Prehľadávajte a prechádzajte súvisiacimi položkami v hierarchickom strome.
• Kliknutím na ikonu troch bodiek v zozname ďalších akcií pri každej položke môžete vykonať rôzne akcie.
• Kliknutím na položku snímky zobrazíte jej obsah.
• Pozrite si popis cesty, čím zobrazíte cestu z vybratej položky do koreňového adresára.

Diagnostika

Diagnostický panel poskytuje používateľom odporúčania v reálnom čase a analýzu chýb, ktoré vygeneruje nástroj Spark Advisor prostredníctvom analýzy kódu používateľa. Pomocou vstavaných vzorov poradca pre Apache Spark Advisor pomáha používateľom vyhnúť sa bežným chybám a analyzuje zlyhania na identifikáciu ich hlavnej príčiny.

Súvisiaci obsah

Ďalším krokom po zobrazení podrobností o aplikácii Apache Spark je zobraziť priebeh práce v službe Spark pod bunkou notebooku. Môžete odkazovať na:

• Monitorovanie a ladenie kontextu poznámkového bloku