Del via

Overvågning af detaljer om Apache Spark-program

  • Artikel

Med Microsoft Fabric kan du bruge Apache Spark til at køre notesbøger, job og andre typer programmer i dit arbejdsområde. I denne artikel forklares det, hvordan du overvåger dit Apache Spark-program, så du kan holde øje med den seneste kørselsstatus, problemer og status for dine job.

Vis Apache Spark-programmer

Du kan få vist alle Apache Spark-programmer fra Spark-jobdefinitionen, eller genvejsmenuen for notesbogelementet viser den seneste kørselsindstilling –>.

Skærmbillede, der viser listen seneste kørsler og detaljer.

Du kan vælge navnet på det program, du vil have vist, på programlisten. På siden med programoplysninger kan du få vist programoplysningerne.

Overvåg Programstatus for Apache Spark

Åbn siden Seneste kørsler i notesbogen eller Spark-jobdefinitionen. Du kan få vist status for Apache-programmet.

  • Vellykket

Skærmbillede, der viser, hvor status for lykkedes vises.

  • I kø

Skærmbillede, der viser, hvor status for kø vises.

  • Stoppet

Skærmbillede, der viser status for Stoppet.

  • Annullerede

Skærmbillede, der viser, hvor den annullerede status vises.

  • Mislykket

Skærmbillede, der viser, hvor statussen Mislykket vises.

Job

Åbn et Apache Spark-programjob fra Spark-jobdefinitionen eller genvejsmenuen for notesbogelementet, der viser indstillingen Seneste kørsel – Seneste kørsler –> vælg et job på siden seneste kørsler.>

På siden med oplysninger om overvågning af Apache Spark-programmet vises listen over jobkørsler under fanen Job. Du kan få vist detaljerne for hvert job her, herunder job-id, Beskrivelse, Status, Faser, Opgaver, Varighed, Behandlet, Datalæsning, Dataskrevet og Kodestykke.

  • Hvis du klikker på Job-id, kan du udvide/skjule jobbet.
  • Klik på jobbeskrivelsen. Du kan gå til job- eller fasesiden i spark-brugergrænsefladen.
  • Klik på kodestykket for jobbet. Du kan kontrollere og kopiere den kode, der er relateret til jobbet.

Skærmbillede, der viser jobbene.

Ressourcer

Grafen over eksekveringsanvendelse under fanen ressourcer visualiserer allokeringen og udnyttelsen af Spark-eksekveringseksempler for det aktuelle Spark-program i næsten realtid under Spark-udførelse. Du kan se: Monitor Apache Spark Applications Resource Utilization.

Oversigtspanel

Klik på knappen Egenskaber på siden Overvågning af Apache Spark-program for at åbne/skjule oversigtspanelet. Du kan få vist detaljerne for dette program i Detaljer.

  • Status for dette spark-program.
  • Id'et for dette Spark-program.
  • Samlet varighed.
  • Kørselsvarighed for dette spark-program.
  • Varighed i kø for dette spark-program.
  • Livy ID
  • Indsender til dette spark-program.
  • Send tid til dette spark-program.
  • Antal eksekutorer.

Skærmbillede, der viser oversigten for spark-programmet.

Logfiler

Under fanen Logs kan du få vist den fulde log over Livy, Prelaunch, Driver log med forskellige indstillinger valgt i venstre panel. Du kan også hente de påkrævede logoplysninger direkte ved at søge efter nøgleord og få vist loggene ved at filtrere logstatussen. Klik på Download log for at hente logoplysningerne til det lokale.

Nogle gange er der ingen tilgængelige logge, f.eks. status for jobbet er sat i kø, og klyngeoprettelse mislykkedes.

Livelogge er kun tilgængelige, når indsendelse af apps mislykkes, og der leveres også driverlogge.

Skærmbillede, der viser loggene for spark-programmet.

Data

Under fanen Data kan du kopiere datalisten i Udklipsholder, downloade datalisten og enkelte data og kontrollere egenskaberne for de enkelte data.

  • Det venstre panel kan udvides eller skjules.
  • Input- og outputfilernes navn, læseformat, størrelse, kilde og sti vises på denne liste.
  • Filerne i input og output kan downloades, kopiere stien og få vist egenskaber.

Skærmbillede, der viser dataene for spark-programmet.

Øjebliksbilleder af elementer

Fanen Elementsnapshots giver dig mulighed for at gennemse og få vist elementer, der er knyttet til Apache Spark-programmet, herunder Notesbøger, Spark-jobdefinition og/eller Pipelines. På siden med øjebliksbilleder af elementer vises snapshottet af kode- og parameterværdierne på kørselstidspunktet for notesbøger. Det viser også snapshottet af alle indstillinger og parametre på tidspunktet for indsendelse af Spark-jobdefinitioner. Hvis Apache Spark-programmet er knyttet til en pipeline, viser den relaterede elementside også den tilsvarende pipeline og Spark-aktiviteten.

På skærmbilledet Elementsnapshots kan du:

  • Gennemse og naviger i de relaterede elementer i det hierarkiske træ.
  • Klik på ellipseikonet 'En liste over flere handlinger' for hvert element for at udføre forskellige handlinger.
  • Klik på snapshotelementet for at få vist dets indhold.
  • Få vist Brødkrumme for at se stien fra det valgte element til roden.

Skærmbillede, der viser de relaterede elementer for spark-programmet.

Bemærk

Funktionen Snapshots til notesbøger understøtter i øjeblikket ikke notesbøger, der kører eller er i en Spark-session med høj samtidighed.

Diagnosticering

Diagnosticeringspanelet giver brugerne anbefalinger og fejlanalyse i realtid, som genereres af Spark Advisor via en analyse af brugerens kode. Med indbyggede mønstre hjælper Apache Spark Advisor brugerne med at undgå almindelige fejl og analyserer fejl for at identificere deres rodårsag.

Skærmbillede, der viser diagnosticering for spark-programmet.

Relateret indhold

Det næste trin, når du har vist detaljerne for et Apache Spark-program, er at få vist status for Spark-job under cellen Notesbog. Du kan se flere oplysninger: