Del via

Overvåking av Apache Spark-programdetaljer

  • Artikkel

Med Microsoft Fabric kan du bruke Apache Spark til å kjøre notatblokker, jobber og andre typer programmer i arbeidsområdet. Denne artikkelen forklarer hvordan du overvåker Apache Spark-programmet, slik at du kan holde et øye med statusen for nylige kjøringer, problemer og fremdriften til jobbene dine.

Vis Apache Spark-programmer

Du kan vise alle Apache Spark-programmer fra Spark-jobbdefinisjon, eller hurtigmenyen for notatblokkelementer viser det nylige kjørealternativet –>.

Skjermbilde som viser listen over nylige kjøringer og detaljer.

Du kan velge navnet på programmet du vil vise i programlisten, på programdetaljersiden kan du vise programdetaljene.

Overvåk Apache Spark-programstatus

Åpne nylig brukte kjøringer-siden i notatblokken eller Spark-jobbdefinisjonen, og du kan vise statusen for Apache-programmet.

  • Suksess

Skjermbilde som viser hvor vellykket status vises.

  • I kø

Skjermbilde som viser hvor statusen i kø vises.

  • Stoppet

Skjermbilde som viser stoppet status.

  • Kansellert

Skjermbilde som viser hvor den avbrutte statusen vises.

  • Mislykket

Skjermbilde som viser hvor statusen Mislykket vises.

Prosjekter

Åpne en Apache Spark-programjobb fra hurtigmenyen Spark-jobbdefinisjon eller notatblokkelement , som viser alternativet For nylig kjøring –> Nylige kjøringer –> velg en jobb på siden for nylige kjøringer.

På siden med overvåkingsdetaljer for Apache Spark-programmet vises listen over jobbkjøringer i kategorien Jobber, du kan vise detaljene for hver jobb her, inkludert jobb-ID, beskrivelse, status, faser, oppgaver, varighet, behandlet, datalesing, dataskrevet og kodesnutt.

  • Hvis du klikker jobb-ID, kan du vise/skjule jobben.
  • Klikk på stillingsbeskrivelsen, du kan hoppe til jobb- eller scenesiden i spark-brukergrensesnittet.
  • Klikk på kodesnutten for jobben, du kan kontrollere og kopiere koden som er relatert til denne jobben.

Skjermbilde som viser jobbene.

Ressurser

Den eksekutorbruksgrafen under Resources-fanen visualiserer tildelingen og bruken av Spark-eksekutorer for gjeldende Spark-program i nær sanntid under Spark-kjøring. Du kan referere til: Overvåk Apache Spark Applications Resource Utilization.

Sammendragspanel

Klikk Egenskaper-knappen på overvåkingssiden for Apache Spark-programmet for å åpne/skjule sammendragspanelet. Du kan vise detaljene for dette programmet i Detaljer.

  • Status for spark-programmet.
  • Spark-programmets ID.
  • Total varighet.
  • Kjørevarighet for spark-programmet.
  • Varighet i kø for spark-programmet.
  • Livy-ID
  • Innsendr for spark-programmet.
  • Send inn tid for spark-programmet.
  • Antall eksekutorer.

Skjermbilde som viser sammendraget for spark-programmet.

Logger

For Logger-fanen kan du vise den fullstendige loggen av Livy, Prelaunch, Driverlogg med forskjellige alternativer valgt i venstre panel. Du kan også hente den nødvendige logginformasjonen direkte ved å søke i nøkkelord og vise loggene ved å filtrere loggstatusen. Klikk Last ned logg for å laste ned logginformasjonen til den lokale.

Noen ganger er ingen logger tilgjengelige, for eksempel statusen for jobben i kø, og oppretting av klynge mislyktes.

Live-logger er bare tilgjengelige når appinnsending mislykkes, og driverlogger er også angitt.

Skjermbilde som viser loggene for spark-programmet.

Data

For Data-fanen kan du kopiere datalisten på utklippstavlen, laste ned datalisten og enkeltdata og kontrollere egenskapene for hver data.

  • Venstre panel kan utvides eller skjules.
  • Navnet, leseformatet, størrelsen, kilden og banen til inndata- og utdatafilene vises i denne listen.
  • Filene i inndata og utdata kan lastes ned, kopiere bane- og visningsegenskaper.

Skjermbilde som viser dataene for spark-programmet.

Øyeblikksbilder av element

Med fanen Øyeblikksbilder av element kan du bla gjennom og vise elementer som er knyttet til Apache Spark-programmet, inkludert notatblokker, Spark-jobbdefinisjon og/eller pipeliner. Øyeblikksbildesiden for elementet viser øyeblikksbildet av kode- og parameterverdiene på tidspunktet for kjøring av notatblokker. Den viser også øyeblikksbildet av alle innstillinger og parametere på tidspunktet for innsending for Spark-jobbdefinisjoner. Hvis Apache Spark-programmet er knyttet til et datasamlebånd, presenterer den relaterte elementsiden også det tilsvarende datasamlebåndet og Spark-aktiviteten.

I skjermbildet Øyeblikksbilder av element kan du:

  • Bla gjennom og naviger de relaterte elementene i det hierarkiske treet.
  • Klikk ellipseikonet «En liste over flere handlinger» for hvert element for å utføre forskjellige handlinger.
  • Klikk øyeblikksbildeelementet for å vise innholdet.
  • Vis brødsmulen for å se banen fra det valgte elementet til roten.

Skjermbilde som viser relaterte elementer for spark-programmet.

Merk

Funksjonen for øyeblikksbilder av notatblokkene støtter for øyeblikket ikke notatblokker som er i en kjørende tilstand eller i en spark-økt med høy samtidighet.

Diagnostikk

Diagnosepanelet gir brukerne anbefalinger i sanntid og feilanalyse, som genereres av Spark Advisor gjennom en analyse av brukerens kode. Med innebygde mønstre hjelper Apache Spark Advisor brukere med å unngå vanlige feil og analysere feil for å identifisere grunnårsaken.

Skjermbilde som viser diagnostikken for spark-programmet.

Relatert innhold

Neste trinn etter at du har vist detaljene i et Apache Spark-program, er å vise Fremdrift for Spark-jobben under notatblokkcellen. Du kan referere til: