Monitorare processi Spark all'interno di un notebook
Il notebook Microsoft Fabric è una superficie interattiva basata sul Web per lo sviluppo di processi Apache Spark e l'esecuzione di esperimenti di apprendimento automatico. Questo articolo illustra come monitorare lo stato dei processi Spark, accedere ai log di Spark, ricevere consigli all'interno del notebook e passare alla visualizzazione dei dettagli dell'applicazione Spark o all'interfaccia utente di Spark per ottenere informazioni di monitoraggio più complete per l'intero notebook.
Monitorare lo stato del processo Spark
Viene fornito un indicatore di stato del processo Spark con una barra di avanzamento in tempo reale che consente di monitorare lo stato di esecuzione del processo per ogni cella del notebook. È possibile visualizzare lo stato e l’avanzamento delle attività nei processi e nelle fasi di Spark.
Monitorare l'utilizzo delle risorse
Il grafico di utilizzo executor mostra visivamente l'allocazione di executor del processo Spark e l'uso delle risorse. Attualmente, solo le informazioni di runtime di Spark 3.4 e versioni successive visualizzeranno questa funzionalità. Facendo clic sulla scheda Risorse, verrà visualizzato il grafico a linee per l'utilizzo delle risorse della cella di codice.
Visualizzare consigli di Spark Advisor
Spark Advisor predefinito analizza il codice del notebook e le esecuzioni di Spark in tempo reale per ottimizzare le prestazioni dell’esecuzione del notebook e facilitare il debug degli errori. Esistono tre tipi di consigli predefiniti: Info, Avviso ed Errore. Le icone con numeri indicano rispettivamente il numero di consigli in ogni categoria (Info, Avviso e Errore) generati da Spark Advisor per una determinata cella del notebook.
Per visualizzare il consiglio, fare clic sulla freccia all'inizio per espandere e visualizzare i dettagli.
Dopo aver espanso la sezione Advisor, uno o più consigli diventano visibili.
Rilevamento asimmetrie di Spark Advisor
L'asimmetria dei dati è un problema comune che gli utenti spesso riscontrano. Spark Advisor supporta il rilevamento delle asimmetrie e, se viene rilevata un'asimmetria, sotto viene visualizzata un'analisi corrispondente.
Accedere ai log in tempo reale di Spark
I log di Spark sono essenziali per individuare eccezioni e diagnosticare le prestazioni o gli errori. La funzionalità di monitoraggio contestuale nel notebook consente di visualizzare direttamente i log per la cella specifica in esecuzione. È possibile cercare i log o filtrarli in base a errori e avvisi.
Passare ai dettagli del monitoraggio di Spark e all'interfaccia utente di Spark
Per accedere ad altre informazioni sull'esecuzione di Spark a livello di notebook, è possibile passare alla pagina dei dettagli dell'applicazione Spark o all'interfaccia utente di Spark tramite le opzioni disponibili nel menu contestuale.
