Sviluppare ed eseguire il debug di pipeline DLT nei notebook

Questo articolo descrive le funzionalità nei notebook di Azure Databricks che semplificano lo sviluppo e il debug del codice DLT.

Panoramica delle funzionalità

Quando si lavora in un notebook Python o SQL configurato come codice sorgente per una pipeline DLT esistente, è possibile connettere il notebook direttamente alla pipeline. Quando il notebook è connesso alla pipeline, sono disponibili le funzionalità seguenti:

• Avviare e convalidare la pipeline dal notebook.
• Visualizza il grafico del flusso di dati e il registro degli eventi della pipeline per visualizzare l'aggiornamento più recente nel notebook.
• Visualizzare la diagnostica della pipeline nell'editor di notebook.
• Visualizza lo stato del cluster della pipeline nel notebook.
• Accedere all'interfaccia utente DLT dal notebook.

Prerequisiti

• È necessario disporre di una pipeline DLT esistente con un notebook Python o SQL configurato come codice sorgente.
• È necessario essere il proprietario della pipeline o avere il privilegio CAN_MANAGE.

Limitazioni

• Le funzionalità descritte in questo articolo sono disponibili solo nei notebook di Azure Databricks. I file dell'area di lavoro non sono supportati.
• Il terminale Web non è disponibile quando è collegato a una pipeline. Di conseguenza, non è visibile come scheda nel pannello inferiore.

Connettere un notebook a una pipeline DLT

All'interno del notebook fare clic sul menu a discesa usato per selezionare calcolo. Il menu a discesa visualizza tutte le pipeline DLT di cui questo notebook è il codice sorgente. Per connettere il notebook a una pipeline, selezionarlo dall'elenco.

Visualizza lo stato del cluster della pipeline

Per comprendere facilmente lo stato del cluster della pipeline, il relativo stato viene visualizzato nel menu a discesa di calcolo con un colore verde per indicare che il cluster è in esecuzione.

Validare il codice della pipeline

È possibile convalidare la pipeline per verificare la presenza di errori di sintassi nel codice sorgente senza elaborare dati.

Per convalidare una pipeline, eseguire una delle operazioni seguenti:

• Nell'angolo superiore destro del notebook fare clic su Convalida.
• Premere Shift+Enter in qualsiasi cella del notebook.
• Nel menu a discesa di una cella, fare clic su Convalida pipeline.

Avviare un aggiornamento della pipeline

Per avviare un aggiornamento della pipeline, fare clic sul pulsante Avvia nell'angolo superiore destro del notebook. Guarda Esegui un aggiornamento su una pipeline DLT.

Visualizzare lo stato di un aggiornamento

Il pannello superiore del notebook visualizza se un aggiornamento della pipeline è:

• Inizio
• Validazione
• Fermare

Visualizza errori e diagnostiche

Dopo aver avviato un aggiornamento o una convalida della pipeline, gli eventuali errori vengono visualizzati inline con una sottolineatura rossa. Passare il puntatore del mouse su un errore per visualizzare altre informazioni.

Visualizzare gli eventi della pipeline

Quando è collegata a una pipeline, nella parte inferiore del notebook è visibile una scheda del registro degli eventi DLT.

Visualizzare il grafico del flusso di dati della pipeline

Per visualizzare il grafico del flusso di dati di una pipeline, usare la scheda del grafico DLT nella parte inferiore del notebook. Se si seleziona un nodo nel grafico, lo schema viene visualizzato nel pannello destro.

Come accedere all'interfaccia utente DLT dal notebook

Per passare facilmente all'interfaccia utente DLT, usare il menu nell'angolo in alto a destra del notebook.

Accedere ai log dei driver e all'interfaccia utente di Spark dal notebook

È possibile accedere facilmente ai log dei driver e all'interfaccia utente spark associata alla pipeline in fase di sviluppo dal menu Visualizzazione del notebook.