在筆記本中開發和偵錯 DLT 管線
重要
DLT 開發的筆記本體驗 公開預覽版。
本文說明 Azure Databricks 筆記本中的功能,可協助開發及偵錯 DLT 程式代碼。
功能概觀
當您使用已設定為現有 DLT 管線原始程式碼的 Python 或 SQL 筆記本時,可以直接將筆記本連線到管線。 當筆記本連線到管線時,可以使用下列功能:
- 從筆記本啟動並驗證管線。
- 檢視管線的數據流圖表和事件記錄檔,以取得筆記本中的最新更新。
- 在筆記本編輯器中檢視管線診斷。
- 在筆記本中檢視管線叢集的狀態。
- 從筆記本存取 DLT UI。
先決條件
- 您必須有現有的 DLT 管線,且 Python 或 SQL 筆記本已設定為原始程式碼。
- 您必須是管線的擁有者,或具有
CAN_MANAGE
許可權。
局限性
- 本文所涵蓋的功能僅適用於 Azure Databricks 筆記本。 不支援工作區檔案。
- 連結至管線時,無法使用 Web 終端機。 因此,它不會顯示為底部面板中的索引標籤。
將筆記本連線至 DLT 管線
在筆記本內,點擊選取運算環境的下拉功能表。 下拉功能表會顯示所有使用此筆記本作為原始程式碼的 DLT 管線。 若要將筆記本連線到管線,請從清單中選取它。
檢視管線的叢集狀態
若要輕鬆瞭解管線叢集的狀態,其狀態會顯示在計算下拉功能表中,其綠色表示叢集正在執行。
驗證流程程序代碼
您可以 驗證管線 檢查原始程式碼中的語法錯誤,而不需處理任何數據。
若要驗證管線,請執行下列其中一項:
- 在筆記本右上角,按一下 [驗證] 。
- 在任何筆記本數據格中按
Shift+Enter
。 - 在儲存格的下拉功能表中,按一下 [驗證管線] 。
注意
如果您嘗試在現有更新正在執行時驗證管線,則會顯示對話框,詢問您是否要終止現有的更新。 如果您點擊 [是],現有的更新就會停止,而 驗證 更新會自動啟動。
啟動管線更新
若要開始更新您的管線,請在筆記本右上角按下 開始 按鈕。 請參閱 在 DLT 管線上執行更新。
檢視更新的狀態
筆記本中的頂端面板會顯示管線更新是否為:
- 開始
- 驗證
- 停止
檢視錯誤和診斷
當您啟動管線更新或驗證後,任何錯誤將會以紅色底線標示出來。 將滑鼠停留在錯誤上方以查看詳細資訊。
檢視管線事件
附加至管線時,筆記本底部有 DLT 事件記錄檔索引標籤。
檢視管線數據流圖形
若要檢視管線的數據流圖形,請使用筆記本底部的 DLT 圖形索引標籤。 選取圖形中的節點會在右側面板中顯示其架構。
如何從筆記本存取 DLT UI
若要輕鬆地跳到 DLT UI,請使用筆記本右上角的功能表。
開啟
從筆記本存取驅動程序記錄和 Spark UI
您可以從筆記本的 [檢視] 功能表輕鬆存取與開發管線相關聯的驅動程序記錄和Spark UI。