共用方式為


在筆記本中開發和偵錯 DLT 管線

重要

DLT 開發的筆記本體驗 公開預覽版

本文說明 Azure Databricks 筆記本中的功能,可協助開發及偵錯 DLT 程式代碼。

功能概觀

當您使用已設定為現有 DLT 管線原始程式碼的 Python 或 SQL 筆記本時,可以直接將筆記本連線到管線。 當筆記本連線到管線時,可以使用下列功能:

  • 從筆記本啟動並驗證管線。
  • 檢視管線的數據流圖表和事件記錄檔,以取得筆記本中的最新更新。
  • 在筆記本編輯器中檢視管線診斷。
  • 在筆記本中檢視管線叢集的狀態。
  • 從筆記本存取 DLT UI。

先決條件

  • 您必須有現有的 DLT 管線,且 Python 或 SQL 筆記本已設定為原始程式碼。
  • 您必須是管線的擁有者,或具有 CAN_MANAGE 許可權。

局限性

  • 本文所涵蓋的功能僅適用於 Azure Databricks 筆記本。 不支援工作區檔案。
  • 連結至管線時,無法使用 Web 終端機。 因此,它不會顯示為底部面板中的索引標籤。

將筆記本連線至 DLT 管線

在筆記本內,點擊選取運算環境的下拉功能表。 下拉功能表會顯示所有使用此筆記本作為原始程式碼的 DLT 管線。 若要將筆記本連線到管線,請從清單中選取它。

檢視管線的叢集狀態

若要輕鬆瞭解管線叢集的狀態,其狀態會顯示在計算下拉功能表中,其綠色表示叢集正在執行。

驗證流程程序代碼

您可以 驗證管線 檢查原始程式碼中的語法錯誤,而不需處理任何數據。

若要驗證管線,請執行下列其中一項:

  • 在筆記本右上角,按一下 [驗證]
  • 在任何筆記本數據格中按 Shift+Enter
  • 在儲存格的下拉功能表中,按一下 [驗證管線]

注意

如果您嘗試在現有更新正在執行時驗證管線,則會顯示對話框,詢問您是否要終止現有的更新。 如果您點擊 [是],現有的更新就會停止,而 驗證 更新會自動啟動。

啟動管線更新

若要開始更新您的管線,請在筆記本右上角按下 開始 按鈕。 請參閱 在 DLT 管線上執行更新

檢視更新的狀態

筆記本中的頂端面板會顯示管線更新是否為:

  • 開始
  • 驗證
  • 停止

檢視錯誤和診斷

當您啟動管線更新或驗證後,任何錯誤將會以紅色底線標示出來。 將滑鼠停留在錯誤上方以查看詳細資訊。

檢視管線事件

附加至管線時,筆記本底部有 DLT 事件記錄檔索引標籤。

事件記錄檔

檢視管線數據流圖形

若要檢視管線的數據流圖形,請使用筆記本底部的 DLT 圖形索引標籤。 選取圖形中的節點會在右側面板中顯示其架構。

數據流圖形

如何從筆記本存取 DLT UI

若要輕鬆地跳到 DLT UI,請使用筆記本右上角的功能表。

在 DLT UI 中從筆記本 開啟

從筆記本存取驅動程序記錄和 Spark UI

您可以從筆記本的 [檢視] 功能表輕鬆存取與開發管線相關聯的驅動程序記錄和Spark UI。

Access 驅動程式記錄和 Spark UI