Поделиться через


Разработка и отладка конвейеров DLT в записных книжках

Важный

Интерфейс записной книжки для разработки DLT находится в общедоступной предварительной версии.

В этой статье описываются функции записных книжек Azure Databricks, которые помогают в разработке и отладке кода DLT.

Общие сведения о функциях

При работе с записной книжкой Python или SQL, настроенной в качестве исходного кода для существующего конвейера DLT, можно подключить записную книжку непосредственно к конвейеру. Когда записная книжка подключена к конвейеру, доступны следующие функции:

  • Запустите и проверьте конвейер из блокнота.
  • Просмотрите граф потока данных конвейера и журнал событий для последних изменений в ноутбуке.
  • Просмотр диагностики конвейера в редакторе записной книжки.
  • Просмотрите состояние кластера конвейера в блокноте.
  • Доступ к пользовательскому интерфейсу DLT из записной книжки.

Необходимые условия

  • У вас должен быть существующий конвейер DLT с записной книжкой Python или SQL, настроенной как исходный код.
  • Вы должны быть владельцем конвейера или иметь права CAN_MANAGE.

Ограничения

  • Функции, описанные в этой статье, доступны только в записных книжках Azure Databricks. Файлы рабочей области не поддерживаются.
  • Веб-терминал недоступен при подключении к конвейеру. В результате она не отображается как вкладка на нижней панели.

Подключение ноутбука к конвейеру DLT

В записной книжке щелкните раскрывающееся меню, используемое для выбора вычислений. В раскрывающемся меню отображаются все DLT-процессы, в которых эта записная книжка используется в качестве исходного кода. Чтобы подключить ноутбук к конвейеру, выберите его из списка.

Просмотр состояния кластера конвейера

Чтобы легко понять состояние кластера конвейера, его состояние отображается в раскрывающемся меню вычислений с зеленым цветом, чтобы указать, что кластер запущен.

Проверка кода конвейера

Вы можете проверить конвейер на наличие синтаксических ошибок в исходном коде без обработки данных.

Чтобы проверить конвейер, выполните одно из следующих действий.

  • В правом верхнем углу блокнота щелкните Проверить.
  • Нажмите Shift+Enter в любой ячейке записной книжки.
  • В раскрывающемся меню ячейки щелкните Проверить конвейер.

Заметка

Если вы пытаетесь проверить конвейер во время выполнения существующего обновления, откроется диалоговое окно с запросом на завершение существующего обновления. Если щелкнуть Да, существующие обновления останавливаются и автоматически запускается проверка обновления.

Начать обновление конвейера

Чтобы начать обновление конвейера, нажмите кнопку "Пуск" в правом верхнем углу ноутбука. См. выполнение обновления для конвейера DLT.

Просмотр состояния обновления

Верхняя панель в ноутбуке отображает, является ли обновлением конвейера:

  • Начало
  • Проверка
  • Остановка

Просмотр ошибок и диагностики

После запуска обновления или проверки конвейера все ошибки отображаются с красным подчеркиванием. Наведите указатель мыши на ошибку, чтобы просмотреть дополнительные сведения.

Просмотр событий конвейера

При присоединении к конвейеру в нижней части записной книжки находится вкладка журнала событий DLT.

журнала событий

Просмотр графа потока данных конвейера

Чтобы просмотреть граф потока данных конвейера, перейдите на вкладку графа DLT в нижней части записной книжки. При выборе узла на графе отображается его схема на правой панели.

граф потоков данных

Как получить доступ к пользовательскому интерфейсу DLT из записной книжки

Чтобы легко перейти к пользовательскому интерфейсу DLT, используйте меню в правом верхнем углу записной книжки.

Открыть из блокнота в интерфейсе DLT

Доступ к журналам драйверов и пользовательскому интерфейсу Spark из записной книжки

Журналы драйверов и пользовательский интерфейс Spark, связанные с разрабатываемым конвейером, можно легко получить из меню представления записной книжки.

журналы драйверов Access и пользовательского интерфейса Spark