Разработка и отладка конвейеров DLT в записных книжках

В этой статье описываются функции записных книжек Azure Databricks, которые помогают в разработке и отладке кода DLT.

Общие сведения о функциях

При работе с записной книжкой Python или SQL, настроенной в качестве исходного кода для существующего конвейера DLT, можно подключить записную книжку непосредственно к конвейеру. Когда записная книжка подключена к конвейеру, доступны следующие функции:

• Запустите и проверьте конвейер из блокнота.
• Просмотрите граф потока данных конвейера и журнал событий для последних изменений в ноутбуке.
• Просмотр диагностики конвейера в редакторе записной книжки.
• Просмотрите состояние кластера конвейера в блокноте.
• Доступ к пользовательскому интерфейсу DLT из записной книжки.

Необходимые условия

• У вас должен быть существующий конвейер DLT с записной книжкой Python или SQL, настроенной как исходный код.
• Вы должны быть владельцем конвейера или иметь права CAN_MANAGE.

Ограничения

• Функции, описанные в этой статье, доступны только в записных книжках Azure Databricks. Файлы рабочей области не поддерживаются.
• Веб-терминал недоступен при подключении к конвейеру. В результате она не отображается как вкладка на нижней панели.

Подключение ноутбука к конвейеру DLT

В записной книжке щелкните раскрывающееся меню, используемое для выбора вычислений. В раскрывающемся меню отображаются все DLT-процессы, в которых эта записная книжка используется в качестве исходного кода. Чтобы подключить ноутбук к конвейеру, выберите его из списка.

Просмотр состояния кластера конвейера

Чтобы легко понять состояние кластера конвейера, его состояние отображается в раскрывающемся меню вычислений с зеленым цветом, чтобы указать, что кластер запущен.

Проверка кода конвейера

Вы можете проверить конвейер на наличие синтаксических ошибок в исходном коде без обработки данных.

Чтобы проверить конвейер, выполните одно из следующих действий.

• В правом верхнем углу блокнота щелкните Проверить.
• Нажмите Shift+Enter в любой ячейке записной книжки.
• В раскрывающемся меню ячейки щелкните Проверить конвейер.

Начать обновление конвейера

Чтобы начать обновление конвейера, нажмите кнопку "Пуск" в правом верхнем углу ноутбука. См. выполнение обновления для конвейера DLT.

Просмотр состояния обновления

Верхняя панель в ноутбуке отображает, является ли обновлением конвейера:

• Начало
• Проверка
• Остановка

Просмотр ошибок и диагностики

После запуска обновления или проверки конвейера все ошибки отображаются с красным подчеркиванием. Наведите указатель мыши на ошибку, чтобы просмотреть дополнительные сведения.

Просмотр событий конвейера

При присоединении к конвейеру в нижней части записной книжки находится вкладка журнала событий DLT.

Просмотр графа потока данных конвейера

Чтобы просмотреть граф потока данных конвейера, перейдите на вкладку графа DLT в нижней части записной книжки. При выборе узла на графе отображается его схема на правой панели.

Как получить доступ к пользовательскому интерфейсу DLT из записной книжки

Чтобы легко перейти к пользовательскому интерфейсу DLT, используйте меню в правом верхнем углу записной книжки.

Доступ к журналам драйверов и пользовательскому интерфейсу Spark из записной книжки

Журналы драйверов и пользовательский интерфейс Spark, связанные с разрабатываемым конвейером, можно легко получить из меню представления записной книжки.