Разработка и отладка конвейеров DLT в записных книжках
Важный
Интерфейс записной книжки для разработки DLT находится в общедоступной предварительной версии.
В этой статье описываются функции записных книжек Azure Databricks, которые помогают в разработке и отладке кода DLT.
Общие сведения о функциях
При работе с записной книжкой Python или SQL, настроенной в качестве исходного кода для существующего конвейера DLT, можно подключить записную книжку непосредственно к конвейеру. Когда записная книжка подключена к конвейеру, доступны следующие функции:
- Запустите и проверьте конвейер из блокнота.
- Просмотрите граф потока данных конвейера и журнал событий для последних изменений в ноутбуке.
- Просмотр диагностики конвейера в редакторе записной книжки.
- Просмотрите состояние кластера конвейера в блокноте.
- Доступ к пользовательскому интерфейсу DLT из записной книжки.
Необходимые условия
- У вас должен быть существующий конвейер DLT с записной книжкой Python или SQL, настроенной как исходный код.
- Вы должны быть владельцем конвейера или иметь права
CAN_MANAGE
.
Ограничения
- Функции, описанные в этой статье, доступны только в записных книжках Azure Databricks. Файлы рабочей области не поддерживаются.
- Веб-терминал недоступен при подключении к конвейеру. В результате она не отображается как вкладка на нижней панели.
Подключение ноутбука к конвейеру DLT
В записной книжке щелкните раскрывающееся меню, используемое для выбора вычислений. В раскрывающемся меню отображаются все DLT-процессы, в которых эта записная книжка используется в качестве исходного кода. Чтобы подключить ноутбук к конвейеру, выберите его из списка.
Просмотр состояния кластера конвейера
Чтобы легко понять состояние кластера конвейера, его состояние отображается в раскрывающемся меню вычислений с зеленым цветом, чтобы указать, что кластер запущен.
Проверка кода конвейера
Вы можете проверить конвейер на наличие синтаксических ошибок в исходном коде без обработки данных.
Чтобы проверить конвейер, выполните одно из следующих действий.
- В правом верхнем углу блокнота щелкните Проверить.
- Нажмите
Shift+Enter
в любой ячейке записной книжки. - В раскрывающемся меню ячейки щелкните Проверить конвейер.
Заметка
Если вы пытаетесь проверить конвейер во время выполнения существующего обновления, откроется диалоговое окно с запросом на завершение существующего обновления. Если щелкнуть Да, существующие обновления останавливаются и автоматически запускается проверка обновления.
Начать обновление конвейера
Чтобы начать обновление конвейера, нажмите кнопку "Пуск" в правом верхнем углу ноутбука. См. выполнение обновления для конвейера DLT.
Просмотр состояния обновления
Верхняя панель в ноутбуке отображает, является ли обновлением конвейера:
- Начало
- Проверка
- Остановка
Просмотр ошибок и диагностики
После запуска обновления или проверки конвейера все ошибки отображаются с красным подчеркиванием. Наведите указатель мыши на ошибку, чтобы просмотреть дополнительные сведения.
Просмотр событий конвейера
При присоединении к конвейеру в нижней части записной книжки находится вкладка журнала событий DLT.
Просмотр графа потока данных конвейера
Чтобы просмотреть граф потока данных конвейера, перейдите на вкладку графа DLT в нижней части записной книжки. При выборе узла на графе отображается его схема на правой панели.
Как получить доступ к пользовательскому интерфейсу DLT из записной книжки
Чтобы легко перейти к пользовательскому интерфейсу DLT, используйте меню в правом верхнем углу записной книжки.
Доступ к журналам драйверов и пользовательскому интерфейсу Spark из записной книжки
Журналы драйверов и пользовательский интерфейс Spark, связанные с разрабатываемым конвейером, можно легко получить из меню представления записной книжки.
пользовательского интерфейса Spark