Поделиться через

Задача потока обработки DLT для задач

  • Статья

Задания предоставляют процедурный подход к определению связей между задачами. Конвейеры DLT обеспечивают декларативный подход к определению связей между наборами данных и преобразованиями . На этой странице описывается, как запланировать запуск конвейеров DLT в качестве задачи в задании Databricks с помощью пользовательского интерфейса заданий, пользовательского интерфейса конвейера DLT или SQL.

Заметка

Конвейер , активироваемый DLT, — это конвейер, который не выполняется непрерывно, но должен запускаться для запуска. Задача конвейера может быть механизмом активации для активированного конвейера DLT. Непрерывные конвейеры не нужно запускать, поэтому их активация с помощью задачи будет избыточной. Дополнительные сведения о триггерах и непрерывных конвейерах см. в разделе "Триггер и режим непрерывного конвейера".

Настройка задачи конвейера DLT с помощью пользовательского интерфейса заданий

Конвейеры DLT управляют всеми конфигурациями исходного кода и вычислениями в определении конвейера.

Чтобы добавить конвейер в задание, выполните следующие действия.

  1. Создайте и назовите новую задачу и выберите конвейер DLT для типа .
  2. В раскрывающемся меню конвейера выберите существующий конвейер DLT.
  3. При необходимости можно активировать полное обновление в конвейере DLT.

Внимание

С задачей Конвейер можно использовать только активированные конвейеры. Непрерывные конвейерные процессы не поддерживаются в качестве задания.

Планирование конвейера DLT с помощью пользовательского интерфейса конвейера

Добавление расписания в поток создает задание с одной задачей потока. Триггеры расписания на основе времени можно настроить только с помощью этого пользовательского интерфейса. Для более продвинутых вариантов триггеров см. раздел Настройка задачи конвейера DLT с помощью пользовательского интерфейса заданий.

Настройте задачу конвейера в запланированном задании с помощью пользовательского интерфейса конвейера, выполнив следующие действия.

  1. Щелкните DLT на боковой панели.
  2. Щелкните имя трубопровода. Появится пользовательский интерфейс конвейера.
  3. Щелкните Расписание.
    • Если для конвейера нет расписания, появится диалоговое окно Новое расписание.
    • Если уже существует одно или несколько расписаний, щелкните Добавить расписание.
  4. Введите уникальное имя для задания в поле Имя задания.
  5. (Необязательно) Обновите частоту расписания.
    • Выберите Advanced для более подробных параметров, включая синтаксис cron.
  6. (Необязательно) В разделе дополнительные параметрынастройте один или несколько адресов электронной почты для получения оповещений о запуске конвейера, успешном выполнении или сбое.
  7. Щелкните Создать.

Заметка

Если конвейер включен в одно или несколько запланированных заданий, кнопка «Расписание» отображает количество существующих расписаний, например, Расписание (5).

Добавление расписания в материализованное представление или потоковую таблицу в Databricks SQL

Материализованные представления и таблицы потоковой передачи, определенные в Databricks SQL, поддерживают планирование на основе времени, указанное в командах CREATE или ALTER.

Дополнительные сведения см. в следующих статьях: