Поделиться через

Непрерывное выполнение заданий

  • Статья

Используйте непрерывный режим для планирования рабочих нагрузок для непрерывного выполнения. Databricks рекомендует использовать непрерывный режим для рабочих нагрузок потоковой передачи.

Непрерывный режим заменяет устаревшие рекомендации для рабочих нагрузок структурированной потоковой передачи для настройки заданий с неограниченной политикой повторных попыток и не более одного параллельного выполнения.

Внимание

Бессерверные вычисления для заданий не поддерживают непрерывный режим.

Настройка задания для выполнения в непрерывном режиме

Чтобы настроить задание для выполнения в непрерывном режиме, сделайте следующее:

  1. На боковой панели щелкните "Рабочие процессы".
  2. Щелкните название задания в столбце Название на вкладке Задания.
  3. Щелкните Добавить триггер в панели сведений о задании, выберите Непрерывный в тип триггераи нажмите Сохранить.

Чтобы остановить непрерывное задание, нажмите кнопку "Приостановить ". Нажмите кнопку "Возобновить", чтобы перезапустить задание в непрерывном режиме.

Примечание.

  • Может существовать только один запущенный экземпляр непрерывного задания.
  • Между завершением одного запуска и началом нового существует задержка. Эта задержка должна быть менее 60 секунд.
  • Нельзя использовать условные зависимости задач с непрерывной задачей.
  • Нельзя использовать политики повторных попыток в непрерывном задании. Вместо этого непрерывные задания используют экспоненциальный откат для управления сбоями выполнения задания. Неудачные задачи в многозадачном непрерывном задании не повторяются и будут оставаться в состоянии Failed до тех пор, пока задание не будет перезапущено вручную или все остальные задачи не завершатся.
  • Выберите Запустить сейчас, чтобы запустить новую итерацию задания в приостановленном цикле непрерывных заданий.
  • Чтобы постоянное задание приняло новую конфигурацию, отмените существующий запуск. Автоматически начинается новый процесс. Вы также можете нажать кнопку " Перезапустить" , чтобы перезапустить задание с обновленной конфигурацией.

Как обрабатываются сбои для непрерывных заданий?

Сбои на уровне задания управляются с помощью алгоритма экспоненциального экспоненциального отката.

Последовательные сбои на уровне задания управляются с помощью экспоненциального отката, что позволяет заданиям продолжать выполняться без приостановки и возвращаться в работоспособное состояние при возникновении восстановимых сбоев.

Если непрерывное задание превышает допустимое пороговое значение для последовательных сбоев, в следующем описано, как выполняются последующие запуски заданий:

  1. Задание перезапущено после периода повтора, заданного системой.
  2. Если следующий запуск задания завершается сбоем, период повтора увеличивается, а задание перезапускается после этого нового периода повтора.
    1. Для каждого последующего сбоя выполнения задания период повтора увеличивается до максимального периода повтора, заданного системой. После достижения максимального периода повтора задание продолжает выполняться с использованием максимального периода повтора. Количество повторных попыток непрерывного задания не ограничено.
    2. Если выполнение задания завершается успешно и запускает новый процесс, или если запуск превышает пороговое значение без сбоя, задание считается работоспособным, а последовательность отклонения сбрасывается.

Вы можете перезапустить непрерывное задание в состоянии экспоненциального отката в пользовательском интерфейсе заданий или передать идентификатор задания в запрос POST /api/2.1/jobs/run-now в API заданий 2.1 или POST /api/2.0/jobs/run-now в API заданий 2.0.