使用计划和触发器自动执行作业

在作业中,可以将作业配置为在以下任一情况下自动触发:

  • 按基于时间的计划
  • 文件到达 Unity Catalog 存储位置时
  • 持续

还可以手动或通过外部编排工具触发作业运行。

作业计划和触发器

触发器类型 行为
计划 根据基于时间的计划触发作业运行。 请参阅按计划运行作业
文件到达 当新文件到达受监视的 Unity Catalog 存储位置时,触发作业运行。 请参阅在新文件到达时触发作业
连续 若要使作业始终运行,请在作业运行完成或失败时触发另一个作业运行。 请参阅连续运行作业
无(手动) 使用“立即运行”按钮手动触发运行,或使用其他编排工具以编程方式触发运行。 请参阅触发单个作业运行

默认情况下,一次只能运行单个作业。 但是,可以在“高级”设置中提高此限制。 当运行超过为作业配置的最大并发时,将跳过运行。 请参阅配置最大并发运行数

在作业上配置触发器

  1. 打开要在其中配置触发器的作业。
  2. 作业详细信息 窗格中,向下滚动到 计划 & 触发器 部分,然后单击 添加触发器
  3. 在“计划和触发器”中,选择要配置的触发器类型:计划、文件到达或持续
  4. 对于文件到达触发器,选择“文件到达”并在“存储位置”中输入路径。 (可选)可以定义触发器之间的最短时间,或文件到达和启动作业的触发器之间的延迟。 默认情况下,触发器之间有 60 秒的最短时间。
  5. 单击 保存。 保存触发器后,仅当新文件到达配置的位置时,作业才会启动。

注意

如果具有多个任务的作业中的一个或多个任务未成功,则可以重新运行由未成功的任务组成的子集。 请参阅重新运行失败的和跳过的任务

暂停和恢复作业触发器

可以在“计划和触发器”下的作业的“作业详细信息”窗格中暂停和恢复作业暂停恢复 按钮仅针对配置了触发器的作业显示。

若要暂停任何活动作业触发器,请单击“暂停”。 暂停触发器时,任何当前活动的运行将继续,但触发器不再启动新运行。

若要继续使用触发器,请单击“继续”。 恢复触发器时,配置的行为将按以前配置的相同计划恢复。

创建或编辑触发器时,还可以在“计划和触发器”对话框中控制这些设置。 在“活动”和“已暂停”之间切换以控制触发器状态

注意

如果在恢复连续触发器时一个任务正在运行,作业计划程序将等待该任务完成后再触发新的运行。