Compartilhar via

Tarefa de pipeline do Delta Live Tables para trabalhos

  • Artigo

Os trabalhos fornecem uma abordagem de processo para definir relações entre tarefas. Os pipelines do Delta Live Tables fornecem uma abordagem declarativa para definir relações entre conjuntos de dados e transformações. Esta página descreve como você pode agendar pipelines de Delta Live Tables disparadas para execução como uma tarefa em um trabalho do Databricks, usando a interface do usuário de trabalhos, a interface do usuário do pipeline do Delta Live Tables ou o SQL.

Observação

Um pipeline de Delta Live Tables disparado é um pipeline que não é executado continuamente, mas precisa ser iniciado de modo manual. Uma tarefa de pipeline pode ser o mecanismo de gatilho para um pipeline de Delta Live Tables ativado. Pipelines contínuos não precisam ser disparados, portanto, acioná-los por meio de uma tarefa seria redundante. Para saber mais sobre pipelines disparados e contínuos, consulte Modo de pipeline disparado versus contínuo.

Configurar uma tarefa de pipeline das Tabelas Dinâmicas do Delta com a interface de usuário de Trabalhos

Os pipelines do Delta Live Tables gerenciam todas as configurações de código-fonte e computação na definição do pipeline.

Para adicionar um pipeline a um trabalho, siga estas etapas:

  1. Crie e nomeie uma nova tarefa e selecione o pipeline Delta Live Tables para Tipo.
  2. No menu suspenso Pipeline, selecione um pipeline do Delta Live Tables existente.
  3. Opcionalmente, você pode disparar uma atualização completa no pipeline do Delta Live Tables.

Importante

Você só pode usar pipelines disparados com a tarefa Pipeline. Não há suporte para pipelines contínuos como uma tarefa de trabalho.

Agendar um pipeline de Delta Live Tables com a interface do usuário do Pipeline

Adicionar um agendamento a um pipeline cria uma tarefa com uma só atividade no pipeline. Você só pode configurar gatilhos de agendamento baseados em tempo usando essa interface do usuário. Para obter opções de gatilho mais avançadas, confira Configurar uma tarefa de pipeline das Tabelas Dinâmicas do Delta com a interface do usuário de Trabalhos.

Configure uma tarefa de pipeline em um trabalho agendado usando a interface do usuário do pipeline concluindo as seguintes etapas:

  1. Clique em Tabelas Dinâmicas do Delta na barra lateral.
  2. Clique no nome do pipeline. A interface do usuário do pipeline é exibida.
  3. Clique em Agendar.
    • Caso não exista nenhum agendamento para o pipeline, a caixa de diálogo Novo agendamento será exibida.
    • Se já existir um ou mais agendamentos, clique em Adicionar agendamento.
  4. Insira um nome exclusivo para o trabalho no campo Nome do trabalho.
  5. (Opcional) Atualize a frequência de agendamento.
    • Selecione Avançado para obter opções mais detalhadas, incluindo a sintaxe Cron.
  6. (Opcional) Em Mais opções, configure um ou mais endereços de email para receber alertas sobre início do pipeline, êxito ou falha.
  7. Clique em Criar.

Observação

Se o pipeline estiver incluído em um ou mais trabalhos agendados, o botão Agendamento mostrará o número de agendamentos existentes, por exemplo, Agendamento (5).

Adicionar um agendamento a uma exibição materializada ou a uma tabela de streaming no SQL de Databricks

Exibições materializadas e tabelas de streaming definidas no SQL do Databricks dão suporte ao agendamento baseado em tempo especificado em comandos CREATE ou ALTER.

Para obter detalhes, confira os seguintes artigos: