Partilhar via

Notas de versão DLT e o processo de atualização

  • Artigo

Este artigo explica o processo de lançamento de DLT, como o tempo de execução de DLT é gerenciado e fornece links para notas de versão para cada versão de DLT.

canais de execução DLT

Observação

Para ver as versões do Databricks Runtime usadas com uma versão DLT, consulte as notas de versão dessa versão.

Os clusters DLT usam tempos de execução baseados em versões de notas de versão do Databricks Runtime ede compatibilidade . O Databricks atualiza automaticamente os tempos de execução da DLT para oferecer suporte a aprimoramentos e atualizações para a plataforma. Você pode usar o campo channel nas configurações do pipeline DLT para controlar a versão do tempo de execução do DLT que opera o seu pipeline. Os valores suportados são:

  • current para usar a versão atual do tempo de execução.
  • preview para testar o seu pipeline com alterações futuras na versão de runtime.

Por predefinição, os seus pipelines são executados usando a versão de tempo de execução current. O Databricks recomenda o uso do tempo de execução current para cargas de trabalho de produção. Para saber como usar a configuração preview para testar seus pipelines com a próxima versão de tempo de execução, consulte Automatizar o teste de seus pipelines com a próxima versão de tempo de execução.

Importante

Os recursos marcados como geralmente disponíveis ou Visualização Pública estão disponíveis no canal current.

Para obter mais informações sobre canais DLT, consulte o campo channel nas configurações da pipeline DLT .

Para entender como a DLT gerencia o processo de atualização para cada versão, consulte Como funcionam as atualizações de DLT?.

Como posso encontrar a versão do Databricks Runtime para uma atualização de pipeline?

Você pode consultar o log de eventos DLT para localizar a versão do Databricks Runtime para uma atualização de pipeline. Consulte informações sobre o tempo de execução.

Notas de versão do DLT

As notas de versão do DLT são organizadas por ano e semana do ano. Como a DLT é sem versão, as alterações no espaço de trabalho e no tempo de execução ocorrem automaticamente. As seguintes notas de versão fornecem uma visão geral das alterações e correções de bugs em cada versão:

Como funcionam as atualizações DLT?

DLT é considerado um produto sem versão, o que significa que o Databricks atualiza automaticamente o tempo de execução DLT para suportar aprimoramentos e atualizações para a plataforma. Databricks recomenda limitar as dependências externas em pipelines DLT.

O Databricks trabalha proativamente para evitar que atualizações automáticas introduzam erros ou problemas nos pipelines DLT de produção. Consulte o processo de atualização de DLT .

Especialmente para usuários que implantam pipelines DLT com dependências externas, o Databricks recomenda testar proativamente pipelines com canais preview. Consulte Automatizar o teste de seus pipelines com a próxima versão de tempo de execução.

processo de atualização DLT

O Databricks gerencia o Databricks Runtime usado pelos recursos de computação DLT. A DLT atualiza automaticamente o tempo de execução em seus espaços de trabalho do Azure Databricks e monitora a integridade de seus pipelines após a atualização.

Se a DLT detetar que um pipeline não pode ser iniciado devido a uma atualização, a versão de tempo de execução do pipeline será revertida para a versão anterior que é conhecida por ser estável e as seguintes etapas serão acionadas automaticamente:

  • O tempo de execução DLT do pipeline é fixado à versão anterior em boas condições.
  • O suporte da Databricks é notificado do problema.
    • Se o problema estiver relacionado a uma regressão no tempo de execução, o Databricks resolverá o problema.
    • Se o problema for causado por uma biblioteca personalizada ou pacote usado pelo pipeline, o Databricks entrará em contato com você para resolver o problema.
  • Quando o problema é resolvido, o Databricks inicia a atualização novamente.

Importante

DLT só reverte pipelines que estão em execução no modo de produção com o canal definido como current.

Automatize os testes de seus pipelines com a próxima versão de tempo de execução

Para garantir que as alterações na próxima versão de runtime DLT não afetem os seus pipelines, utilize a funcionalidade de canais DLT.

  1. Crie um pipeline de implantação e defina o canal como preview.
  2. Na interface do usuário DLT, crie uma agenda para executar o pipeline semanalmente e habilite alertas para receber uma notificação por email para falhas no pipeline. Databricks recomenda o agendamento de execuções de teste semanais de pipelines, especialmente se utilizar dependências personalizadas de pipeline de .
  3. Se receber uma notificação de uma falha e não conseguir resolvê-la, abra um pedido de suporte à Databricks.

Dependências do fluxo de produção

DLT suporta dependências externas em seus pipelines; por exemplo, você pode instalar qualquer pacote Python usando o comando %pip install. A DLT também suporta o uso de scripts de inicialização globais e com escopo de cluster. No entanto, essas dependências externas, particularmente scripts de inicialização, aumentam o risco de problemas com atualizações de tempo de execução. Para reduzir esses riscos, minimize o uso de scripts init em seus pipelines. Se o seu processamento requer scripts de inicialização, automatize os testes dos seus pipelines para detetar problemas antecipadamente; consulte Automatize o teste dos seus pipelines com a próxima versão de runtime. Se você usar scripts init, o Databricks recomenda aumentar a frequência de teste.