DLT versão 2025.04
23 a 30 de janeiro de 2025
Esses recursos e melhorias foram lançados com a versão 2025.04 do DLT.
Versões do Databricks Runtime usadas por esta versão
Canal:
- ATUAL (padrão): Databricks Runtime 15.4
- VISUALIZAÇÃO: Databricks Runtime 15.4 ou 16.1
Observação
Como as versões de canal DLT seguem um processo de atualização contínua, as atualizações de canal são implantadas em diferentes regiões em momentos diferentes. Sua versão, incluindo as versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte informações sobre o tempo de execução.
Novos recursos e melhorias
- Por padrão, os novos pipelines de DLT oferecem suporte à criação e atualização de exibições materializadas e tabelas de streaming em vários catálogos e esquemas. Esse novo comportamento padrão para a configuração do pipeline requer que os usuários especifiquem um esquema de destino que se torne o esquema padrão para o pipeline. O esquema virtual
LIVEe a sintaxe associada não são mais necessários. Para saber mais, consulte Definir o catálogo e o esquema de destino, Configurar um pipeline de DLTe o esquema LIVE (legado).
- A solicitação de
clone a pipelinena API REST do Databricks agora está disponível para o público em geral. Você pode usar essa solicitação para copiar um pipeline existente que publica no metastore do Hive para um novo pipeline que publica no Unity Catalog. Consulte Criar um pipeline do Unity Catalog clonando um pipeline de metastore do Hive.
- O suporte para visualizar métricas de trabalho de streaming para as suas atualizações de pipeline de DLT está em Pré-visualização Pública. Ao exibir atualizações de pipeline na interface do usuário DLT, agora você pode exibir métricas como segundos de lista de pendências, bytes de lista de pendências, registros de lista de pendências e arquivos de lista de pendências para cada fluxo de streaming no pipeline. As métricas de streaming são suportadas para fontes do Spark Structured Streaming, incluindo Apache Kafka, Amazon Kinesis e Auto Loader. Consulte para ver métricas de transmissão contínua.