O que vem aí?

Saiba mais sobre os recursos e as alterações comportamentais nas próximas versões do Azure Databricks.

Azure Databricks está atualizando o intervalo de IP público de saída para nossos serviços de plano de controle a partir de 20 de maio de 2025.

Em 20 de maio de 2025, o Azure Databricks implantará novos componentes para nosso serviço de plano de controle. Estas alterações irão melhorar a segurança e a disponibilidade de suporte de zona dos nossos serviços de aviões de controlo. Especificamente, atualizaremos os IPs públicos do plano de controle do Azure Databricks de saída e as tags de serviço do Azure associadas. Estes são os endereços IP listados para cada região sob o NAT do Plano de Controle do Serviço .

Isso afeta os clientes que usam firewalls de recursos para controlar o acesso de entrada aos seus recursos. Se o firewall de recursos fizer referência direta à marca de serviço do Azure Databricks, nenhuma ação será necessária. Se o firewall de recursos atualmente permite explicitamente os IPs Públicos do Plano de Controlo do Azure Databricks, será necessário:

• Adicione o de IPs públicos do plano de controle do Azure Databricks de saída adicional até 20 de maio de 2025. Você pode começar a usar esses IPs em 4 de agosto de 2025.
• Entre 4 de agosto de 2025 e 30 de setembro de 2025, remova os IPs públicos de saída do plano de controlo do Azure Databricks para as regiões relevantes do Databricks. Esses IPs estão em uso pelo Azure Databricks até 4 de agosto, portanto, não os remova antes disso.

Melhorias na interface de utilizador do perfil de consulta

A interface do usuário do perfil de consulta está sendo atualizada para melhorar a usabilidade e fornecer acesso mais rápido aos principais insights.

• O painel de resumo incluirá métricas-chave, uma visualização minimizada do perfil de consulta e links rápidos para as principais seções da página de perfil de consulta.
• Um novo painel listará os principais operadores que consomem mais recursos, com opções de filtragem e destaque para visualização gráfica.
• O layout atualizado foi projetado para melhorar a legibilidade e a navegação, desde métricas resumidas até informações detalhadas.
• Melhorias adicionais incluem destaque de nós com base em palavras-chave, uma lista de execução melhorada e aperfeiçoamentos no fluxo de trabalho de análise de desempenho de consultas.

Mudança comportamental para a opção de listagem incremental de diretórios do Auto Loader

Em uma versão futura do Databricks Runtime, o valor preterido da opção cloudFiles.useIncrementalListing do Auto Loader será, por padrão, definido como false. Definir esse valor como false faz com que o Auto Loader execute uma listagem completa de diretórios cada vez que é executado. Atualmente, o valor padrão da opção cloudFiles.useIncrementalListing é auto, instruindo o Auto Loader a fazer uma tentativa de melhor esforço para detetar se uma listagem incremental pode ser usada com um diretório.

Para continuar usando o recurso de listagem incremental, defina a opção cloudFiles.useIncrementalListing como auto. Quando você define esse valor como auto, o Auto Loader faz uma tentativa de melhor esforço para fazer uma listagem completa uma vez a cada sete listagens incrementais, o que corresponde ao comportamento dessa opção antes dessa alteração.

Para saber mais sobre as opções de listagem de diretórios do Auto Loader, consulte opções do Auto Loader.

Computação sem servidor para obter suporte ao SDK do Scala para credenciais de serviço

Uma atualização para computação sem servidor suportará a autenticação governada pelo Unity Catalog para serviços de nuvem externos usando credenciais de serviço com o SDK do Scala. O suporte Scala para autenticação de entidade de serviço, já disponível no Databricks Runtime 16.2 e superior, aumenta o suporte para autenticação com credenciais de serviço usando o Python SDK. Consulte Gerenciar o acesso a serviços de nuvem externos usando credenciais de serviço.

Alteração de comportamento quando as definições de conjunto de dados são removidas de um pipeline DLT

Uma próxima versão da DLT mudará o comportamento quando uma exibição materializada ou uma tabela de streaming for removida de um pipeline. Com essa alteração, a exibição materializada removida ou a tabela de streaming não será excluída automaticamente quando a próxima atualização de pipeline for executada. Em vez disso, você poderá usar o comando DROP MATERIALIZED VIEW para excluir uma exibição materializada ou o comando DROP TABLE para excluir uma tabela de streaming. Depois de soltar um objeto, a execução de uma atualização de pipeline não recuperará o objeto automaticamente. Um novo objeto é criado se uma exibição materializada ou uma tabela de streaming com a mesma definição for adicionada novamente ao pipeline. No entanto, você pode recuperar um objeto usando o comando UNDROP.

Custo reduzido e mais controlo sobre o desempenho em relação ao custo para a sua computação sem servidor em cargas de trabalho de processos.

Além das otimizações automáticas de desempenho atualmente suportadas, os aprimoramentos nos recursos de otimização de computação sem servidor para fluxos de trabalho lhe darão mais controle sobre se as cargas de trabalho são otimizadas para desempenho ou custo. Para saber mais, consulte Economia de custos na computação sem servidor para blocos de anotações, trabalhos e pipelines.

Alterações na atribuição de carga de trabalho de computação sem servidor

Atualmente, a tabela do sistema de uso faturável pode incluir registros de faturamento de SKU sem servidor com valores nulos para run_as, job_id, job_run_ide notebook_id. Esses registros representam custos associados a recursos compartilhados que não são diretamente atribuíveis a qualquer carga de trabalho específica.

Para ajudar a simplificar os relatórios de custos, a Databricks em breve atribuirá esses custos compartilhados às cargas de trabalho específicas que os incorreram. Você não verá mais registros de faturamento com valores nulos nos campos de identificador de carga de trabalho. À medida que você aumenta o uso de computação sem servidor e adiciona mais cargas de trabalho, a proporção desses custos compartilhados em sua fatura diminuirá à medida que forem compartilhados em mais cargas de trabalho.

Para obter mais informações sobre como monitorar custos de computação sem servidor, consulte Monitorar o custo de computação sem servidor.

Fim do cronograma de suporte para painéis herdados

• 7 de abril de 2025: O suporte oficial para a versão herdada dos painéis terminará. Apenas os problemas críticos de segurança e as interrupções de serviço serão resolvidos.
• 3 de novembro de 2025: O Databricks começará a arquivar painéis herdados que não foram acessados nos últimos seis meses. Os painéis arquivados não estarão mais acessíveis e o processo de arquivamento ocorrerá continuamente. O acesso aos painéis usados ativamente permanecerá inalterado.

A Databricks trabalhará com os clientes para desenvolver planos de migração para painéis legados ativos após 3 de novembro de 2025.

Para ajudar na transição para painéis de IA/BI, as ferramentas de atualização estão disponíveis na interface do usuário e na API. Para obter instruções sobre como usar a ferramenta de migração integrada na interface do utilizador, consulte Clonar um painel herdado para um painel de IA/BI. Para tutoriais sobre como criar e gerenciar painéis usando a API REST em Usar APIs do Azure Databricks para gerenciar painéis.

O campo sourceIpAddress nos logs de auditoria não incluirá mais um número de porta

Devido a um bug, certos logs de auditoria de autorização e autenticação incluem um número de porta além do IP no sourceIPAddress campo (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante dos logs de auditoria do Databricks. Para melhorar a consistência dos logs de auditoria, o Databricks planeja alterar o formato do endereço IP para esses eventos de log de auditoria. Esta alteração será implementada gradualmente a partir do início de agosto de 2024.

Se o log de auditoria contiver um sourceIpAddress, o Databricks poderá parar de registrá-lo 0.0.0.0.