Partilhar via


Notas de versão do Databricks SQL 2024

A seguir descrevemos as melhorias e atualizações no Databricks SQL de janeiro a dezembro de 2024.

21 de novembro de 2024

Tabelas do sistema de armazenamento SQL (Visualização Pública)

  • A tabela system.compute.warehouses registra quando os SQL warehouses são criados, editados e excluídos. Você pode usar a tabela para monitorar alterações nas configurações do depósito, incluindo o nome, tipo, tamanho, canal, tags, parada automática e configurações de dimensionamento automático. Consulte a referência da tabela do sistema de armazéns .

Descoberta de dados

  • A aba Lineage no Explorador de Catálogo foi redesenhada com uma interface de utilizador melhorada para a filtragem de entidades.

13 de novembro de 2024

Painéis herdados:

  • Resolvido um problema em que as dicas de ferramentas modeladas não exibiam conteúdo detalhado para gráficos de eixos duplos e de vários campos.

6 de novembro de 2024

Suporte para agendamento legível por humanos em tabelas de streaming e vistas materializadas do Databricks SQL

Os utilizadores agora podem iniciar, criar e alterar horários para tabelas de streaming e visualizações materializadas usando sintaxe de fácil leitura em vez de agendamento CRON. Consulte ALTER MATERIALIZED VIEW, ALTER STREAMING TABLE, CREATE MATERIALIZED VIEWe CREATE STREAMING TABLE.

As tabelas de streaming agora suportam consultas de viagem no tempo

Pode-se agora usar a viagem no tempo para consultar versões anteriores da tabela com base no timestamp ou na versão da tabela (conforme registrado no log de transações). Talvez seja necessário atualizar a sua tabela de streaming antes de utilizar consultas de viagem no tempo. Veja O que é a viagem no tempo do Delta Lake?.

As consultas de viagem no tempo não são suportadas para visualizações materializadas.

31 de outubro de 2024

Atualizações da interface do usuário

Novo editor SQL (Visualização pública)

  • Agora você pode executar a consulta SQL ativa usando o atalho de teclado Command (ou Ctrl) + Shift + Enter.
  • A área de entrada de parâmetros agora mostra uma barra de rolagem quando o texto se estende para fora da janela de exibição.
  • Corrigido um problema que impedia que a página de detalhes do perfil de consulta abrisse totalmente.
  • Agora você pode renomear consultas digitando o novo nome no título da guia.
  • O botão Agendar agora está desativado para consultas que nunca foram salvas antes.

24 de outubro de 2024

Notas de versão para ferramentas de IA/BI

As notas de versão para painéis de IA/BI e AI/BI Genie foram movidas para notas de versão de IA/BI. Versões e atualizações futuras serão documentadas lá.

Outubro 17, 2024

Os destinos de notificação estão agora disponíveis para o público em geral

Você pode criar e configurar destinos de notificação que os usuários do espaço de trabalho podem adicionar a determinados fluxos de trabalho, como alertas, trabalhos do Databricks e agendas de painel de IA/BI, para enviar e-mails ou webhooks quando um evento é executado. Consulte Gerenciar destinos de notificação.

10 de outubro de 2024

Visualizações materializadas e tabelas de streaming agora estão geralmente disponíveis no Databricks SQL

As tabelas de streaming permitem a ingestão incremental do armazenamento em nuvem e das filas de mensagens, enquanto as visualizações materializadas são visualizações pré-computadas que são atualizadas automática e incrementalmente à medida que novos dados chegam. Consulte Usar visões materializadas no Databricks SQL e Carregar dados através de tabelas de streaming no Databricks SQL.

de insights de consulta

  • As novas colunas query_source, executed_ase executed_as_user_id foram adicionadas à tabela do sistema de histórico de consultas. Consulte a referência da tabela do sistema de histórico de consultas .

3 de outubro de 2024

Suporte expandido ao SQL warehouse sem servidor

Os armazéns SQL sem servidor agora estão disponíveis na região swedencentral. Consulte Funcionalidades com disponibilidade regional limitada.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL warehouse descritas acima.

Explorador de Catálogos

  • Os comentários gerados por IA agora são suportados para catálogos, esquemas, volumes, modelos e funções e os usuários podem usar o Assistente de bate-papo embutido para ajudar a editar seus comentários.

funções SQL AI A função vector_search() está agora disponível na Pré-visualização Pública. Consulte vector_search função

26 de setembro de 2024

Suporte expandido ao SQL warehouse sem servidor

Os armazéns SQL sem servidor agora estão disponíveis na região francecentral. Consulte Recursos com disponibilidade regional limitada.

11 de setembro de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

editor SQL

Agora você pode usar a sintaxe do marcador de parâmetro nomeado no editor SQL. A sintaxe do marcador de parâmetro nomeado pode ser usada no editor SQL, blocos de anotações e painéis de IA/BI. Consulte Trabalhar com parâmetros de consulta.

Consultas e painéis herdados

Para consultas SQL e painéis herdados, os itens excluídos não aparecem mais nas páginas de listagem. Encontre itens excluídos na pasta de lixo do espaço de trabalho. Os administradores do espaço de trabalho podem visualizar itens excluídos nas pastas de lixo de todos os usuários.

5 de setembro de 2024

Alterações em 2024.40

O Databricks SQL versão 2024.40 inclui as seguintes alterações comportamentais, novos recursos e melhorias.

Mudanças comportamentais

  • Alterar para o modo padrão de vinculação de esquema para visões

    As exibições agora se adaptam às alterações de esquema na consulta subjacente usando a compensação de esquema com regras de conversão regulares. Esta é uma alteração em relação ao padrão anterior do modo BINDING, que gerava erros quando uma conversão segura não podia ser executada ao referenciar a vista.

    Consulte CREATE VIEW e função cast.

  • Não permitir o uso da sintaxe ! não documentada em vez de NOT fora de expressões booleanas

    Com esta versão, o uso de ! como sinônimo de NOT fora das expressões booleanas não é mais permitido. Por exemplo, afirmações como as seguintes: CREATE ... IF ! EXISTS, IS ! NULL, uma ! NULL coluna ou propriedade de campo, ! IN e ! BETWEEN, devem ser substituídas por: CREATE ... IF NOT EXISTS, IS NOT NULL, uma coluna NOT NULL ou propriedade de campo, NOT IN e NOT BETWEEN.

    Essa alteração garante consistência, alinha-se com o padrão SQL e torna seu SQL mais portátil.

    O operador de prefixo booleano ! (por exemplo, !is_mgr ou !(true AND false)) não é afetado por essa alteração.

  • Não permitir sintaxe de definição de coluna não documentada em visões

    O Databricks suporta CREATE VIEW com colunas nomeadas e comentários de coluna. Anteriormente, a especificação de tipos de coluna, restrições de NOT NULL ou DEFAULT era permitida. Com esta versão, você não pode mais usar essa sintaxe.

    Essa alteração garante consistência, alinha-se com o padrão SQL e oferece suporte a aprimoramentos futuros.

  • Adicionar uma restrição de CHECK em uma coluna inválida agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION

    Para fornecer mensagens de erro mais úteis, no Databricks Runtime 15.3 e superior, uma instrução ALTER TABLE ADD CONSTRAINT que inclua uma restrição CHECK que faça referência a um nome de coluna inválido retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, um INTERNAL_ERROR era devolvido.

Novos recursos e melhorias

  • Habilite o UniForm Iceberg usando ALTER TABLE

    Agora você pode habilitar o UniForm Iceberg em tabelas existentes sem reescrever arquivos de dados. Consulte Ativar leituras do Iceberg numa tabela existente.

  • funções de validação UTF-8

    Esta versão apresenta as seguintes funções para validar cadeias de caracteres UTF-8:

    • is_valid_utf8 verifica se uma cadeia de caracteres é uma cadeia de caracteres UTF-8 válida.
    • make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição
    • validate_utf8 gera um erro se a entrada não for uma cadeia de caracteres UTF-8 válida.
    • try_validate_utf8 retorna NULL se a entrada não for uma cadeia de caracteres UTF-8 válida.
  • to_avro e from_avro funções

    As funções to_avro e from_avro permitem a conversão de tipos SQL para dados binários Avro e vice-versa.

  • try_url_decode função

    Esta versão apresenta a função try_url_decode, que decodifica uma cadeia de caracteres codificada por URL. Se a cadeia de caracteres não estiver no formato correto, a função retornará NULL em vez de gerar um erro.

  • Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não impostas

    Para melhorar o desempenho da consulta, agora você pode especificar a palavra-chave RELY em restrições de FOREIGN KEY quando CREATE ou ALTER uma tabela.

  • Suporte para descartar o recurso de tabela de restrições de verificação

    As substituições seletivas usando replaceWhere agora executam trabalhos que excluem dados e inserem novos dados em paralelo, melhorando o desempenho das consultas e a utilização do cluster.

  • Execução de tarefas paralelas para substituições específicas

    As substituições seletivas usando replaceWhere agora executam trabalhos que excluem dados e inserem novos dados em paralelo, melhorando o desempenho das consultas e a utilização do cluster.

  • Melhor desempenho para feed de dados de alteração com substituições seletivas

    As substituições seletivas usando replaceWhere em tabelas com fluxo de dados de alteração não gravam mais arquivos de dados de alteração separados para dados inseridos. Essas operações usam uma coluna _change_type oculta presente nos arquivos de dados subjacentes do Parquet para registrar alterações sem amplificação de gravação.

  • Latência de consulta melhorada para o comando COPY INTO

    Esta versão inclui uma alteração que melhora a latência da consulta para o comando COPY INTO. Esta melhoria é implementada ao tornar o carregamento do estado pelo armazenamento de estado RocksDB assíncrono. Com essa alteração, você verá uma melhoria nos tempos de início para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

Visualizações

  • Agora, os totais das dicas aparecem apenas para gráficos empilhados.

22 de agosto de 2024

Visualizações

Para configurações agrupadas e de vários campos, as dicas de ferramentas agora mostram totais quando você passa o mouse sobre os elementos do gráfico.

15 de agosto de 2024

Visualizações

Corrigido um problema em que os números de linha nas visualizações de tabela não eram atualizados depois de alterar o tamanho da página.

Descoberta de dados

A capacidade de expandir e recolher tipos de colunas complexas aninhadas em tabelas do Unity Catalog é agora suportada.

1 de agosto de 2024

Visualizações:

  • A classificação de tabelas agora é preservada quando os dados são alterados devido à filtragem.

Editor SQL:

  • Maior legibilidade adicionando preenchimento adicional entre a última linha de uma consulta e a saída do resultado.

25 de julho de 2024

API do Databricks REST:

  • As APIs para gerenciar consultas, alertas, fontes de dados e permissões foram alteradas. A versão legada continuará a ser suportada por seis meses. Este período de transição destina-se a dar-lhe tempo suficiente para migrar as suas aplicações e integrações para a nova versão antes de a versão mais antiga ser eliminada. Consulte Atualização para a versão mais recente da API SQL do Databricks

Julho 18, 2024

Atualizações da interface do usuário

explorador de catálogos:

  • Um novo assistente de configuração de catálogo agora está disponível para configurar associações de espaço de trabalho, privilégios de catálogo e metadados ao criar um catálogo.

Monitorização do SQL Warehouse:

  • A permissão CAN MONITOR agora está disponível para o público em geral. Ele permite que usuários privilegiados monitorem armazéns SQL, incluindo o histórico de consultas associado e perfis de consulta. Consulte ACLs do SQL warehouse.

Julho 11, 2024

Databricks SQL Versão 2024.35 Disponível

Cronograma de Lançamento: Versão de pré-visualização para 2024.35: Entre 9 de julho e 15 de julho

Alterações em 2024.35

Desativar o mapeamento de colunas com o recurso de soltar

Agora você pode usar DROP FEATURE para desabilitar o mapeamento de colunas em tabelas Delta e fazer downgrade do protocolo de tabela. Consulte Desativar o mapeamento de colunas.

Sintaxe e funções de tipo de variante na Pré-visualização Pública

O suporte integrado do Apache Spark para trabalhar com dados semiestruturados como o tipo VARIANT agora está disponível no Spark DataFrames e SQL. Consulte Dados da variante de consulta.

Suporte de tipo de variante para Delta Lake na pré-visualização pública

Agora você pode usar VARIANT para armazenar dados semiestruturados em tabelas apoiadas pelo Delta Lake. Veja Suporte a variantes no Delta Lake.

Suporte para diferentes modos de evolução de esquema em visualizações

CREATE VIEW e ALTER VIEW agora permitem que você defina um modo de vinculação de esquema, aprimorando como as exibições lidam com alterações de esquema em objetos subjacentes. Esse recurso permite que as exibições tolerem ou se adaptem a alterações de esquema nos objetos subjacentes. Ele aborda as alterações no esquema de consulta resultantes de modificações nas definições de objeto.

Melhoria de desempenho para algumas funções de janela

Esta versão inclui uma alteração que melhora o desempenho de algumas funções da janela do Spark, especificamente funções que não incluem uma cláusula ORDER BY ou um parâmetro window_frame. Nesses casos, o sistema pode reescrever a consulta para executá-la usando uma função agregada. Essa alteração permite que a consulta seja executada mais rapidamente usando agregação parcial e evitando a sobrecarga de funções de janela em execução. O parâmetro de configuração do Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled controla essa otimização e é definido como true por padrão. Para desativar essa otimização, defina spark.databricks.optimizer.replaceWindowsWithAggregates.enabled como false.

Suporte adicionado para a função try_mod.

Esta versão adiciona suporte para a função PySpark try_mod(). Esta função suporta o cálculo compatível com ANSI SQL do número inteiro restante dividindo dois valores numéricos. Se o argumento divisor for 0, a função try_mod() retornará null em vez de lançar uma exceção. Você pode usar a função try_mod() em vez de mod ou %, que lança uma exceção se o argumento divisor for 0 e ANSI SQL estiver habilitado.

Atualizações da interface do usuário

Editor de SQL:

O assistente embutido agora está disponível no editor SQL. Clique no ícone do assistente na caixa do editor para mudar a entrada. Digite uma pergunta ou comentário em inglês e pressione Enter (não Shift+Enter, que executa uma consulta) para gerar uma resposta com uma exibição diferente diretamente no editor.

Plataforma:

Uma API para destinos de notificação já está disponível. Agora você pode gerenciar programaticamente destinos de webhook e e-mail para seus alertas e notificações de execução de trabalho. Consulte Destinos de notificação.

4 de julho de 2024

Databricks SQL Versão 2024.30 Disponível

Cronograma de lançamento: Lançamento antecipado para 2024.30: Entre 9 e 15 de julho

Alterações em 2024.30

Lakehouse Federation está geralmente disponível (GA)

conectores de da Lakehouse Federation nos seguintes tipos de banco de dados agora estão geralmente disponíveis (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Flocos de neve
  • Servidor Microsoft SQL
  • Sinapse do Azure (SQL Data Warehouse)
  • Databricks

Esta versão também apresenta as seguintes melhorias:

  • Suporte para pushdowns adicionais (string, matemática, funções diversas).
  • Taxa de sucesso de pushdown melhorada em diferentes formas de consulta.
  • Capacidades adicionais de depuração em pushdown:
    • A saída EXPLAIN FORMATTED exibe o texto da consulta retraído.
    • A interface do usuário do perfil de consulta exibe o texto da consulta pressionado, os identificadores de nó federado e os tempos de execução da consulta JDBC (no modo detalhado). Consulte para ver consultas federadas geradas pelo sistema.

DESCRIBE HISTORY agora mostra colunas de agrupamento para tabelas que usam clustering líquido

Quando você executa uma consulta DESCRIBE HISTORY, a coluna operationParameters mostra um campo clusterBy por padrão para operações CREATE OR REPLACE e OPTIMIZE. Para uma tabela Delta que utiliza "liquid clustering", o campo clusterBy é preenchido com as colunas de clustering da tabela. Se a tabela não usar agrupamento líquido, o campo estará vazio.

O suporte para chaves primárias e estrangeiras está geralmente disponível

O suporte para chaves primárias e estrangeiras no Databricks Runtime está geralmente disponível. A versão GA inclui as seguintes alterações nos privilégios necessários para usar chaves primárias e estrangeiras:

  • Para definir uma chave estrangeira, você deve ter o privilégio de SELECT na tabela com a chave primária à qual a chave estrangeira se refere. Você não precisa possuir a tabela com a chave primária, que era exigida anteriormente.
  • Soltar uma chave primária usando a cláusula CASCADE não requer privilégios nas tabelas que definem chaves estrangeiras que fazem referência à chave primária. Anteriormente, você precisava possuir as tabelas de referência.
  • Descartar uma tabela que inclui restrições agora requer os mesmos privilégios que descartar tabelas que não incluem restrições.

Para saber como usar chaves primárias e estrangeiras com tabelas ou exibições, consulte CONSTRAINT cláusula, ADD CONSTRAINT cláusulae DROP CONSTRAINT cláusula.

O agrupamento líquido é GA

O suporte para clustering líquido agora está disponível em geral usando o Databricks Runtime 15.2 e superior. Consulte Usar agrupamento líquido para tabelas Delta.

A expansão de tipo está em versão pública de teste

Agora pode ativar a ampliação de tipos em tabelas suportadas pelo Delta Lake. As tabelas com alargamento de tipo ativado permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever arquivos de dados subjacentes. Consulte Alargamento de tipo.

Cláusula de evolução de esquema adicionada à sintaxe de mesclagem SQL

Agora você pode adicionar a cláusula WITH SCHEMA EVOLUTION a uma instrução de mesclagem SQL para habilitar a evolução do esquema para a operação. Consulte sintaxe de evolução do esquema para mesclar.

Suporte de inventário de vácuo

Agora você pode especificar um inventário de arquivos a ser considerado ao executar o comando VACUUM em uma tabela Delta. Consulte os documentos OSS Delta.

Suporte para funções de compressão Zstandard

Agora você pode usar as funções zst_compress, zstd_decompresse try_zstd_decompress para compactar e descompactar BINARY dados.

Os planos de consulta na interface do usuário do SQL agora exibem corretamente PhotonWriteStage

Quando apresentados na interface do utilizador do SQL, os comandos write em planos de consulta mostraram incorretamente PhotonWriteStage como um operador. Com esta versão, a interface do usuário é atualizada para mostrar PhotonWriteStage como um palco. Esta é apenas uma alteração da interface do usuário e não afeta como as consultas são executadas.

Atualizações da interface do usuário

Suporte API:

Junho 27, 2024

Filtros de linha e máscaras de coluna nas visualizações materializadas SQL do Databricks e tabelas de transmissão contínua estão disponíveis em visualização pública

Filtros de linha e máscaras de coluna no Databricks, exibições materializadas SQL e tabelas de streaming são de visualização pública. A versão Public Preview inclui as seguintes alterações:

  • Você pode adicionar filtros de linha e máscaras de coluna a uma exibição materializada do Databricks SQL ou tabela de streaming.

    • Você pode definir vistas materializadas do Databricks SQL ou tabelas de streaming em tabelas que incluam filtros de linha e máscaras de coluna.

    Ver CREATE MATERIALIZED VIEW e CREATE STREAMING TABLE.

Atualizações da interface do usuário

Visualizações:

  • Interatividade aprimorada na exibição de dicas de ferramentas ao passar o mouse sobre gráficos de pizza, dispersão e mapa de calor com muitos pontos de dados.

Catalog Explorer:

  • Uma interface do usuário renovada do Catalog Explorer facilita a descoberta e a adição aos favoritos dos ativos recentes do Catálogo Unity na visão do de Acesso Rápido. A experiência de navegação também foi simplificada, permitindo que o utilizador explore detalhes de computação, armazenamento, credenciais, conexões, DBFS e gerenciamento utilizando o ícone Configurações no canto superior esquerdo da tela. Delta Sharing, Clean Rooms e External Data agora têm páginas dedicadas.

6 de junho de 2024

Correção para exibições materializadas do Databricks SQL e tabelas de streaming

O problema que fazia com que as consultas de ALTER SCHEDULE em vistas materializadas e tabelas de transmissão contínua no Databricks SQL entrassem em vigor somente após a próxima operação de REFRESH foi corrigido. As consultas ALTER SCHEDULE são agora aplicadas imediatamente. Consulte Atualizações de visualização materializada agendadas.

Visualizações materializadas e tabelas de streaming no Databricks SQL estão em Pré-visualização Pública

Visualizações materializadas e tabelas de streaming no Databricks SQL estão em Pré-visualização Pública e estão disponíveis para todos os clientes. A versão de pré-visualização pública inclui as seguintes alterações:

Atualizações da interface do usuário

Dashboards:

  • Os usuários da conta agora podem baixar dados de visualização de painéis publicados
  • Os painéis não publicados agora podem ser publicados através do menu suspenso Rascunho/Publicação localizado na parte superior de um painel.
  • Corrigido um problema em que os parâmetros nomeados limite não eram detetados.

Visualizações:

  • Renderização de box-plot melhorada no modo escuro.

Perceções de consulta:

  • Para todos os cadernos anexados a armazéns de SQL, pode-se acessar o perfil de consulta clicando em Ver desempenho na célula que contém a consulta. Se a célula incluir várias consultas, será fornecido um link para o perfil de consulta de cada uma para cada instrução.

30 de maio de 2024

Novo nível de permissão para armazéns SQL

Permissão para monitorização permite que os utilizadores monitorem armazéns de dados SQL, incluindo o histórico de consultas associado e os perfis de consulta. A permissão Pode monitorar agora está em de visualização pública . Consulte ACLs do SQL warehouse.

Atualizações da interface do usuário

Melhorias no painel:

  • Adicionado um menu de kebab aos widgets do painel para baixar imagens e dados.
  • Os utilizadores podem migrar parâmetros herdados, suportados por consultas, e parâmetros de lista suspensa para painéis.

23 de maio de 2024

Atualizações da interface do usuário

  • Agora você pode selecionar vários itens no espaço de trabalho para mover ou excluir. Quando vários objetos são selecionados, uma barra de ações é exibida e fornece opções para mover ou excluir itens. Além disso, você pode selecionar vários itens usando o mouse e arrastá-los para um novo local. As permissões existentes em objetos ainda se aplicam durante operações de movimentação e exclusão em massa.
  • Agora você pode marcar os ativos do Catálogo Unity como favoritos no Catalog Explorer e no Schema Browser. Isso inclui catálogos, esquemas, tabelas, modelos, volumes e funções. Os ativos do Catálogo Unity que você marca como favoritos são facilmente acessíveis na página inicial do Azure Databricks.

Atualizações do painel:

  • Os gráficos de combinação de eixo duplo agora exibem corretamente as legendas da barra no eixo direito e as legendas de linha de acordo.
  • Os gráficos de eixo duplo agora mostram corretamente os rótulos nas barras.

Atualizações do Visualizations:

  • Os rótulos de formato condicional do editor de tabela para se e então agora suportam o modo escuro.
  • O ícone redundante de link aberto foi removido das dicas de formato do editor de tabelas.
  • O rótulo da cor da fonte padrão no editor de tabela agora se alinha automaticamente.

Maio 16, 2024

Cronograma de distribuição

  • Lançamento de pré-visualização para 2024.25: Concluído a 1 de maio
  • Lançamento atual para 2024.25: Entre os dias 14 e 21 de maio

Observação

Uma atualização para a biblioteca Python panda (versão 2.0.3) causou uma alteração no Databricks SQL versão 2024.20. O Azure Databricks não implantou a versão 2024.20 no canal atual. Em vez disso, o canal de visualização foi atualizado para 2024.25 em 1º de maio de 2025. O lançamento atual do canal vai diretamente de 2024.15 a 2024.25.

Alterações em 2024.25

Governança de dados

Passagem de credenciais e os controles de acesso à tabela de metastore do Hive foram preteridos.

Passagem de credenciais e controlos de acesso a tabelas do metastore do Hive são modelos de governança de dados legados. Atualize para o Unity Catalog para simplificar a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso aos dados em vários espaços de trabalho em sua conta. Consulte O que é o Unity Catalog?.

O suporte para passagem de credenciais e controles de acesso à tabela de metastore do Hive será removido em uma próxima versão do DBR.

Recursos da linguagem SQL

A cláusula * (estrela) agora é suportada na cláusula WHERE.

Agora você pode usar a cláusula estrela (*) na cláusula WHERE para fazer referência a todas as colunas da lista SELECT. Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Suporte ao armazenamento Cloudflare R2 para evitar custos de saída entre regiões a partir de 2024, versão 15.

Agora você pode usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Unity Catalog. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing nos quais você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões.

O armazenamento Cloudflare R2 suporta todos os dados Databricks e ativos de IA suportados no Azure Data Lake Storage Gen2.

Consulte Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

Atualizações de descoberta de dados: O assistente de atualização do Catálogo Unity, associado ao metastore do Hive, oferece suporte à atualização de tabelas geridas pelo metastore do Hive usando computação versátil ou armazéns de dados SQL. A atualização de mais de 20 tabelas cria um novo bloco de anotações que contém os comandos SYNC E ALTER TABLE que executam a conversão.

Atualizações do painel:

  • A funcionalidade de eixo duplo agora está disponível para os tipos de gráficos de Área, Barra, Linha e Dispersão.
    • Quando você habilita um gráfico de eixo duplo, o título e o intervalo do eixo não são mais copiados para o eixo secundário.
    • O último campo identificado na configuração de visualização é automaticamente realocado para o eixo y do lado direito.

9 de maio de 2024

Correções no Editor SQL:

  • A configuração de administrador das funcionalidades de área de transferência da tabela de resultados agora aplica-se à nova tabela de resultados do editor SQL .

Melhorias no painel:

  • Os parâmetros baseados em consulta permitem que os autores definam uma lista de valores selecionáveis que os visualizadores podem usar como parâmetros para outras visualizações em uma tela de painel. Consulte Usar parâmetros baseados em consulta.
  • A ordem das colunas nos arquivos baixados de um widget de tabela agora é preservada.
  • O editor de tabelas agora inclui dicas de ferramentas de passar o rato que exibem os nomes das colunas.
  • Ao mudar de outros tipos de visualização para um histograma, a codificação de informações agora é melhor preservada.

correções do tablier:

  • Corrigido um problema em que um único filtro de altura de grelha exibia uma barra de deslocamento de transbordo desnecessária.
  • Corrigido um problema que causava visualizações renderizadas incorretamente em painéis publicados em que uma coluna de conjunto de dados referenciada era excluída.

2 de maio de 2024

Atualizações do painel:

  • Consultas e visualizações agora podem ser copiadas para um novo painel do editor SQL. Você ainda pode adicionar visualizações a painéis herdados a partir do editor SQL. Consulte Editar, descarregar ou adicionar a um dashboard.
  • Os painéis agora manterão um cache de resultados de 24 horas para otimizar os tempos de carregamento iniciais. Consulte otimização de conjuntos de dados e cache.
  • Os gráficos de barras com X categórico e Y quantitativo agora são classificados em respostas do Databricks Assistant.
  • Corrigido o problema de migração com o histograma legado COUNT (*) para assegurar uma migração precisa.
  • Implementada a capacidade de misturar tipos numéricos e tipos de data em um widget de filtro.
  • Ao criar gráficos, o Assistente Databricks agora sugere automaticamente colunas relevantes à medida que você digita.

Atualizações de visualização:

  • A cor selecionada pelo usuário para tabelas agora persiste nos modos claro e escuro em gráficos herdados.
  • A lógica de truncamento de dados foi melhorada para melhorar o desempenho em gráficos de combinação, pizza, mapa de calor e histograma.
  • Uma marca de verificação agora é sempre apresentada na parte superior de um eixo quantitativo para gráficos básicos.

23 de abril de 2024

atualizações da interface do usuário:

  • Para todos os diálogos de Partilha na UI, o grupo All Users foi renomeado para All Workspace Users. O novo nome reflete com mais precisão o escopo do grupo, que sempre incluiu usuários atribuídos ao espaço de trabalho. Nenhuma alteração é feita na associação ao grupo como parte dessa renomeação.

Melhorias no painel:

  • Quando é iniciado o armazém SQL de um painel, uma caixa de diálogo é exibida para explicar o tempo de espera.
  • A posição de rolagem é preservada ao alternar entre as guias Canvas e Data.
  • A clonagem de um painel herdado para criar um painel do Lakeview agora oferece suporte a alguma conversão de parâmetros. Consulte Ajustar parâmetros herdados.
  • Datas relativas, como Hoje, Amanhãe 7 dias atrás, agora são suportadas para parâmetros de data e hora.
  • Os controles deslizantes de intervalo de números podem ser adicionados como filtros em um painel.
  • Os histogramas agora podem exibir dados desagregados.
  • Os gráficos de dispersão agora suportam codificação de tamanho.

correções no painel:

  • A codificação de cores temporais agora pode alterar as atribuições de cores corretamente.

Atualizações de visualização:

  • Os formatos de topo de ferramentas personalizados agora funcionam corretamente para gráficos de vários eixos.
  • A tag Novos gráficos visualização é removida quando os usuários não alteraram a alternância nos últimos 14 dias.

18 de abril de 2024

Os painéis Lakeview estão geralmente disponíveis

Os Lakeview dashboards agora são a ferramenta padrão para criação de painéis de controle. Eles foram renomeados como Dashboards na interface de utilizador. Os painéis SQL do Databricks agora são chamados de painéis Legacy. Os nomes das ferramentas de API relacionadas não foram alterados.

  • Melhorias no painel:
    • Os logs de auditoria estão disponíveis para os painéis do Lakeview. Veja eventos do painel de IA/BI.
    • Os dados baixados dos painéis respeitam os parâmetros aplicados.
    • O Assistente de Databricks está ativado no separador de Dados sem adicionar conjuntos de dados primeiro.
    • Gráficos de barras empilhadas com vários campos Y podem suportar a classificação do eixo X com base na soma dos valores do eixo Y.
    • Alterne entre as funções de escala Linear e Log(Simétrico) nos menus de eixos de visualização.
    • O tamanho padrão do widget de filtro agora é mais compacto.
    • O tempo de carregamento inicial para o widget de filtro de entrada de texto foi reduzido.
    • Conversões automáticas de gráficos aprimoradas ao migrar de painéis herdados.
  • correções do painel:
    • O aviso de configurações de visualização restritas não mostra se o painel foi compartilhado com outras pessoas.
    • As mensagens de erro no separador Data do editor SQL agora estão ativadas para o modo escuro.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL warehouse descritas acima.

Melhorias:

  • As notas de rodapé em gráficos empilhados agora exibem o valor acumulado e a porcentagem por padrão.
  • As dicas de ferramentas para gráficos de vários eixos agora destacam o item pairado.
  • Tabela visualizações para Databricks SQL agora adaptam um novo tipo de dados de resultado de consulta quando editado no editor SQL.
  • A tabela Histórico de Consultas do Catalog Explorer mostra uma exibição em forma de árvore para a atribuição de Origem da Consulta. Você pode usar isso para ver quais entidades acionaram a instrução de consulta a ser executada.

11 de abril de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL warehouse descritas acima.

Melhorias:

  • Agora você pode agrupar por porcentagem ao criar visualizações em Databricks SQL e notebooks.
  • Para novos gráficos (na Pré-visualização Pública), pode aumentar o zoom ao longo de um único eixo clicando e arrastando numa linha reta paralela ao eixo.
  • O cluster partilhado do Unity Catalog a "Allowlist" da interface de utilizador está agora disponível para o público em geral. Você pode acessá-lo na página de detalhes da Metastore no Catalog Explorer. Consulte Como adicionar itens à lista de permissões.
  • Os formulários para criar e editar locais externos agora são abertos como uma página inteira. Eles incluem a opção de incluir uma credencial de armazenamento.

Correções:

  • Corrigido um problema para gráficos de histograma em que valores negativos eram erroneamente marcados como positivos.

4 de abril de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL warehouse descritas acima.

Melhorias:

  • Melhorias nos Gráficos de Histograma nos painéis do Lakeview.
    • Adicionado suporte para etiquetas.
    • As configurações do compartimento agora são mantidas ao alternar entre campos diferentes.
  • A galeria de exemplos na página de listagem do painel agora cria painéis do Lakeview. Veja Tutorial: Usar painéis de exemplo.
  • Clicar com o botão direito do mouse na borda de um widget em um painel do Lakeview abre um menu de contexto.
  • A barra de navegação do lado esquerdo é mantida para usuários do espaço de trabalho que visualizam painéis publicados do Lakeview.
  • As seleções de filtros são mantidas ao navegar entre os painéis do Lakeview, publicados e em rascunho.
  • Os nomes das colunas agora podem ser inseridos no editor SQL ao editar uma consulta na guia Data em um painel de rascunho do Lakeview.
  • A substituição de um painel Lakeview mantém o nome do painel existente e substitui o conteúdo.
  • Alternar visualizações entre mapas de calor e outros tipos de gráficos agora preserva melhor os campos relevantes.

Correções:

  • Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.
  • Resolvido um problema em que o botão Download como PNG estava ausente em algumas visualizações.
  • Formatação corrigida para números inteiros grandes negativos que faltavam anteriormente milhares de separadores.
  • Corrigido o posicionamento incorreto da linha de foco ao passar o mouse sobre rótulos em gráficos de linha.

28 de março de 2024

Databricks SQL versão 2024.15 disponível

Cronograma de Implementação

  • Lançamento de prévia para 2024.15: entre 14 de fevereiro e 4 de março
  • Implementação atual da versão 2024.15: entre 25 de março e 8 de abril

Alterações em 2024.15

Atualizações Delta

  • Delta UniForm agora está disponível em geral: UniForm agora está disponível em geral e usa o recurso de tabela IcebergCompatV2. Agora você pode habilitar ou atualizar o UniForm em tabelas existentes. Veja como ler tabelas Delta usando clientes Iceberg.
  • Recalcular estatísticas de pulo de dados para tabelas Delta: Agora você pode recalcular as estatísticas armazenadas no log Delta depois de alterar as colunas usadas para pular dados. Consulte Especificar colunas de estatísticas delta.

Atualizações de linguagem SQL

  • Declarar variáveis temporárias em uma sessão SQL: Esta versão introduz a capacidade de declarar variáveis temporárias em uma sessão que pode ser definida e, em seguida, referida a partir de consultas. Consulte Variáveis.
  • Suporte ao formato de arquivo XML nativo (Visualização pública): suporte ao formato de arquivo XML nativo agora está em Visualização pública. O suporte ao formato de arquivo XML permite a ingestão, consulta e análise de dados XML para processamento em lote ou streaming. Ele pode inferir e evoluir automaticamente esquemas e tipos de dados, suporta expressões SQL como from_xmle pode gerar documentos XML. Não requer ficheiros JAR externos e funciona de forma contínua e integrada com Auto Loader, read_files, COPY INTOe DLT. Consulte Ler e gravar arquivos XML.

Atualizações do Apache Spark SQL

O Databricks SQL 2024.15 inclui o Apache Spark 3.5.0. Correções de bugs adicionais e melhorias para SQL estão listadas na nota de lançamento do Databricks Runtime 14.3. Consulte Apache Spark e procure a tag [SQL] para obter uma lista completa.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL warehouse descritas acima.

  • Uma nova guia de visão geral na página de entidade do Catalog Explorer mostra metadados importantes, como tamanho do arquivo, fonte de dados, proprietário, esquema de tabela e comentários.
  • Atualizações do painel do Lakeview:
    • Os painéis do Lakeview agora suportam parâmetros. Os autores podem adicionar parâmetros a consultas de conjunto de dados a partir da guia Data e, em seguida, definir parâmetros na tela usando seletores de valor único e seletores de data. Veja Trabalhar com parâmetros do dashboard.
    • Os painéis do Lakeview agora são suportados na API de permissões do espaço de trabalho. Consulte PATCH /api/workspace/workspace/updatepermissions na referência da API REST.
    • Widgets de de controle na tela foram renomeados para widgets de de filtro.
    • Os gráficos de combinação não permitem mais campos desagregados no eixo x.
    • O botão Copiar link na janela de partilha agora inclui parâmetros armazenados na URL.
    • Os widgets nos painéis publicados não mostram mais bordas ao passar o mouse.
    • Resolvido um problema em que os botões Databricks Assistant e Download PNG se sobrepõem aos elementos visuais do gráfico.
  • Alternar visualizações entre heatmaps e outros tipos de gráficos agora preserva melhor os campos relevantes.
  • Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.

Março 21, 2024

  • A linhagem de modelos do Unity Catalog está agora em Pré-visualização Pública.

O modo de visualização em tabela no Explorador de Catálogo agora tem um separador Visão Geral para descrever os seus metadados principais.

  • Os armazéns SQL para blocos de notas, agora geralmente disponíveis, permitem que os utilizadores aproveitem a computação totalmente gerida, instantânea e escalável para as suas cargas de trabalho SQL no ambiente rico e colaborativo de criação de um bloco de notas. Consulte um bloco de notas com um warehouse SQL.

As seguintes correções e melhorias se aplicam aos painéis do Lakeview:

  • O suporte expandido à API para o Lakeview adiciona a capacidade de criar, obter, atualizar e eliminar painéis. Consulte Lakeview na referência da API REST.
  • Adicionado um botão de atualização para o navegador Catálogo na guia Dados.
  • Painéis do Lakeview agora aparecem antes de Painéis no menu Novo na barra lateral do espaço de trabalho. Na página de listagem do painel, a aba painéis do Lakeview aparece à esquerda da aba Painéis.
  • A experiência do Databricks Assistant para Lakeview foi atualizada com uma caixa de entrada e sugestões para melhorar a capacidade de descoberta e ajudar os usuários a entender os prompts que podem colocar.
  • As visualizações Lakeview agora suportam agregações medianas.
  • Atualizado o seletor de cores no editor de visualização do painel Lakeview para uma experiência de usuário mais simplificada ao criar tabelas.
  • Migração melhorada de gráficos circulares para suportar exclusivamente cenários com definições de ângulo ou cor.
  • Corrigido um bug que impedia o agrupamento por gráficos chamados contagem. Os gráficos podem agora ser agrupados por campos chamados número.
  • Para gráficos de barras, os controlos de layout de grupo e de pilha agora estão ocultos quando não são aplicáveis à configuração selecionada pelo utilizador.

Março 14, 2024

Para os painéis do Lakeview:

  • Os histogramas agora suportam cores categóricas personalizadas.
    • Os mapas de calor agora suportam escalas quantitativas.
    • Os títulos e descrições são mantidos ao alternar entre tipos de visualização, incluindo gráficos de combinação.
    • Agora você pode abrir o conjunto de dados subjacente associado a um widget de painel de rascunho clicando com o botão direito do mouse nele. O conjunto de dados é aberto na guia Data.
  • Novos gráficos agora aplicam aliases e cores personalizadas para valores nulos em colunas numéricas.
  • Os novos gráficos agora renderizam marcadores de escala para mostrar o topo do eixo y.

7 de março de 2024

  • Ao exibir uma tabela no Catalog Explorer, o botão Criar inclui uma opção para criar um painel Lakeview em vez de um painel SQL do Databricks.
  • Os histogramas estão agora disponíveis para os painéis do Lakeview. Os histogramas são comumente usados para visualizar a distribuição de um campo numérico.
  • Ao clonar um painel SQL do Databricks para criar um painel do Lakeview, os problemas de conversão do conjunto de dados agora aparecem como erros no novo widget no painel do Lakeview.
  • Os gradientes de cor estão disponíveis quando um campo numérico é usado para uma visualização em um painel do Lakeview.
  • Os gradientes de cor agora são expostos no editor de visualização do painel Lakeview quando uma Cor por campo é especificada.
  • O título e a descrição associados a uma visualização não serão mais editáveis se o visualizador não tiver privilégios de edição em um painel de rascunho do Lakeview.
  • Corrigimos um problema em que as legendas em gráficos com mais de 100 séries exibiam incorretamente todas as séries. Agora, apenas a série focada é mostrada.
  • Redução da latência de digitação no editor SQL em 30% por meio de otimizações de desempenho.
  • Ao gerenciar consultas no editor SQL, mover uma consulta para a lixeira fecha automaticamente a guia.
  • Corrigido um problema no editor SQL em que o texto era selecionado acidentalmente ao ajustar a largura do painel lateral.

29 de fevereiro de 2024

  • O navegador de esquemas no Catalog Explorer agora exibe nas colunas restrições de chave primária e estrangeira.
  • O tempo de retenção mostrado na guia Linhagem no Catalog Explorer foi aumentado para um ano.
  • Os tooltips nos novos gráficos em notebooks agora são sempre renderizados dentro dos limites de visualização.
  • Saiba como gerenciar programaticamente os painéis do Lakeview usando a API REST. Consulte Gerenciar painéis com APIs de espaço de trabalho.
  • Os painéis do Lakeview agora suportam histogramas.
  • Compartilhamento e publicação aprimorados nos painéis do Lakeview:
    • Diálogos de compartilhamento e publicação aprimorados, permitindo o compartilhamento seguro e fácil para qualquer usuário da conta.
    • Os painéis abertos a partir do navegador do espaço de trabalho mostram o painel publicado, se ele existir. Agora, os espectadores também podem ver detalhes da versão publicada mais recente, incluindo editor, hora e credenciais.
    • Para os editores, um novo alternador suspenso na interface do usuário do Lakeview Dashboard permite que você se mova rapidamente entre as versões de rascunho e publicadas.

22 de fevereiro de 2024

  • As melhorias na guia Dados de Exemplo na vista de tabela do Explorador de Catálogos possibilitam classificar colunas, copiar dados selecionados para a área de transferência e visualizar números de linha. Agora ele pode exibir melhor valores especiais, como objetos JSON, datas, valores numéricos e nulos.
  • Os dashboards do Lakeview agora suportam o envio de instantâneos periódicos em PDF do dashboard para utilizadores do espaço de trabalho e destinos de notificação. Consulte Horários e subscrições.
  • A lista de opções de visualização no seletor suspenso Lakeview agora está ordenada em ordem alfabética.
  • Ao copiar painéis SQL do Databricks para painéis do Lakeview, os widgets que não podem ser convertidos agora mostram o seletor de configuração de visualização em vez de uma mensagem de erro.

Fevereiro 15, 2024

  • A documentação para filtros de consulta baseados em código, como SELECT action AS 'action::filter', foi removida. O Databricks recomenda a atualização de consultas para remover esse padrão.
  • Para os painéis do Lakeview, os gráficos de sectores agora exibem fatias de tamanho igual quando nenhum campo de ângulo é especificado.
  • Lakeview agora suporta gráficos de combinação, que combinam gráficos de barras e linhas para mostrar dois valores diferentes no mesmo gráfico.
  • Os gráficos de mapa de calor, que usam a intensidade de cor para mostrar a magnitude da correlação entre duas variáveis discretas, agora estão disponíveis no Lakeview.

8 de fevereiro de 2024

  • Agora você pode solicitar acesso ao abrir um link para um painel do Lakeview no qual você não tem permissões.
  • Os filtros do painel Lakeview agora têm opções específicas Todos e Nenhum. Os autores podem optar por ocultar a opção Todos nos filtros de seleção única.
  • Agora você pode definir valores mínimos e máximos para eixos nos gráficos do painel do Lakeview.

1 de fevereiro de 2024

Databricks SQL Versão 2024.10 Disponível

Cronograma de distribuição

  • Lançamento de pré-visualização para 2024.10: entre 30 de janeiro de 2024 e 5 de fevereiro de 2024
  • Lançamento em curso para 2024.10: Entre 13 de fevereiro de 2023 e 20 de fevereiro de 2024

Alterações em 2024.10

  • Corrigido tratamento de arquivos corrompidos em comandos DML: Os comandos DML DELETE, UPDATEe MERGE INTO já não respeitam as opções de leitura ignoreCorruptFiles e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esses comandos agora falham, mesmo que essas opções sejam especificadas.
  • A simultaneidade no nível da linha é Geralmente Disponível e ligada por padrão: A simultaneidade no nível da linha reduz os conflitos entre operações de escrita simultâneas ao detetar alterações ao nível da linha. A simultaneidade em nível de linha só é suportada em tabelas sem particionamento, incluindo tabelas com clustering líquido. A simultaneidade em nível de linha é habilitada por padrão em tabelas Delta com vetores de exclusão habilitados. Consulte Conflitos de escrita com concorrência ao nível da linha.
  • Clone superficial para tabelas externas do Unity Catalog (Visualização pública): Agora você pode usar clone superficial com tabelas externas do Unity Catalog. Consulte clone raso para tabelas do Unity Catalog.
  • Coleta de Estatísticas Multi-threaded Mais Rápida: A coleta de estatísticas é até 10 vezes mais rápida em pequenos clusters ao executar CONVERT TO DELTA ou ao clonar a partir de tabelas Iceberg e Parquet. Veja Converter para Delta Lake e clonar tabelas de Parquet e Iceberg incrementalmente para Delta Lake.
  • Filtros pushdown no DeltaSource em arquivos Delta: Para uma melhor utilização, os filtros de partição em consultas de streaming de tabelas Delta agora são empurrados para baixo para Delta antes do limite de taxa.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

  • Uma opção de menu, Clone to Lakeview dashboard, foi adicionada à interface do usuário do painel SQL do Databricks. Você pode usar essa ferramenta para criar um novo painel Lakeview que inclua as mesmas consultas e visualizações em seus painéis SQL Databricks existentes. Consulte clonar um painel herdado para um painel de IA/BI.
  • Os gráficos de barras nos painéis do Lakeview suportam o empilhamento de barras para normalizar até 100%.
  • Corrigido um problema em que o zoom num dashboard publicado do Lakeview resultava no foco em intervalos de zoom incorretos.

24 de janeiro de 2024

  • A tela do painel Lakeview ajusta automaticamente o posicionamento do widget para remover o espaço em branco vertical vazio entre as linhas quando possível.
  • Espaço em branco reduzido entre o texto do título e da descrição nas visualizações do painel do Lakeview.

18 de janeiro de 2024

  • Corrigido um problema de renderização para visualizações em que gráficos de barras mostrando uma única data no eixo x resultavam em uma barra muito fina. Novas visualizações de gráficos são renderizadas conforme o esperado.
  • A página de listagem do painel Lakeview mostra os seus dashboards por padrão. Você pode usar filtros nessa página para acessar painéis do Lakeview pertencentes a outros usuários do espaço de trabalho.

11 de janeiro de 2024

  • As APIs de Consultas SQL e Dashboard do Databricks suportam a alteração da configuração de função Executar como programaticamente.

4 de janeiro de 2024