Tempo de execução do Databricks 7.4 (EoS)

A Databricks lançou esta versão em novembro de 2020.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.4, alimentado pelo Apache Spark 3.0.

Novas funcionalidades

Nesta secção:

• Recursos e melhorias do Delta Lake
• O Auto Loader agora suporta delegar a configuração de recursos de notificação de arquivos aos administradores
• Novos USAGE privilégios dão aos administradores maior controle sobre os privilégios de acesso a dados
• DBFS FUSE agora habilitado para clusters habilitados para passagem

Recursos e melhorias do Delta Lake

Esta versão fornece os seguintes recursos e melhorias do Delta Lake:

• Nova API permite que o Delta Lake verifique se os dados adicionados a uma tabela satisfazem as restrições
• Nova API permite reverter uma tabela Delta para uma versão mais antiga da tabela
• Nova versão inicial permite retornar apenas as alterações mais recentes em uma fonte de streaming Delta Lake
• Estabilidade melhorada de OPTIMIZE

A nova API permite que o Delta Lake verifique se os dados adicionados a uma tabela satisfazem as restrições

Delta Lake agora suporta CHECK restrições. Quando fornecido, o Delta Lake verifica automaticamente se os dados adicionados a uma tabela satisfazem a expressão especificada. Para adicionar CHECK restrições, use o ALTER TABLE ADD CONSTRAINTS comando. Para obter detalhes, consulte Restrições no Azure Databricks.

Nova API permite reverter uma tabela Delta para uma versão mais antiga da tabela

Agora você pode reverter suas tabelas Delta para versões mais antigas usando o comando RESTORE:

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Python

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Scala

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE cria uma nova confirmação que reverte todas as alterações feitas na tabela desde a versão que você deseja restaurar. Todos os dados e metadados existentes são restaurados, o que inclui o esquema, restrições, IDs de transação de streaming, metadados COPY INTO e a versão do protocolo de tabela. Para obter detalhes, consulte Restaurar uma tabela Delta.

Nova versão inicial permite retornar apenas as alterações mais recentes em uma fonte de streaming Delta Lake

Para retornar apenas as alterações mais recentes, especifique startingVersion como latest. Para obter detalhes, consulte Especificar posição inicial.

Estabilidade melhorada de OPTIMIZE

OPTIMIZE (sem quaisquer predicados de partição) pode ser dimensionado para ser executado em tabelas com dezenas de milhões de pequenos ficheiros. Anteriormente, o driver Apache Spark poderia ficar sem memória e OPTIMIZE não seria concluído. OPTIMIZE agora lida com tabelas muito grandes com dezenas de milhões de arquivos.

O Auto Loader agora suporta delegar a configuração de recursos de notificação de arquivos aos administradores

Uma nova API Scala permite que os administradores configurem recursos de notificação de arquivos para o Auto Loader. Os engenheiros de dados agora podem operar seus fluxos do Auto Loader com menos permissões, delegando a configuração inicial de recursos aos administradores. Consulte Configurar ou gerenciar manualmente recursos de notificação de arquivos.

Novos USAGE privilégios dão aos administradores maior controle sobre os privilégios de acesso a dados

Para executar uma ação em um objeto em um banco de dados, agora você deve receber o USAGE privilégio nesse banco de dados, além dos privilégios necessários para executar a ação. O privilégio USAGE é concedido para um banco de dados ou um catálogo. Com a introdução do privilégio USAGE, um proprietário de mesa não pode mais decidir unilateralmente compartilhá-lo com outro usuário; O usuário também deve ter o privilégio USAGE no banco de dados que contém a tabela.

Em espaços de trabalho com o controle de acesso à tabela habilitado, o grupo users tem automaticamente o privilégio de USAGE para a raiz CATALOG.

Para obter detalhes, consulte Privilégio de USO.

DBFS FUSE agora habilitado para clusters habilitados para passagem

Agora você pode ler e gravar a partir do DBFS usando a montagem FUSE em /dbfs/ quando estiver usando um cluster de alta simultaneidade habilitado para passagem de credenciais. Montagens regulares são suportadas. Não há suporte para montagens que exigem credenciais de passagem.

Melhorias

O Spark SQL suporta IFF e CHARINDEX como sinónimos para IF e POSITION

Em Databricks Runtime IF() é sinônimo de CASE WHEN <cond> THEN <expr1> ELSE <expr2> END

Databricks Runtime agora suporta IFF() como sinônimo de IF()

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX é um nome alternativo para a POSITION função. CHARINDEX Localiza a posição da primeira ocorrência de uma cadeia de caracteres dentro de outra cadeia de caracteres com um índice de início opcional.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Várias saídas por célula habilitadas para notebooks Python por padrão

O Databricks Runtime 7.1 introduziu suporte para várias saídas por célula em notebooks Python (e %python cells em notebooks não-Python), mas foi necessário habilitar o recurso para seu notebook. Esse recurso é habilitado por padrão no Databricks Runtime 7.4. Consulte Ver várias saídas por célula.

Melhorias de preenchimento automático para notebooks Python

O preenchimento automático para Python mostra informações de tipo adicionais geradas a partir da análise estática do código usando a biblioteca Jedi. Você pode pressionar a tecla Tab para ver uma lista de opções.

Melhoria display dos vetores do Spark ML na visualização do Spark DataFrame

O formato display agora mostra rótulos para tipo de vetor (esparso ou denso), comprimento, índices (para vetores esparsos) e valores.

Outras correções

• Corrigido um problema de decapagem em collections.namedtuple blocos de anotações.
• Corrigido um problema de decapagem com classes e métodos definidos interativamente.
• Corrigido um erro que fazia com que as chamadas para mlflow.start_run() falhassem ao passar por clusters habilitados para o controlo de acesso às tabelas.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • Jedi atualizado de 0.14.1 para 0.17.2.
  • Koalas atualizado de 1.2.0 para 1.3.0.
  • Parso atualizado de 0.5.2 para 0.7.0.
• Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.

Faísca Apache

O Databricks Runtime 7.4 inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.3 LTS (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-33170] [SQL] Adicionar configuração SQL para controlar o comportamento de falha rápida em FileFormatWriter
• [FAÍSCA-33136] [SQL] Corrigir parâmetro trocado por engano em V2WriteCommand.outputResolved
• [FAÍSCA-33134] [SQL] Retornar resultados parciais somente para objetos JSON raiz
• [FAÍSCA-33038] [SQL] Combine os planos inicial e atual da AKE...
• [SPARK-33118] [SQL] CREATE TEMPORARY TABLE falha devido à localização
• [FAÍSCA-33101] [ML] Fazer com que o formato LibSVM propague a configuração do Hadoop das opções do DS para o sistema de arquivos HDFS subjacente
• [FAÍSCA-33035] [SQL] Atualiza as entradas obsoletas do mapeamento de atributos em QueryPlan#transformUpWithNewOutput
• [FAÍSCA-33091] [SQL] Evite usar map em vez de foreach para evitar possíveis efeitos colaterais em chamadores de OrcUtils.readCatalystSchema
• [FAÍSCA-33073] [PYTHON] Melhorar o tratamento de erros em falhas de conversão de Pandas para Seta
• [FAÍSCA-33043] [ML] Handle spark.driver.maxResultSize=0 na computação heurística RowMatrix
• [SPARK-29358] [SQL] Permitir que unionByName opcionalmente preencha colunas ausentes com nulos
• [FAÍSCA-32996] [WEB-UI] Manipular ExecutorMetrics vazio em ExecutorMetricsJsonSerializer
• [FAÍSCA-32585] [SQL] Suporte a enumeração scala em ScalaReflection
• [FAÍSCA-33019] [CORE] Use spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 por padrão
• [FAÍSCA-33018] [SQL] Corrigir problema de estatísticas de estimativa se filho tiver 0 bytes
• [FAÍSCA-32901] [CORE] Não aloque memória durante o derramamento UnsafeExternalSorter
• [FAÍSCA-33015] [SQL] Use millisToDays() na regra ComputeCurrentTime
• [FAÍSCA-33015] [SQL] Calcular a data atual apenas uma vez
• [FAÍSCA-32999] [SQL] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada em TreeNode
• [SPARK-32659] [SQL] Difundir Array em vez de conjunto em InSubqueryExec
• [SPARK-32718] [SQL] Remover palavras-chave desnecessárias para unidades de intervalo
• [FAÍSCA-32886] [WEBUI] corrigir link 'indefinido' na visualização da linha do tempo do evento
• [FAÍSCA-32898] [CORE] Corrigir executorRunTime errado quando a tarefa foi morta antes do início real
• [FAÍSCA-32635] [SQL] Adicionar um novo caso de teste no módulo catalyst
• [FAÍSCA-32930] [CORE] Substituir métodos isFile/isDirectory preteridos
• [FAÍSCA-32906] [SQL] Os nomes dos campos Struct não devem ser alterados após a normalização dos flutuadores
• [FAÍSCA-24994] [SQL] Adicionar UnwrapCastInBinaryComparison otimizador para simplificar literal integral
• [FAÍSCA-32635] [SQL] Corrigir propagação dobrável
• [FAÍSCA-32738] [CORE] Deve reduzir o número de threads ativos se ocorrer um erro fatal em Inbox.process
• [FAÍSCA-32900] [CORE] Permitir que UnsafeExternalSorter derrame quando houver nulos
• [FAÍSCA-32897] [PYTHON] Não mostrar um aviso de preterição em SparkSession.builder.getOrCreate
• [FAÍSCA-32715] [CORE] Corrigir vazamento de memória quando não foi possível armazenar partes da transmissão
• [FAÍSCA-32715] [CORE] Corrigir vazamento de memória quando não foi possível armazenar partes da transmissão
• [FAÍSCA-32872] [CORE] Impedir que BytesToBytesMap em MAX_CAPACITY exceda o limite de crescimento
• [FAÍSCA-32876] [SQL] Altere as versões de fallback padrão para 3.0.1 e 2.4.7 no HiveExternalCatalogVersionsSuite
• [FAÍSCA-32840] [SQL] O valor do intervalo inválido pode ser apenas adesivo com a unidade
• [FAÍSCA-32819] [SQL] ignoreNullability parâmetro deve ser eficaz recursivamente
• [FAÍSCA-32832] [SS] Use CaseInsensitiveMap para opções de DataStreamReader/Writer
• [FAÍSCA-32794] [SS] Corrigido erro raro de canto no mecanismo de microlote com algumas consultas stateful + no-data-batches + fontes V1
• [SPARK-32813] [SQL] Obtenha a configuração padrão do leitor vetorizado ParquetSource se não houver SparkSession ativo
• [FAÍSCA-32823] [WEB UI] Corrigir o relatório de recursos da interface do usuário mestre
• [FAÍSCA-32824] [CORE] Melhorar a mensagem de erro quando o usuário esquece o .amount em uma configuração de recurso
• [FAÍSCA-32614] [SQL] Não aplique o processamento de comentários se 'comentário' não estiver configurado para CSV
• [FAÍSCA-32638] [SQL] Corrige referências ao adicionar aliases em WidenSetOperationTypes
• [SPARK-32810] [SQL] fontes de dados CSV/JSON devem evitar a utilização de globbing em caminhos ao inferir o esquema
• [FAÍSCA-32815] [ML] Corrigir erro de carregamento da fonte de dados LibSVM em caminhos de arquivo com metacaracteres glob
• [FAÍSCA-32753] [SQL] Copie apenas tags para o nó sem tags
• [FAÍSCA-32785] [SQL] Intervalo com partes pendentes não deve resultar nulo
• [FAÍSCA-32764] [SQL] -0.0 deve ser igual a 0.0
• [SPARK-32810] [SQL] Fontes de dados CSV/JSON devem evitar o globbing de caminhos ao inferir o esquema
• [FAÍSCA-32779] [SQL] Evite usar a API sincronizada de SessionCatalog no fluxo withClient, isso leva ao DeadLock
• [SPARK-32791] [SQL] A métrica de tabela não partilhada não deve incluir tempo de poda de partições dinâmicas
• [SPARK-32767] [SQL] A junção por buckets deve funcionar se o número de spark.sql.shuffle.partitions for maior que o número de buckets
• [SPARK-32788] [SQL] a leitura de tabela não particionada não deve ter filtro de partição
• [SPARK-32776] [SS] O limite no streaming não deve ser otimizado por PropagateEmptyRelation
• [FAÍSCA-32624] [SQL] Corrigir regressão em CodegenContext.addReferenceObj em tipos Scala aninhados
• [FAÍSCA-32659] [SQL] Melhorar o teste de poda de DPP em tipos não atômicos
• [FAÍSCA-31511] [SQL] Tornar os iteradores BytesToBytesMap thread-safe
• [SPARK-32693] [SQL] Comparar dois dataframes com o mesmo esquema, exceto propriedade anulável
• [FAÍSCA-28612] [SQL] Documento de método correto de DataFrameWriterV2.replace()

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 7.4.

Ambiente do sistema

• Sistema Operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (compilação 1.8.0_265-b11)
• Escala: 2.12.10
• Píton: 3.7.5
• R: R versão 3.6.3 (2020-02-29)
• Lago Delta 0.7.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em XXXX-XX-XX.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)