Tempo de execução do Databricks 7.5 (EoS)

A Databricks lançou esta versão em dezembro de 2020.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.5, alimentado pelo Apache Spark 3.0.

Novas funcionalidades

Recursos e melhorias do Delta Lake

Esta versão fornece os seguintes recursos e melhorias do Delta Lake:

• O ponto de verificação assíncrono elimina picos de duração de microlotes de streaming
• As informações mais recentes da tabela são agora propagadas para os catálogos
• MERGE INTO operação oferece agora suporte à evolução do esquema de colunas aninhadas
• MERGE INTO operação agora usa automaticamente gravações otimizadas
• As operações MERGE INTO e UPDATE agora resolvem colunas struct aninhadas pelo nome
• CLONE é GA e agora você pode substituir as propriedades da tabela
• RESTORE é GA
• O Scala simplifica implicitamente as APIs de leitura e gravação do Spark
• Melhore a taxa de transferência de streaming com fetchParallelism a opção de conector
• Acompanhe o progresso do fluxo com as novas métricas do Auto Loader

O ponto de verificação assíncrono elimina picos de duração de microlotes de streaming

O Delta Lake executa pontos de verificação a cada 10 confirmações por padrão. Em cargas de trabalho de streaming, o ponto de verificação pode causar pequenos picos na duração do microlote a cada 10 confirmações. O ponto de verificação assíncrono elimina esses picos.

O ponto de verificação assíncrono é habilitado por padrão para todas as cargas de trabalho de streaming que não são do Trigger Once. Com pontos de verificação assíncronos, os gravadores de streaming também gravam pontos de verificação aprimorados para que você não precise optar explicitamente por pontos de verificação aprimorados.

Para desativar o ponto de verificação assíncrono, defina a configuração SQL spark.databricks.delta.checkpoint.async.enabled false.

As cargas de trabalho em lote continuam a gravar pontos de verificação de forma síncrona e recomendamos não habilitar o ponto de verificação assíncrono para cargas de trabalho em lote.

As informações mais recentes da tabela agora são propagadas para catálogos

O Delta Lake agora propaga as informações mais atualizadas da tabela, como o esquema e as propriedades da tabela, para catálogos, como o metastore do Hive, com o máximo de esforço possível. Essas informações podem ajudá-lo a aproveitar as ferramentas de catalogação para entender o esquema de suas tabelas Delta.

A Delta Lake não depende internamente dessas informações, mas tenta mantê-las atualizadas. Além disso, o Delta Lake armazena as propriedades da tabela delta.lastUpdateVersion e delta.lastCommitTimestamp para indicar a versão e a marca temporal da confirmação que efetuou uma alteração no metastore pela última vez. O metastore é atualizado somente quando o esquema da tabela ou as propriedades na tabela não correspondem. Portanto, as propriedades da tabela acima mencionadas não refletem necessariamente a versão mais recente da tabela.

Se as informações da tabela e as informações do metastore estiverem fora de sincronia, você poderá executar um comando como DESCRIBE <table> para atualizar o metastore.

MERGE INTO operação agora suporta a evolução do esquema de colunas aninhadas

A evolução do esquema das colunas aninhadas agora tem a mesma semântica das colunas de nível superior. Por exemplo, novas colunas aninhadas podem ser adicionadas automaticamente a uma coluna StructType. Consulte Evolução automática do esquema na junção para obter detalhes.

MERGE INTO operação agora usa automaticamente gravações otimizadas

de gravações otimizadas pode fornecer um desempenho muito melhor para MERGE INTO prontos para uso, especialmente para MERGE INTO em tabelas particionadas. Para desativar as Gravações otimizadas, defina a configuração spark.databricks.delta.optimizeWrite.enabled do Spark como false.

As operações MERGE INTO e UPDATE agora resolvem as colunas struct aninhadas pelo nome

Agora, os comandos das operações de atualização UPDATE e MERGE INTO resolvem colunas de estrutura aninhadas pelo nome. Ou seja, ao comparar ou atribuir colunas do tipo StructType, a ordem das colunas aninhadas não importa (exatamente da mesma forma que a ordem das colunas de nível superior). Para reverter a resolução por posição, configure o spark.databricks.delta.resolveMergeUpdateStructsByName.enabled de configuração do Spark para false.

CLONE é GA e agora você pode substituir as propriedades da tabela

O CLONE comando agora está disponível para o público em geral. Ver CREATE TABLE CLONE. Além disso, agora você pode especificar substituições de propriedade de tabela ao usar CLONE. Para obter exemplos, consulte Clonar uma tabela no Azure Databricks.

RESTORE é GA

O RESTORE comando agora está disponível para o público em geral. Ver RESTORE.

O Scala simplifica implicitamente as APIs de leitura e gravação do Spark

Você pode importar io.delta.implicits._ para usar o método com APIs de delta leitura e gravação do Spark.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Melhore a taxa de transferência de streaming com fetchParallelism a opção de conector

O conector AQS agora suporta uma nova opção fetchParallelism para especificar o paralelismo para buscar mensagens do serviço de fila.

Acompanhe o progresso do fluxo com as novas métricas do Auto Loader

O Auto Loader agora informa quantos arquivos existem na lista de pendências e qual é o tamanho da lista de pendências após cada lote. Você pode usar essas métricas para acompanhar o progresso do fluxo. Para obter detalhes sobre como visualizar as métricas, consulte O que é o Auto Loader?.

Melhorias

Suporte mais amplo para bibliotecas com escopo de notebook usando %pip e %conda comandos mágicos

Agora você pode instalar bibliotecas com escopo de notebook usando os comandos mágicos %pip e %conda em clusters de alta simultaneidade com ACLs de tabela ou transferência de credenciais habilitadas.

Exibição precisa do Spark SQL DECIMAL

O tipo de dados Spark SQL DECIMAL agora é exibido em tabelas sem perda de precisão e escala.

Conector de armazenamento ADLS Gen 2 baseado no Hadoop 3.3 para ABFS

Uma versão atualizada do conector de armazenamento ADLS Gen 2 é baseada no Hadoop 3.3 para ABFS. O conector atualizado contém muitas melhorias de estabilidade (consulte Estabilidade do Hadoop) e inclui suporte para autenticação de token SAS.

Outras correções

O conector Databricks Kafka para Spark Streaming foi removido. Use o conector Apache Spark.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • Koalas atualizado de 1.3.0 para 1.4.0.
• Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
• Compilação do OpenJDK 8 atualizada para Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).

Faísca Apache

O Databricks Runtime 7.5 inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.4 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-33611] [UI] Evite codificar duas vezes no parâmetro de consulta da URL de proxy reescrita
• [FAÍSCA-33587] [CORE] Matar o executor em erros fatais aninhados (7.x)
• [SPARK-33140] [SQL] Reverta o código que não utiliza a SparkSession passada para obter o SQLConf.
• [FAÍSCA-33472] [SQL] Ajustar a ordem da regra RemoveRedundantSorts
• [FAÍSCA-33422] [DOC] Corrigir a exibição correta do item de menu esquerdo
• [SPARK-27421] [SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
• [FAÍSCA-33483] [INFRA][TESTES] Corrigir padrões de exclusão de ratos e adicionar uma LICENÇA
• [SPARK-33464] [INFRA] Adicionar/remover cache (des)necessário e reestruturar ações do GitHub yaml
• [FAÍSCA-33407] [PYTHON][7.X] Simplifique a mensagem de exceção de UDFs Python (desativado por padrão)
• [SPARK-33435] [SQL] DSv2: REFRESHREFRESH TABLE deve invalidar caches que fazem referência à tabela
• [FAÍSCA-33358] [SQL] Código de retorno quando o processo de comando falhou
• [FAÍSCA-33183] [DBCONNECT] Adicionar RemoveRedundantSorts.scala a ALLOW_LIST.txt
• [SPARK-33290] [SQL] REFRESHREFRESH TABLE deve invalidar o cache, mesmo que a tabela em si não esteja armazenada em cache
• [FAÍSCA-33140] [SQL] Corrigir compilação delta
• [SPARK-33316] [SQL] Adicionar testes de unidade para from_avro e to_avro com o Schema Registry e o usuário forneceu esquema Avro anulável
• [FAÍSCA-33404] [SQL] Corrigir resultados incorretos na date_trunc expressão
• [FAÍSCA-33339] [PYTHON] O aplicativo Pyspark travará devido a um erro não Exception
• [SPARK-33412] [SQL] OverwriteByExpression deve resolver sua condição de exclusão com base na relação da tabela e não na consulta de entrada
• [FAÍSCA-33391] [SQL] element_at com CreateArray não respeitam um índice baseado.
• [SPARK-33316] [SQL] O usuário de suporte forneceu esquema Avro anulável para esquema de catalisador não anulável na gravação Avro
• [FAÍSCA-33372] [SQL] Corrigir poda de balde InSet
• [SPARK-33371] [PYTHON] Atualização setup.py e testes para Python 3.9
• [SPARK-33140] [SQL] remover SQLConf e SparkSession em todas as subclasses de Rule[QueryPlan]
• [SPARK-33338] [SQL] GROUP BY usando mapa literal não deve falhar
• [SPARK-33306] [SQL]O fuso horário é necessário quando se converte a data para uma cadeia de caracteres
• [SPARK-33284] [WEB-UI] Na página Interface do usuário de armazenamento, clicar em qualquer campo para classificar a tabela fará com que o conteúdo do cabeçalho seja perdido
• [FAÍSCA-33362] [SQL] skipSchemaResolution ainda deve exigir que a consulta seja resolvida
• [SPARK-32257] [SQL] Relata erros explícitos para uso inválido do comando SET/RESET
• [SPARK-32406] [SQL] Fazer com que RESET sintaxe suporte configuração única redefinição
• [SPARK-32376] [SQL] Fazer com que o comportamento de preenchimento de valores nulos por unionByName funcione com colunas de estrutura.
• [FAÍSCA-32308] [SQL] Mover a lógica de resolução por nome de unionByName do código da API para a fase de análise
• [FAÍSCA-20044] [UI] Suporte Spark UI atrás de proxy reverso front-end usando um prefixo de caminho Reverter url proxy
• [FAÍSCA-33268] [SQL][PYTHON] Corrigir bugs para transmitir dados de/para PythonUserDefinedType
• [FAÍSCA-33292] [SQL] Tornar a representação de cadeia de caracteres Literal ArrayBasedMapData inequívoca
• [SPARK-33183] [SQL] Corrigir regra do otimizador EliminateSorts e adicionar uma regra física para remover classificações redundantes
• [FAÍSCA-33272] [SQL] eliminar o mapeamento de atributos em QueryPlan.transformUpWithNewOutput
• [FAÍSCA-32090] [SQL] Melhore UserDefinedType.equal() para torná-lo simétrico
• [SPARK-33267] [SQL] Corrigir problema de NPE no filtro 'In' quando um dos valores contém nulo
• [SPARK-33208] [SQL] Atualizar o documento de SparkSession#sql
• [FAÍSCA-33260] [SQL] Corrigir resultados incorretos de SortExec quando sortOrder é Stream
• [SPARK-33230] [SQL] Hadoop committers para receber ID de trabalho exclusivo em "spark.sql.sources.writeJobUUID"
• [FAÍSCA-33197] [SQL] Fazer alterações no spark.sql.analyzer.maxIterations entrarem em vigor no tempo de execução
• [SPARK-33228] [SQL] Não remova dados do cache ao substituir uma vista com o mesmo plano lógico
• [FAÍSCA-32557] [CORE] Registrando e engolindo a exceção por entrada no servidor de histórico
• [FAÍSCA-32436] [CORE] Inicialize numNonEmptyBlocks em HighlyCompressedMapStatus.readExternal
• [SPARK-33131] [SQL] Corrigir conjuntos de agrupamento com cláusula HAVING não pode resolver o nome de coluna qualificado
• [FAÍSCA-32761] [SQL] Permitir a agregação de várias expressões distintas dobráveis
• [FAÍSCA-33094] [SQL] Faça com que o formato ORC propague a configuração do Hadoop das opções do DS para o sistema de arquivos HDFS subjacente

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 7.5.

Ambiente do sistema

• Sistema Operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (compilação 1.8.0_275-b01)
• Escala: 2.12.10
• Píton: 3.7.5
• R: R versão 3.6.3 (2020-02-29)
• Lago Delta 0.7.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)