Tempo de execução do Databricks 10.5 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.5, alimentado pelo Apache Spark 3.2.1. A Databricks lançou esta versão em maio de 2022.

Novos recursos e melhorias

• SQL: Novas funções to_number e try_to_number
• SQL: Nova função try_sum
• SQL: Atualizar para ceil, ceilinge floor funções
• SQL: Novas funções regr_avgx agregadas e regr_avgy
• SQL: Atualizar para contains, startswithe endswith funções
• SQL: Nova função array_size
• Unity Catalog: saída SQL LIST remove is_directory coluna e adiciona trailing / para caminhos de diretório (Visualização pública)
• Auto Loader: nova função SQL CLOUD_FILES_STATE
• Auto Loader: suporte de notificação de arquivo agora é GA
• Delta Lake: nova maxRecordsPerFile opção para o máximo de registros gravados em um único arquivo
• Descontinuação dos coalas
• Nova _metadata coluna para todos os formatos de ficheiro
• Teste seu pipeline Delta Live Tables com o Databricks Runtime 10.5

SQL: Novas funções to_number e try_to_number

A .

SQL: Nova função try_sum

Ao contrário sumdo , a função de agregação try_sum retorna NULL em vez de um erro quando ocorre um estouro.

SQL: Atualizar para ceil, ceilinge floor funções

A função ceil, a função teto e a função piso agora suportam um segundo argumento opcional para especificar uma escala de destino.

SQL: Novas funções regr_avgx agregadas e regr_avgy

A nova função agregada regr_avgx e regr_avgy função agregada suportam regressões lineares.

SQL: Atualizar para contains, startswithe endswith funções

As funções contains function, startswith e ends with agora suportam tipos de dados binários como entrada, além de strings.

SQL: Nova função array_size

A nova função array_size calcula o tamanho de uma matriz.

Unity Catalog: saída SQL LIST remove is_directory coluna e adiciona trailing / para caminhos de diretório (Visualização pública)

A saída da instrução SQL LIST para listar caminhos governados por Unity Catalog foi alterada. A is_directory coluna não é mais exibida. Em vez disso, os caminhos que representam diretórios agora terminam com uma barra à direita (/) para as path colunas e name . Essa alteração é para consistência com a dbutils.fs.ls saída do comando.

Auto Loader: nova função SQL CLOUD_FILES_STATE

Você pode usar a nova CLOUD_FILES_STATE função para consultar o estado interno de um fluxo do Auto Loader, consulte Consultando arquivos descobertos pelo Auto Loader.

Auto Loader: suporte de notificação de arquivo agora é GA

O suporte de notificação de ficheiros para O que é o Auto Loader? no Google Cloud está agora disponível para o público em geral.

Delta Lake: nova maxRecordsPerFile opção para o máximo de registros gravados em um único arquivo

Quando você usa as APIs DataFrame para gravar em uma tabela Delta, você pode usar a maxRecordsPerFile opção para especificar o número máximo de registros para gravar em um único arquivo. Especificar um valor zero ou um valor negativo não representa limite. Consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.

Descontinuação dos coalas

Koalas agora está obsoleto. O Koalas fornece APIs de pandas sobre o Apache Spark. Koalas foi contribuído pela comunidade e está disponível como API pandas no Spark a partir do Apache Spark 3.2. O Koalas continua a ser pré-instalado para o Databricks Runtime 10.5, mas o Koalas não será mais pré-instalado a partir da próxima versão do Databricks Runtime.

Para saber mais sobre a API pandas no Spark, consulte:

• API Pandas no Spark na documentação do Azure Databricks
• API Pandas no Spark na documentação do Apache Spark
• Migrando da API do Koalas para pandas no Spark na documentação do Apache Spark

Nova _metadata coluna para todos os formatos de ficheiro

Você pode obter informações de metadados para arquivos de entrada com a _metadata coluna. A _metadata coluna está oculta. Esta coluna está disponível para todos os formatos de arquivo de entrada. Para incluir a _metadata coluna em um retornado DataFrame, você deve fazer referência explícita a essa coluna em sua consulta. Consulte Coluna de metadados do arquivo.

Teste seu pipeline Delta Live Tables com o Databricks Runtime 10.5

O Databricks Runtime 10.5 é agora a versão suportada preview para Delta Live Tables. Para testar seu pipeline com o Databricks Runtime 10.5, defina a channel configuração como preview nas configurações do pipeline.

Correções de erros

• Corrigida a exibição e numUpdatedRows os resultados da métrica para operações de atualização em tabelas Delta que têm a captura de dados de numCopiedRows alteração (CDC) habilitada.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • plotly de 5.5.0 a 5.6.0
• Bibliotecas R atualizadas:
  • base de 4.1.2 a 4.1.3
  • Cursor de 6,0-90 a 6,0-91
  • agrupamento de 2.1.2 a 2.1.3
  • marca comum de 1.7 a 1.8.0
  • compilador de 4.1.2 a 4.1.3
  • giz de cera de 1.5.0 a 1.5.1
  • conjuntos de dados de 4.1.2 a 4.1.3
  • desc de 1.4.0 a 1.4.1
  • fansi de 1.0.2 a 1.0.3
  • cola de 1.6.1 a 1.6.2
  • gráficos de 4.1.2 a 4.1.3
  • grDevices de 4.1.2 a 4.1.3
  • grelha de 4.1.2 a 4.1.3
  • knitr de 1,37 a 1,38
  • MASSA de 7,3-55 a 7,3-56
  • Matriz de 1,4-0 a 1,4-1
  • Métodos de 4.1.2 a 4.1.3
  • mgcv de 1.8-39 a 1.8-40
  • nlme de 3.1-155 a 3.1-157
  • openssl de 1.4.6 a 2.0.0
  • paralelo de 4.1.2 a 4.1.3
  • plyr de 1.8.6 a 1.8.7
  • processx de 3.5.2 a 3.5.3
  • r2d3 de 0.2.5 a 0.2.6
  • Rcpp de 1.0.8 a 1.0.8.3
  • RLANG de 1.0.1 a 1.0.2
  • rmarkdown de 2.11 para 2.13
  • RSQLite de 2.2.10 a 2.2.11
  • sass de 0.4.0 a 0.4.1
  • splines de 4.1.2 a 4.1.3
  • Estatísticas de 4.1.2 a 4.1.3
  • stats4 de 4.1.2 a 4.1.3
  • tcltk de 4.1.2 a 4.1.3
  • Ferramentas de 4.1.2 a 4.1.3
  • utils de 4.1.2 a 4.1.3
  • uuid de 1.0-3 a 1.0-4
  • Waldo de 0.3.1 a 0.4.0
  • Withr de 2.4.3 a 2.5.0
  • xfun de 0,29 a 0,30
• Bibliotecas Java atualizadas:
  • com.h2database.h2 de 1.4.195 a 2.1.210
  • org.apache.hadoop.hadoop-client-api de 3.3.1-databricks para 3.3.2-databricks
  • org.apache.hadoop.hadoop-client-runtime de 3.3.1 a 3.3.2
  • org.rocksdb.rocksdbjni de 6.24.2 a 6.20.3

Faísca Apache

O Databricks Runtime 10.5 inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.4 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-38354] [SC-97886] Reverter "[SQL] Adicionar métrica de testes de hash para associação de hash embaralhada"
• [FAÍSCA-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Escolha a dedo] Módulo Instrument PySpark SQL com registrador de uso geral
• [FAÍSCA-38333] [SQL] A expressão PlanExpression deve ignorar a função addExprTree no Executor
• [FAÍSCA-38646] [PYTHON][10.x] Puxe uma característica para fora para funções Python
• [FAÍSCA-38674] [FÓTON] Adicionar uma métrica a PhotonSubqueryBroadcastExec
• [FAÍSCA-38787] [SS] Substitua o valor encontrado pelo elemento não nulo na lista restante da chave e remova os elementos nulos restantes dos valores no armazenamento keyWithIndexToValue para junções de fluxo de fluxo
• [FAÍSCA-38446] [Núcleo] Corrigir impasse entre ExecutorClassLoader e FileDownloadCallback causado por Log4j
• [FAÍSCA-38705] [SQL] Usar identificador de função no comando create and drop function
• [FAÍSCA-38684] [SS] Corrija o problema de correção na junção externa de fluxo de fluxo com o provedor de armazenamento de estado RocksDB
• [FAÍSCA-38655] [SQL] OffsetWindowFunctionFrameBase não é possível localizar a linha de deslocamento cuja entrada não é nula
• [FAÍSCA-38204] [SS] Use StatefulOpClusteredDistribution para operadores com monitoração de estado respeitando a compatibilidade com versões anteriores
• [FAÍSCA-38616] [SQL] Acompanhe o texto da consulta SQL no Catalyst TreeNode
• [FAÍSCA-38600] [SQL] Incluir unit na cadeia de caracteres sql de TIMESTAMPADD/DIFF
• [FAÍSCA-34805] [SQL] Propagar metadados de colunas aninhadas no Alias
• [FAÍSCA-38535] [SQL] Adicione o datetimeUnit enum e use-o em TIMESTAMPADD/DIFF
• [FAÍSCA-38415] [SQL] Atualize o tipo de resultado histogram_numeric (x, y) para tornar x == o tipo de entrada
• [FAÍSCA-38148] [SQL] Não adicione remoção de partição dinâmica se existir remoção de partição estática
• [FAÍSCA-37527] [SQL] Compilar COVAR_POP, COVAR_SAMP e CORR em H2Dialet
• [FAÍSCA-38510] [SQL] Tente novamente ClassSymbol.selfType para contornar referências cíclicas
• [FAÍSCA-38509] [SQL] Cancele o registro das TIMESTAMPADD/DIFF funções e remova DATE_ADD/DIFF
• [FAÍSCA-38504] [SQL] Não é possível ler TimestampNTZ como TimestampLTZ
• [FAÍSCA-38526] [SQL] Corrigir nome de alias de função enganoso para RuntimeReplaceable
• [FAÍSCA-38335] [SQL] Implementar suporte ao analisador para valores de coluna DEFAULT
• [FAÍSCA-38593] [SS] Transfira a métrica do número de eventos atrasados descartados para SessionWindowStateStoreSaveExec
• [FAÍSCA-38549] [SS] Adicionar numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec
• [FAÍSCA-38583] [SQL] Restaurar o comportamento de to_timestamp que permite tipos numéricos
• [FAÍSCA-38481] [SQL] Substitua a exceção de estouro de Java pela TIMESTAMPADD exceção Spark
• [FAÍSCA-37753] [SQL] Ajuste a lógica para rebaixar a junção de hash de transmissão no DynamicJoinSelection
• [FAÍSCA-37582] [FAÍSCA-37583][SQL] CONTÉM, STARTSWITH, ENDSWITH deve suportar os tipos string e binário
• [FAÍSCA-38345] [SQL] Introduzir a função SQL ARRAY_SIZE
• [FAÍSCA-38385] [SQL] Melhorar mensagens de erro de instrução vazia e <EOF> em ParseException
• [FAÍSCA-37614] [SQL] Suporte ANSI Aggregate Função: regr_avgx & regr_avgy
• [FAÍSCA-38560] [SQL] Se Sum, Count, Any acompanhar com distinto, não pode fazer agg parcial empurrar para baixo.
• [FAÍSCA-38360] [SQL][SS][PYTHON] Introduza uma exists função para TreeNode eliminar padrões de código duplicados
• [FAÍSCA-38385] [SQL] Melhorar as mensagens de erro de casos de "entrada incompatível" da ANTLR
• [FAÍSCA-38240] [SQL] Improve RuntimeReplaceable e adicione uma diretriz para adicionar novas funções
• [FAÍSCA-38542] [SQL]UnsafeHashedRelation deve serializar numKeys para fora
• [FAÍSCA-38521] [SQL] Alterar partitionOverwriteMode de string para variável no Scala
• [FAÍSCA-38558] [SQL] Remover conversões desnecessárias entre IntegerType e IntDecimal
• [FAÍSCA-38489] [SQL] Aggregate.groupOnly suporta expressões dobráveis
• [FAÍSCA-38410] [SQL] Suporte especificar o número de partição inicial para rebalanceamento
• [FAÍSCA-38107] [SQL] Use classes de erro nos erros de compilação de python/pandas UDFs
• [FAÍSCA-38354] [SQL] Adicionar métrica de testes de hash para junção de hash embaralhada
• [FAÍSCA-38112] [SQL] Usar classes de erro nos erros de execução da manipulação de carimbo de data/hora
• [FAÍSCA-38361] [SQL] Adicione o método getConnection de fábrica ao JDBCDialect.
• [FAÍSCA-37865] [SQL] Corrigir bug de correção de desduplicação de união
• [FAÍSCA-38298] [SQL][Testes] Corrigir DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite no modo ANSI
• [FAÍSCA-38407] [SQL] ANSI Cast: afrouxar a limitação da fundição de tipos complexos não nulos
• [FAÍSCA-38352] [SQL] Corrija DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite no modo ANSI
• [FAÍSCA-38054] [SQL] Suporta namespaces de lista no dialeto MySQL JDBC v2
• [FAÍSCA-37960] [SQL] Uma nova estrutura para representar expressões de catalisador em APIs do DS v2
• [FAÍSCA-38103] [SQL] Migrar erros de análise de transformação para a nova estrutura de erro
• [FAÍSCA-38519] [SQL] A exceção de lançamento de AQE deve respeitar SparkFatalException
• [FAÍSCA-38528] [SQL] Itere ansiosamente sobre a sequência agregada ao criar a lista de projetos em ExtractGenerator
• [FAÍSCA-38320] [SS] Corrigir o tempo limite de flatMapGroupsWithState em lote com dados para chave
• [FAÍSCA-38442] [SQL] Corrija ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite no modo ANSI
• [FAÍSCA-38268] [SQL] Ocultar o campo "failOnError" no método toString de Abs/CheckOverflow
• [FAÍSCA-37949] [SQL] Melhorar a estimativa das estatísticas de reequilíbrio
• [FAÍSCA-38450] [SQL] Corrija HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite no modo ANSI
• [FAÍSCA-38501] [SQL] Corrigir falhas de teste do thriftserver no modo ANSI
• [FAÍSCA-37895] [SQL] Filtrar coluna empurrada para baixo com colunas entre aspas
• [FAÍSCA-38449] [SQL] Evite chamar createTable quando ignoreIfExists=true e a tabela existir
• [FAÍSCA-38406] [SQL] Melhorar o desempenho de ShufflePartitionsUtil createSkewPartitionSpecs
• [FAÍSCA-37947] [SQL] Extrair gerador da expressão GeneratorOuter contida por um operador Gerar.
• [FAÍSCA-38309] [CORE] Corrigir métricas de SHS shuffleTotalReads e shuffleTotalBlocks percentis
• [FAÍSCA-38412] [SS] Corrigir a sequência trocada de de e para em StateSchemaCompatibilityChecker
• [FAÍSCA-38267] [CORE][SQL][SS] Substituir correspondências de padrão em expressões booleanas por instruções condicionais
• [FAÍSCA-38104] [SQL] Migrar erros de análise da janela para a nova estrutura de erros
• [FAÍSCA-38434] [SQL] Semântica correta do método CheckAnalysis.getDataTypesAreCompatibleFn
• [FAÍSCA-38033] [SS] O processamento SS não pode ser iniciado porque o com...
• [FAÍSCA-38378] [SQL] Refatoração da definição gramatical ANTLR em arquivos Parser e Lexer separados
• [FAÍSCA-37475] [SQL] Adicionar parâmetro de escala às funções de piso e ceil
• [FAÍSCA-38411] [CORE] Usar UTF-8 ao doMergeApplicationListingInternal ler logs de eventos
• [FAÍSCA-36553] [ML] KMeans evitam computar estatísticas auxiliares para K grande
• [FAÍSCA-38393] [SQL] Limpar o uso preterido de GenSeq/GenMap
• [FAÍSCA-38389] [SQL] Adicione o DATEDIFF() e DATE_DIFF() aliases para TIMESTAMPDIFF()
• [FAÍSCA-33206] [CORE][3.2] Corrigir cálculo de peso de cache de índice aleatório para pequenos arquivos de índice
• [FAÍSCA-38353] [PYTHON] Métodos mágicos de entrada e saída de instrumentos para a API Pandas no Spark
• [FAÍSCA-38323] [SQL][Streaming] Suporte a metadados de arquivos ocultos no Streaming
• [FAÍSCA-38138] [SQL] Materializar subconsultas do QueryPlan
• [FAÍSCA-38094] Habilitar nomes de colunas de esquema correspondentes por IDs de campo
• [FAÍSCA-37923] [SQL] Gerar transformações de partição para o analisador interno do BucketSpec
• [FAÍSCA-38363] [SQL] Evite erro de tempo de execução em Dataset.summary()/Dataset.describe() quando o modo ANSI estiver ativado
• [FAÍSCA-38284] [SQL] Adicionar a TIMESTAMPDIFF() função
• [FAÍSCA-38251] [SQL] Altere Cast.toString como "cast" em vez de "ansi_cast" no modo ANSI
• [FAÍSCA-38314] [SQL] Correção de falha ao ler arquivos parquet depois de gravar os metadados do arquivo oculto em

Consulte Atualizações de manutenção do Databricks Runtime 10.5.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.8.10
• R: 4.1.3
• Lago Delta: 1.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-03-28.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)