Tempo de execução do Databricks 11.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.1, desenvolvido pelo Apache Spark 3.3.0. A Databricks lançou esta versão em julho de 2022.

Novos recursos e melhorias

• Fóton é GA
• Photon: Tipos de instância suportados
• O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo
• Descrever e mostrar funções SQL agora exibem nomes de Catalog Unity nos seus resultados (Pré-visualização pública)
• Schema inferência e evolução dos arquivos Parquet no Auto Loader (Pré-visualização Pública)
• Auto Loader agora suporta schema evolução para Avro (GA)
• Suporte Delta Lake para partition dinâmico substitui
• Informações schema suporte para objetos criados no Unity Catalog
• Restrições informativas no Delta Lake tables com Unity Catalog (Pré-visualização Pública)
• Unity Catalog é GA
• Delta Sharing é GA

Fóton é GA

O Photon agora está disponível para o público em geral, começando com o Databricks Runtime 11.1. O Photon é o motor de consulta vetorizado nativo no Azure Databricks, escrito para ser diretamente compatível com as APIs do Apache Spark para que funcione com o código existente. O Photon é desenvolvido em C++ para tirar proveito do hardware moderno e usa as técnicas mais recentes em processamento vetorizado de consultas para capitalizar o paralelismo de dados e instruções em CPUs, melhorando o desempenho em dados e aplicativos do mundo real — tudo nativamente em seu data lake.

O Photon faz parte de um runtime de alto desempenho que executa as chamadas à API do SQL e DataFrame existentes mais rapidamente e reduz o custo total por carga de trabalho. O Photon é utilizado por predefinição nos armazéns SQL do Databricks.

Os novos recursos e melhorias incluem:

• Novo operador de classificação vetorizado
• Novas funções window vetorizadas
• Novos tipos e tamanhos de instância em todas as nuvens

Limitações:

• UDFs Scala/Python não são suportados pelo Photon
• RDD não é suportado pelo Photon
• O Streaming estruturado não é suportado pelo Photon

Para obter mais informações, consulte os seguintes anúncios do Photon.

Photon: Novo operador de classificação vetorizado

O Photon agora oferece suporte a uma classificação vetorizada para quando uma consulta contém SORT_BY, CLUSTER_BYou uma função window com um ORDER BY.

Limitações: Photon não suporta uma cláusula global ORDER BY . As classificações para a avaliação window serão fotonizadas, mas a classificação global continuará a correr no Spark.

Photon: Novas funções window vetorizadas

Photon agora suporta avaliação de função window vetorizada para muitos tipos de quadros e funções. Novas funções window incluem: row_number, rank, dense_rank, lag, lead, percent_rank, ntilee nth_value. Tipos de quadros window suportados: em execução (UNBOUNDED PRECEDING AND CURRENT ROW), sem limite (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), crescendo (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) e encolhendo (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitações:

• Photon suporta apenas ROWS versões de todos os tipos de quadros.
• O fóton ainda não suporta o tipo de quadro deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Tipos de instância suportados

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo

O feed de dados de alteração (CDF) agora tem um novo modo para fornecer carimbos de data/hora ou versões após a versão de confirmação mais recente sem lançar erros. Este modo está desativado por padrão. Você pode habilitá-lo definindo a configuração spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled como true.

Descrever e mostrar funções SQL agora mostram nomes Unity Catalog na sua saída (Pré-visualização Pública)

Os comandos DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAINe SHOW CREATE TABLE agora sempre mostram o nome catalog em sua saída.

Schema inferência e evolução para arquivos Parquet no Auto Loader (Pré-visualização Pública)

Auto Loader agora suporta inferência schema e evolução para arquivos Parquet. Assim como os formatos JSON, CSV e Avro, agora pode usar os dados resgatados column para resgatar dados inesperados que possam aparecer nos seus arquivos Parquet. Isso inclui dados que não podem ser analisados no tipo de dados esperado, columns que têm um invólucro diferente ou columns adicionais que não fazem parte do schemaesperado. Você pode configurar o Auto Loader para evoluir o schema automaticamente ao encontrar a adição de novos columns nos dados recebidos. Consulte Configurar schema inferência e evolução no Auto Loader.

Carregador Automático agora suporta evolução schema para Avro (GA)

Consulte Configurar schema inferência e evolução no Auto Loader.

Suporte do Delta Lake para substituições dinâmicas de partition

O Delta Lake agora permite que o modo de substituição de partition dinâmico substitua todos os dados existentes em cada partition lógico para o qual a gravação confirmará novos dados. Consulte Substituir dados seletivamente com o Delta Lake.

Informações schema suporte para objetos criados no Unity Catalog

O Information schema fornece uma API autodescritiva baseada em SQL para os metadados de vários objetos de banco de dados, incluindo tables e views, restrições e routines. Dentro das informações de schema, você encontra uma set de views que descreve os objetos conhecidos pelo catalog do schemaque você tem o privilégio de ver. A informação schema do SYSTEMcatalog fornece dados sobre objetos em todos os catalogs dentro do metastore. Veja informações schema.

Restrições de informação no Delta Lake tables com o Unity Catalog (Visualização Pública)

Agora pode-se definir restrições informacionais de chave primária e de chave estrangeira no Delta Lake tables com Unity Catalog. As restrições informacionais não são impostas. Consulte a cláusulaem .

Unity Catalog está em Disponibilidade Geral

O Unity Catalog agora está disponível para o público em geral a partir do Databricks Runtime 11.1. Consulte O que é Unity Catalog?.

Delta Sharing é GA

O Delta Sharing agora está disponível para o público em geral a partir do Databricks Runtime 11.1.

O Databricks to Databricks Delta Sharing é totalmente gerenciado sem a necessidade de troca de tokens. Você pode criar e gerenciar providers, recipientse shares na interface do usuário ou com APIs SQL e REST.

Alguns recursos incluem restringir o acesso de destinatários, consultar dados com listas de acesso IP e restrições de região e delegar o gerenciamento do Delta Sharing a não-administradores. Você também pode consultar alterações em dados ou compartilhar versões incrementais com o Change Data Feeds. Consulte O que é Delta Sharing?.

Alterações de comportamento

Remoção de propriedades sensíveis para DESCRIBE TABLE e SHOW TABLE PROPERTIES

As propriedades confidenciais são editadas em DataFrames e na saída dos DESCRIBE TABLE comandos and SHOW TABLE PROPERTIES .

Clusters de tarefas padrão para o modo de acesso de usuário único com Databricks Runtime 11.1 e superior

Para terem capacidade de Unity Catalog, os clusters de tarefas que utilizam o Databricks Runtime 11.1 e superior, criados através da interface do utilizador ou da API de tarefas, terão como padrão o modo de acesso de utilizador único. O modo de acesso de usuário único suporta a maioria das linguagens de programação, recursos de cluster e recursos de governança de dados. Você ainda pode configurar o modo de acesso compartilhado por meio da interface do usuário ou da API, mas os idiomas ou recursos podem ser limitados.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.6.0 a 3.7.1
  • plotly de 5.6.0 a 5.8.2
  • Protobuf de 3.20.1 a 4.21.2
• Bibliotecas R atualizadas:
  • chron de 2.3-56 a 2.3-57
  • DBI de 1.1.2 a 1.1.3
  • DBPlyr de 2.1.1 a 2.2.0
  • e1071 de 1.7-9 a 1.7-11
  • futuro de 1.25.0 a 1.26.1
  • globais de 0.14.0 a 0.15.1
  • Hardhat de 0.2.0 a 1.1.0
  • ipred de 0,9-12 a 0,9-13
  • openssl de 2.0.0 a 2.0.2
  • paralelamente de 1.31.1 a 1.32.0
  • processx de 3.5.3 a 3.6.1
  • progressor de 0.10.0 a 0.10.1
  • proxy de 0.4-26 a 0.4-27
  • ps de 1.7.0 a 1.7.1
  • randomFloresta de 4,7-1 a 4,7-1,1
  • roxygen2 de 7.1.2 a 7.2.0
  • Rserve de 1.8-10 a 1.8-11
  • RSQLite de 2.2.13 a 2.2.14
  • Sparklyr de 1.7.5 a 1.7.7
  • tinytex de 0,38 a 0,40
  • usethis de 2.1.5 a 2.1.6
  • xfun de 0.30 a 0.31
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.4.0 a 0.5.0

Faísca Apache

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-40054] [SQL] Restore a sintaxe de tratamento de erros de try_cast()
• [FAÍSCA-39489] [CORE] Melhore o desempenho do JsonProtocol no log de eventos usando Jackson em vez de Json4s
• [FAÍSCA-39319] [CORE][SQL] Tornar contextos de consulta como parte de SparkThrowable
• [FAÍSCA-40085] [SQL] Use INTERNAL_ERROR classe de erro em vez de IllegalStateException para indicar bugs
• [SPARK-40001] [SQL] Fazer com que NULL escreva em JSON DEFAULT columns grave 'null' no armazenamento
• [FAÍSCA-39635] [SQL] Suporta métricas de driver na API de métrica personalizada do DS v2
• [FAÍSCA-39184] [SQL] Manipular matriz de resultados subdimensionada em sequências de carimbo de data e hora
• [FAÍSCA-40019] [SQL] Refatore o comentário de ArrayType continsNull e refatore as lógicas de mal-entendido na expressão de collectionOperator sobre containsNull
• [SPARK-39989] [SQL] Estimativa de suporte column estatísticas se for expressão dobrável
• [SPARK-39926] [SQL] Corrigir bug no suporte column PADRÃO para varreduras Parquet não vetorizadas
• [FAÍSCA-40052] [SQL] Manipular buffers diretos de bytes em VectorizedDeltaBinaryPackedReader
• [FAÍSCA-40044] [SQL] Corrigir o tipo de intervalo de destino em erros de estouro de elenco
• [SPARK-39835] [SQL] Corrigir EliminateSorts remove ordenamento global abaixo do ordenamento local
• [SPARK-40002] [SQL] Não empurre limit para baixo através de window usando ntile
• [FAÍSCA-39976] [SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
• [SPARK-39985] [SQL] Habilitar columnvalues PADRÃO implícito em inserções de DataFrames
• [SPARK-39776] [SQL] JOIN string verbosa deve adicionar Join tipo
• [FAÍSCA-38901] [SQL] DS V2 suporta funções push down misc
• [FAÍSCA-40028] [SQL][Seguimento] Melhorar exemplos de funções de cadeia de caracteres
• [FAÍSCA-39983] [CORE][SQL] Não armazenar em cache relações de difusão não serializadas no driver
• [FAÍSCA-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
• [FAÍSCA-40028] [SQL] Adicionar exemplos binários para expressões de cadeia de caracteres
• [FAÍSCA-39981] [SQL] Lance a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert no Cast
• [FAÍSCA-40007] [PYTHON][SQL] Adicionar 'modo' às funções
• [FAÍSCA-40008] [SQL] Suporte de fundição de integrais para intervalos ANSI
• [FAÍSCA-40003] [PYTHON][SQL] Adicionar 'mediana' às funções
• [FAÍSCA-39952] [SQL] SaveIntoDataSourceCommand deve rearmazenar em cache a relação de resultados
• [SPARK-39951] [SQL] Update verificação colunar para campos aninhados no Parquet V2
• [SPARK-39775] [CORE][AVRO] Desativar validar values padrão ao analisar esquemas Avro
• [FAÍSCA-33236] [baralhar] Backport para DBR 11.x: habilite o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para preservando a reinicialização do trabalho
• [FAÍSCA-39836] [SQL] Simplifique o V2ExpressionBuilder extraindo o método comum.
• [SPARK-39867] [SQL] limit O Global não deve herdar o OrderPreservingUnaryNode
• [SPARK-39873] [SQL] RemoveOptimizeLimitZero e mesclá-lo em EliminateLimits
• [FAÍSCA-39961] [SQL] DS V2 push-down traduzir Cast se o elenco é seguro
• [FAÍSCA-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a api de entrada de matriz em VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] RemoveAliasHelper ou PredicateHelper desnecessários para algumas regras
• [FAÍSCA-39962] [WARMFIX][ES-393486][PYTHON][SQL] Aplicar projeção quando os atributos de grupo estiverem vazios
• [FAÍSCA-39900] [SQL] Condição parcial ou negada de endereço no pushdown de predicado do formato binário
• [FAÍSCA-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
• [FAÍSCA-39958] [SQL] Adicionar log de aviso quando não for possível carregar o objeto de métrica personalizado
• [SPARK-39936] [SQL] Armazenar schema em propriedades para o Spark Views
• [SPARK-39932] [SQL] WindowExec deve limpar o buffer final de partition
• [SPARK-37194] [SQL] Evitar a ordenação desnecessária na gravação v1 se não for dinâmica partition
• [FAÍSCA-39902] [SQL] Adicionar detalhes do Scan ao nó de verificação do plano de faísca no SparkUI
• [SPARK-39865] [SQL] Mostrar mensagens de erro adequadas sobre os erros de transbordo de tableinsert
• [SPARK-39940] [SS] Refreshcatalogtable na consulta de streaming com o coletor DSv1
• [FAÍSCA-39827] [SQL] Use a classe ARITHMETIC_OVERFLOW de erro no estouro int em add_months()
• [FAÍSCA-39914] [SQL] Adicionar Filtro DS V2 à conversão de Filtro V1
• [FAÍSCA-39857] [SQL] Backport manual DBR 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue errado para No predicado #43454
• [FAÍSCA-39840] [SQL][PYTHON] Fator PythonArrowInput como uma simetria para PythonArrowOutput
• [FAÍSCA-39651] [SQL] A condição do filtro Prune se comparada com rand é determinística
• [SPARK-39877] [PYTHON] Adicionar unpivot à API DataFrame do PySpark
• [FAÍSCA-39847] [WARMFIX][SS] Corrija a condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
• [FAÍSCA-39909] [SQL] Organizar a verificação de informações de push down para JDBCV2Suite
• [FAÍSCA-39834] [SQL][SS] Inclua as estatísticas de origem e restrições para LogicalRDD se ele vier de DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) preenche novos columns ausentes com valor nulo
• [FAÍSCA-39860] [SQL] Mais expressões devem estender Predicado
• [FAÍSCA-39823] [SQL][PYTHON] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
• [FAÍSCA-39918] [SQL][MENOR] Substitua a expressão "não comparável" por "incomparável" na mensagem de erro
• [FAÍSCA-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In
• [SPARK-39862] [SQL] Manual backport para PR 43654 visando DBR 11.x: Update SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir /denyALTER TABLE ... Adicione comandos COLUMN separadamente.
• [FAÍSCA-39844] [SQL] Backport manual para PR 43652 visando DBR 11.x
• [SPARK-39899] [SQL] Corrigir passagem de mensagem parameters para InvalidUDFClassException
• [FAÍSCA-39890] [SQL] Fazer TakeOrderedAndProjectExec herdar AliasAwareOutputOrdering
• [FAÍSCA-39809] [PYTHON] Suporte CharType no PySpark
• [SPARK-38864] [SQL] Adicionar unpivot / melt ao conjunto de dados
• [FAÍSCA-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
• [FAÍSCA-39808] [SQL] Suporta o modo de função agregada
• [FAÍSCA-39839] [SQL] Lidar com maiúsculas e minúsculas de comprimento variável nulo Decimal com deslocamento diferente de zeroAndSize na verificação de integridade estrutural UnsafeRow
• [FAÍSCA-39875] [SQL] Alterar protected o método na classe final para private ou package-visible
• [FAÍSCA-39731] [SQL] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
• [FAÍSCA-39805] [SS] Deprecate Trigger.Once e Promote Trigger.AvailableNow
• [SPARK-39784] [SQL] Coloque values literal no lado direito do filtro da fonte de dados depois de traduzir o Catalyst Expression para o filtro da fonte de dados
• [FAÍSCA-39672] [SQL][3.1] Corrigir a remoção do projeto antes do filtro com a subconsulta correlacionada
• [FAÍSCA-39552] [SQL] Unificar v1 e v2 DESCRIBE TABLE
• [SPARK-39806] [SQL] Acessar _metadata em table particionados pode travar uma consulta
• [SPARK-39810] [SQL] Catalog.tableExists deve manipular namespace aninhado
• [SPARK-37287] [SQL] Extraia partition dinâmico e classifique o bucket de FileFormatWriter
• [SPARK-39469] [SQL] Inferir tipo de data para inferência em CSV schema
• [SPARK-39148] [SQL] DS V2 aggregate push down pode funcionar com OFFSET ou LIMIT
• [SPARK-39818] [SQL] Corrigir bug em tipos ARRAY, STRUCT, MAP com values PADRÃO com campo(s) NULL
• [FAÍSCA-39792] [SQL] Adicionar DecimalDivideWithOverflowCheck para média decimal
• [FAÍSCA-39798] [SQL] Replcace toSeq.toArray com .toArray[Any] no construtor de GenericArrayData
• [FAÍSCA-39759] [SQL] Implementar listIndexes em JDBC (dialeto H2)
• [FAÍSCA-39385] [SQL] Suporta push down REGR_AVGX e REGR_AVGY
• [FAÍSCA-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
• [FAÍSCA-39760] [PYTHON] Suporte Varchar no PySpark
• [SPARK-39557] [SQL] retroporte manual para DBR 11.x: suportar tipos ARRAY, STRUCT, MAP como DEFAULT values
• [FAÍSCA-39758] [SQL][3.3] Corrigir NPE das funções regexp em padrões inválidos
• [FAÍSCA-39749] [SQL] Modo ANSI SQL: Use a representação de cadeia de caracteres simples na conversão de decimal para string
• [FAÍSCA-39704] [SQL] Implementar createIndex & dropIndex & indexExists em JDBC (dialeto H2)
• [FAÍSCA-39803] [SQL] Utilizar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
• [FAÍSCA-39339] [SQL] Suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [FAÍSCA-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de armazenamento de estado rocksdb
• [FAÍSCA-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte ao SparkR
• [FAÍSCA-39751] [SQL] Renomear métrica de testes de chave de agregação de hash
• [FAÍSCA-39772] [SQL] namespace deve ser null quando o banco de dados é nulo nos construtores antigos
• [FAÍSCA-39625] [FAÍSCA-38904][SQL] Adicionar Dataset.as(StructType)
• [FAÍSCA-39384] [SQL] Compilar funções de agregação de regressão linear integradas para o dialeto JDBC
• [FAÍSCA-39720] [R] Implementar tableExists/getTable no namespace SparkR for 3L
• [FAÍSCA-39744] [SQL] Adicionar a REGEXP_INSTR função
• [FAÍSCA-39716] [R] Faça com que currentDatabase/setCurrentDatabase/listCatalogs no SparkR suporte 3L namespace
• [FAÍSCA-39788] [SQL] Renomear catalogName para dialectName for JdbcUtils
• [FAÍSCA-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
• [SPARK-39754] [CORE][SQL] Removeimport não utilizados ou {} desnecessários
• [SPARK-39706] [SQL] Set falta column com valor padrão definido como constante em ParquetColumnVector
• [FAÍSCA-39699] [SQL] Tornar o CollapseProject mais inteligente sobre expressões de criação de coleção
• [FAÍSCA-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC deve suportar filtro agregado
• [FAÍSCA-39579] [SQL][PYTHON][R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
• [FAÍSCA-39627] [SQL] O pushdown JDBC V2 deve unificar a API de compilação
• [FAÍSCA-39748] [SQL][SS] Inclua o plano lógico de origem para LogicalRDD se ele vier de DataFrame
• [FAÍSCA-39385] [SQL] Definição da palavra linear regression aggregate functions for pushdown
• [FAÍSCA-39695] [SQL] Adicionar a REGEXP_SUBSTR função
• [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para criar e transmitir o table
• [FAÍSCA-39666] [ES-337834][SQL] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
• [SPARK-39643] [SQL] Proibir expressões de subconsulta no values PADRÃO
• [FAÍSCA-38647] [SQL] Adicionar SupportsReportOrdering mix na interface para Scan (DataSourceV2)
• [SPARK-39497] [SQL] Melhorar a exceção de análise da chave de mapa ausente column
• [FAÍSCA-39661] [SQL] Evite criar SLF4J Logger desnecessário
• [FAÍSCA-39713] [SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para erro INVALID_ARRAY_INDEX
• [FAÍSCA-38899] [SQL]O DS V2 suporta funções push down datetime
• [SPARK-39638] [SQL] Alterar para usar ConstantColumnVector para armazenar partitioncolumns no OrcColumnarBatchReader
• [FAÍSCA-39653] [SQL] Limpar de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils
• [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar partitioncolumns no VectorizedParquetRecordReader
• [FAÍSCA-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
• [FAÍSCA-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
• [FAÍSCA-39492] [SQL] Retrabalho MISSING_COLUMN
• [FAÍSCA-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordem de saída filho
• [FAÍSCA-39606] [SQL] Usar estatísticas filho para estimar o operador de ordem
• [FAÍSCA-39611] [PYTHON][PS] Corrigir aliases errados no array_ufunc
• [FAÍSCA-39656] [SQL][3.3] Corrigir namespace errado em DescribeNamespaceExec
• [FAÍSCA-39675] [SQL] Alternar a configuração 'spark.sql.codegen.factoryMode' da finalidade de teste para a finalidade interna
• [FAÍSCA-39139] [SQL] DS V2 suporta push down DS V2 UDF
• [FAÍSCA-39434] [SQL] Fornecer contexto de consulta de erro de tempo de execução quando o índice de matriz estiver fora dos limites
• [FAÍSCA-39479] [SQL] DS V2 suporta funções matemáticas push down (não ANSI)
• [FAÍSCA-39618] [SQL] Adicionar a REGEXP_COUNT função
• [FAÍSCA-39553] [CORE] O shuffle de cancelamento de registro multithread não deve lançar NPE ao usar o Scala 2.13
• [FAÍSCA-38755] [PYTHON][3.3] Adicionar ficheiro para resolver funções gerais de pandas em falta
• [SPARK-39444] [SQL] Adicionar OptimizeSubqueries em list nonExcludableRules
• [FAÍSCA-39316] [SQL] Mesclar PromotePrecision e CheckOverflow em aritmética binária decimal
• [FAÍSCA-39505] [UI] Conteúdo do log de escape renderizado na interface do usuário
• [SPARK-39448] [SQL] Adicionar ReplaceCTERefWithRepartition ao nonExcludableRuleslist
• [FAÍSCA-37961] [SQL] Substituir maxRows/maxRowsPerPartition para alguns operadores lógicos
• [FAÍSCA-35223] Reverter Adicionar ProblemaNavegaçãoLink
• [FAÍSCA-39633] [SQL] Suporte a carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
• [SPARK-38796] [SQL] Update documentação sobre cadeias de formato numérico com as funções {try_}to_number
• [SPARK-39650] [SS] Corrigir valor incorreto schema na desduplicação de streaming com retrocompatibilidade
• [FAÍSCA-39636] [CORE][UI] Corrija vários bugs no JsonProtocol, afetando o heap StorageLevels e o Task/Executor ResourceRequests
• [FAÍSCA-39432] [SQL] Retorno ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
• [FAÍSCA-39349] Adicionar um método CheckError centralizado para QA do caminho de erro
• [FAÍSCA-39453] [SQL] DS V2 suporta push down misc funções não-agregadas (não ANSI)
• [SPARK-38978] [SQL] DS V2 suporta a otimização do operador OFFSET
• [FAÍSCA-39567] [SQL] Suporte a intervalos ANSI nas funções de percentil
• [SPARK-39383] Suporte [SQL] columns PADRÃO em fontes de dados ALTER TABLE ALTER COLUMNS para V2
• [SPARK-39396] [SQL] Corrigir exceção de login LDAP "código de erro 49 - credentialsinválido"
• [SPARK-39548] comando [SQL] CreateView com uma consulta de cláusula window encontrou um problema incorreto window definição não encontrada
• [SPARK-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get em Avr...
• [FAÍSCA-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se fallback para v1
• [SPARK-39564] [SS] Expor as informações do catalogtable ao plano lógico na consulta de streaming
• [FAÍSCA-39582] [SQL] Corrigir marcador "Desde" para array_agg
• [FAÍSCA-39388] [SQL] Reutilizar orcSchema quando empurrar predicados Orc para baixo
• [SPARK-39511] [SQL] Melhore o push down local limit 1 para o lado direito do semi/anti join esquerdo se join condição estiver vazia
• [SPARK-38614] [SQL] Não empurre limit para baixo através de window que está usando percent_rank
• [FAÍSCA-39551] [SQL] Adicionar verificação de plano inválido do AQE
• [SPARK-39383] Suporte [SQL] columns PADRÃO em ALTER TABLE ADICIONAR COLUMNS a fontes de dados V2
• [FAÍSCA-39538] [SQL] Evite criar SLF4J Logger desnecessário
• [SPARK-39383] [SQL] backport manual para DBR 11.x: refatore o suporte de column DEFAULT para ignorar a passagem do analisador primário
• [FAÍSCA-39397] [SQL] Relaxe AliasAwareOutputExpression para suportar alias com expressão
• [FAÍSCA-39496] [SQL] Manipular struct null em Inline.eval
• [FAÍSCA-39545] [SQL] Método de substituição concat para ExpressionSet no Scala 2.13 para melhorar o desempenho
• [SPARK-39340] [SQL] DS v2 agg pushdown deve permitir pontos no nome de nível superior para columns
• [FAÍSCA-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
• [FAÍSCA-38846] [SQL] Adicionar mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
• [FAÍSCA-39520] [SQL] Método de substituição -- para ExpressionSet no Scala 2.13
• [FAÍSCA-39470] [SQL] Suporte a conversão de intervalos ANSI para decimais
• [SPARK-39477] [SQL] Remove informações "Número de consultas" dos arquivos dourados do SQLQueryTestSuite
• [FAÍSCA-39419] [SQL] Corrija ArraySort para lançar uma exceção quando o comparador retornar null
• [SPARK-39061] [SQL] Set anulável corretamente para Inline atributos de saída
• [FAÍSCA-39320] [SQL] Função de agregação de suporte MEDIAN
• [FAÍSCA-39261] [CORE] Melhorar a formatação de novas linhas para mensagens de erro
• [SPARK-39355] [SQL] Uso column único entre aspas para construir UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigir propriedades
• [FAÍSCA-37623] [SQL] Suporte ANSI Aggregate Função: regr_intercept
• [SPARK-39374] [SQL] Melhorar mensagem de erro para columnlist especificado pelo usuário
• [FAÍSCA-39255] [SQL][3.3] Melhorar as mensagens de erro
• [FAÍSCA-39321] [SQL] Refatore TryCast para usar RuntimeReplaceable
• [FAÍSCA-39406] [PYTHON] Aceitar matriz NumPy em createDataFrame
• [FAÍSCA-39267] [SQL] Limpar símbolo dsl desnecessário
• [FAÍSCA-39171] [SQL] Unificar a expressão Cast
• [SPARK-28330] [SQL] Suporte ANSI SQL: cláusula de resultado offset na expressão de consulta
• [SPARK-39203] [SQL] Reescreva table localização para URI absoluto com base no URI do banco de dados
• [FAÍSCA-39313] [SQL] toCatalystOrdering deve falhar se V2Expression não puder ser traduzido
• [FAÍSCA-39301] [SQL][PYTHON] Aproveite LocalRelation e respeite o tamanho do lote de seta em createDataFrame com otimização de seta
• [SPARK-39400] [SQL] spark-sql deveria remove diretório de recursos do hive em todos os casos

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 11.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.5
• R: 4.1.3
• Lago Delta: 1.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2022-08-15.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)