Databricks Runtime 15.4 LTS

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 15.4 LTS, da plataforma Apache Spark 3.5.0.

A Databricks lançou essa versão em agosto de 2024.

Alterações comportamentais

• Usar uma VARIANT como o tipo de entrada ou saída com uma UDF, UDAF ou UDTF do Python gera uma exceção
• Alterar para o modo de associação de esquema padrão para exibições
• Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões boolianas externas
• Não permitir sintaxe de definição de coluna não documentada em exibições
• Tratamento consistente de erros para decodificação Base64 no Spark e no Photon
• A adição de uma restrição CHECK em uma coluna inválida agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION

Usar uma VARIANT como o tipo de entrada ou saída com uma UDF, UDAF ou UDTF do Python gera uma exceção

[Alteração interruptiva] No Databricks Runtime 15.3 e superior, chamar qualquer função definida pelo usuário (UDF) do Python, função agregada definida pelo usuário (UDAF) ou função de tabela definida pelo usuário (UDTF) que usa um tipo VARIANT como argumento ou valor de retorno gera uma exceção. Essa alteração é feita para evitar problemas que possam ocorrer devido a um valor inválido retornado por uma dessas funções. Para saber mais sobre o tipo VARIANT, consulte usar VARIANTs para armazenar dados semiestruturados.

Alterar para o modo de associação de esquema padrão para exibições

As exibições agora se adaptam às alterações de esquema na consulta subjacente usando a compensação de esquema com regras de conversão regulares. Essa é uma alteração do padrão anterior do modo BINDING, que gerou erros quando uma conversão segura não pôde ser executada ao referenciar o modo de exibição.

Consulte CREATE VIEW e função cast.

Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões boolianas externas

Com esta versão, o uso de ! como sinônimo para NOT fora de expressões boolianas não é mais permitido. Por exemplo, instruções como a seguinte: CREATE ... IF ! EXISTS, IS ! NULL, uma propriedade de campo ou coluna ! NULL, ! IN e ! BETWEEN, deve ser substituído por: CREATE ... IF NOT EXISTS, IS NOT NULL, propriedade de campo ou coluna NOT NULL, NOT IN e NOT BETWEEN.

Essa alteração garante consistência, alinha-se com o padrão SQL e torna seu SQL mais portátil.

O operador de prefixo booliano ! (por exemplo, !is_mgr ou !(true AND false)) não é afetado por essa alteração.

Não permitir sintaxe de definição de coluna não documentada em exibições

O Databricks dá suporte a CREATE VIEW com colunas nomeadas e comentários de coluna. Anteriormente, a especificação de tipos de coluna, NOT NULL restrições ou DEFAULT foi permitida. Com esta versão, não é mais possível usar essa sintaxe.

Essa alteração garante a consistência, alinha-se com o padrão SQL e dá suporte a melhorias futuras.

Tratamento consistente de erros para decodificação Base64 no Spark e no Photon

Esta versão altera a forma como o Photon trata os erros de decodificação Base64 para corresponder à forma como o Spark trata esses erros. Antes dessas alterações, o caminho de geração de código do Photon e do Spark às vezes não gerava exceções de análise, enquanto a execução interpretada do Spark gerava corretamente IllegalArgumentException ou ConversionInvalidInputError. Essa atualização garante que o Photon gere consistentemente as mesmas exceções que o Spark durante erros de decodificação Base64, fornecendo um tratamento de erros mais previsível e confiável.

A adição de uma restrição CHECK em uma coluna inválida agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION

Para fornecer mensagens de erro mais úteis, no Databricks Runtime 15.3 e superior, uma instrução ALTER TABLE ADD CONSTRAINT que inclui uma restrição CHECK referenciando um nome de coluna inválido retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, era retornado um INTERNAL_ERROR.

Novos recursos e aprimoramentos

• Funções de validação UTF-8
• to_avro e from_avro funções
• APIs de Conjuntos de Dados tipadas com UDFs do Scala
• Habilitar o Iceberg do UniForm usando ALTER TABLE
• função try_url_decode
• Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não forçadas
• Execuções de trabalho paralelizadas para substituições seletivas
• Desempenho aprimorado para o feed de dados de alteração com substituições seletivas
• Melhoria da latência de consulta para o comando COPY INTO
• Suporte à eliminação do recurso de tabela de verificação de restrições
• A computação de usuário único dá suporte ao controle de acesso refinado, exibições materializadas e tabelas de streaming (Visualização Pública)
• Suporte ampliado para bibliotecas Java e Scala
• Suporte ampliado para operações de conjunto de dados Scala
• O Scala está em GA na computação compartilhada do Catálogo do Unity
• Acesso controlado pelo Catálogo do Unity a serviços de nuvem externos usando credenciais de serviço (Visualização Pública)

Funções de validação UTF-8

Esta versão apresenta as seguintes funções para validar strings UTF-8:

• is_valid_utf8 verificou se uma cadeia de caracteres é uma UTF-8 válida.
• make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição
• validate_utf8 gerará um erro se a entrada não for uma string UTF-8 válida.
• try_validate_utf8 retornará NULL se a entrada não for uma string UTF-8 válida.

to_avro e from_avro funções

As funções to_avro e from_avro permitem a conversão de tipos SQL em dados binários Avro e vice-versa.

APIs de Conjuntos de Dados Tipada com UDFs do Scala

Esta versão inclui suporte adicional para APIs de conjunto de dados tipadas com funções definidas pelo usuário do Scala (excluindo funções de agregação definidas pelo usuário) em computação habilitada para Catálogo do Unity com modo de acesso compartilhado. Consulte APIs de Conjuntos de Dados Tipadas.

Habilitar o Iceberg do UniForm usando ALTER TABLE

Agora você pode habilitar o Iceberg do UniForm em tabelas existentes sem reescrever arquivos de dados. Consulte Habilitar alterando uma tabela existente.

Função try_url_decode

Esta versão apresenta a função try_url_decode, que decodifica uma cadeia de caracteres codificada em URL. Se a cadeia de caracteres não estiver no formato correto, a função retornará NULL em vez de gerar um erro.

Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não forçadas

Para melhorar o desempenho da consulta, agora você poderá especificar a palavra-chave RELY em restrições FOREIGN KEY ao usar CREATE ou ALTER em uma tabela.

Execuções de trabalho paralelizadas para substituições seletivas

Substituições seletivas usando replaceWhere trabalhos agora executados que excluem dados e inserem novos dados em paralelo, melhorando o desempenho da consulta e a utilização do cluster.

Desempenho aprimorado para o feed de dados de alteração com substituições seletivas

Substituições seletivas usando replaceWhere em tabelas com feed de dados de alteração já não gravam mais arquivos de dados de alteração separados para dados inseridos. Essas operações usam uma coluna oculta _change_type presente nos arquivos de dados Parquet subjacentes para registrar alterações sem amplificação de gravação.

Latência de consulta aprimorada para o comando COPY INTO

Esta versão inclui uma alteração que melhora a latência de consulta para o comando COPY INTO. Essa melhoria é implementada ao tornarmos o carregamento de estado pelo repositório de estado do RocksDB assíncrono. Com essa alteração, você deverá visualizar uma melhoria nos tempos de início para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.

Suporte para eliminar o recurso de tabela de restrições de verificação

Agora você pode remover o recurso de tabela checkConstraints de uma tabela Delta usando ALTER TABLE table_name DROP FEATURE checkConstraints. Consulte Desabilitar restrições de verificação.

A computação de usuário único dá suporte ao controle de acesso refinado, exibições materializadas e tabelas de streaming (Visualização Pública)

Quando um workspace é habilitado para computação sem servidor, o Databricks Runtime 15.4 LTS adiciona suporte para controle de acesso refinado na computação de usuário único. Quando uma consulta acessa qualquer um dos seguintes objetos, o recurso de computação de usuário único no Databricks Runtime 15.4 LTS passa a consulta para a computação sem servidor para executar a filtragem de dados:

• Exibições definidas sobre tabelas nas quais o usuário não tem o privilégio SELECT.
• Visualizações dinâmicas.
• Tabelas com filtros de linha ou máscaras de coluna aplicadas.
• Exibições materializadas e tabelas de streaming.

Não há suporte para essas consultas na computação de usuário único que executa o Databricks Runtime 15.3 e inferior.

Para obter mais informações, consulte Controle de acesso refinado na computação de usuário único.

Suporte ampliado para bibliotecas Java e Scala

A partir do Databricks Runtime 15.4 LTS, todas as bibliotecas Java e Scala incluídas no Databricks Runtime estão disponíveis em todos os modos de acesso à computação quando você usa o Catálogo do Unity. Para saber mais sobre o suporte à linguagem na computação habilitada para o Catálogo do Unity, consulte Limitações do modo de acesso à computação para o Catálogo do Unity.

Suporte ampliado para operações de conjunto de dados Scala

Com esta versão, os recursos de computação habilitados para Catálogo do Unity que usam o modo de acesso compartilhado dão suporte às seguintes operações Dataset de Scala: map, mapPartitions, foreachPartition, flatMap, reduce e filter.

O Scala está em GA na computação compartilhada do Catálogo do Unity

Com esta versão, o Scala está geralmente disponível no modo de acesso compartilhado com o Catálogo do Unity habilitado para computação, incluindo suporte para Funções escalares definidas pelo usuário (UDFs). Não há suporte para funções de agregação definidas pelo usuário, UDFs do Hive e Streaming Estruturado. Para ver uma lista completa das limitações, confira Limitações do modo de acesso de computação do Catálogo do Unity.

Acesso controlado pelo Catálogo do Unity a serviços de nuvem externos usando credenciais de serviço (Visualização Pública)

As credenciais de serviço permitem a autenticação simples e segura com os serviços do locatário de nuvem usando as MI (identidades gerenciadas) do Azure e o Catálogo do Unity. Consulte Gerenciar o acesso a serviços de nuvem externos usando credenciais de serviço.

Correções de bug

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • azure-core de 1.30.1 para 1.30.2
  • google-auth de 2.29.0 para 2.31.0
  • google-cloud-storage de 2.16.0 para 2.17.0
  • google-resumable-media de 2.7.0 para 2.7.1
  • googleapis-common-protos de 1.63.0 para 1.63.2
  • mlflow-skinny de 2.11.3 para 2.11.4
  • proto-plus de 1.23.0 para 1.24.0
  • s3transfer de 0.10.1 para 0.10.2
• Atualização das bibliotecas do R:
• Bibliotecas do Java atualizadas:
  • com.databricks.databricks-sdk-java de 0.17.1 para 0.27.0
  • com.ibm.icu.icu4j de 72.1 para 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.2-linux-x86_64

Apache Spark

O Databricks Runtime 15.4 LTS inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.3, além das seguintes correções de erros e melhorias adicionais feitas no Spark:

• [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Permitir o agrupamento de expressões em subconsultas escalares, se elas estiverem vinculadas às linhas externas
• [SPARK-48834] [BEHAVE-79][SC-170972][SQL] Desabilitar a entrada/saída de variantes para UDFs, UDTFs e UDAFs escalares em python durante a compilação de consultas
• [SPARK-48441] [SC-170980][SQL][WARMFIX] Corrigir o comportamento StringTrim para agrupamentos não UTF8_BINARY
• [SPARK-48440] [SC-170895][SQL][WARMFIX] Corrigir o comportamento StringTranslate para agrupamentos não-UTF8_BINARY
• [SPARK-48872] [SC-170866][PYTHON] Reduzir a sobrecarga de _capture_call_site
• [SPARK-48862] [SC-170845][PYTHON][CONNECT] Evitar chamar _proto_to_string quando o nível INFO não estiver habilitado
• [SPARK-48852] [SC-170837][CONNECT] Corrigir a função de cortar cadeia de caracteres no conectar
• [SPARK-48791] [SC-170658][CORE] Corrigir a regressão de desempenho causada pela sobrecarga de registro de acumuladores usando CopyOnWriteArrayList
• [SPARK-48118] [SQL] Suporte à variável env SPARK_SQL_LEGACY_CREATE_HIVE_TABLE
• [SPARK-48241] [SC-165811][SQL] Falha na análise de CSV com colunas do tipo char/varchar
• [SPARK-48168] [SC-166900][SQL] Adicionar suporte a operadores de deslocamento bit a bit
• [SPARK-48148] [SC-165630][CORE] Objetos JSON não devem ser modificados quando lidos como CADEIA DE CARACTERES
• [SPARK-46625] [SC-170561] CTE com a cláusula Identificador como referência
• [SPARK-48771] [SC-170546][SQL] Acelerar LogicalPlanIntegrity.validateExprIdUniqueness para planos de consulta grandes
• [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] Tornar o nome da coluna padrão de cast compatível com o Spark Clássico
• [SPARK-48623] [SC-170544][CORE] Migrações de registro em log estruturado [Parte 2]
• [SPARK-48296] [SC-166138][SQL] Suporte do Codegen para to_xml
• [SPARK-48027] [SC-165154][SQL] O filtro InjectRuntimeFilter para junção multinível deve verificar o tipo de junção filho
• [SPARK-48686] [SC-170365][SQL] Melhorar o desempenho do ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][PYTHON] Introduzir spark.profile.render para criação de perfis com base em SparkSession
• [SPARK-48048] [SC-169099] Reverter “[SC-164846][CONNECT][SS] Adicionado suporte ao ouvinte no lado do cliente para Scala”
• [SPARK-47910] [SC-168929][CORE] Fechar o fluxo quando DiskBlockObjectWriter closeResources para evitar vazamento de memória
• [SPARK-48816] [SC-170547][SQL] Abreviação para conversores de intervalo no UnivocityParser
• [SPARK-48589] [SC-170132][SQL][SS] Adicionar a opção snapshotStartBatchId e snapshotPartitionId à fonte de dados de estado
• [SPARK-48280] [SC-170293][SQL] Melhorar a área de superfície de teste de agrupamento usando expressão Walking
• [SPARK-48837] [SC-170540][ML] No CountVectorizer, leia o parâmetro binário apenas uma vez por transformação, não uma vez por linha
• [SPARK-48803] [SC-170541][SQL] Gerar um erro interno em Orc(De)serializer para alinhar com ParquetWriteSupport
• [SPARK-48764] [SC-170129][PYTHON] Filtragem de quadros relacionados ao IPython da pilha do usuário
• [SPARK-48818] [SC-170414][PYTHON] Simplificar funções percentile
• [SPARK-48479] [SC-169079][SQL] Suporte à criação de UDFs SQL escalares e de tabela no analisador
• [SPARK-48697] [SC-170122][LC-4703][SQL] Adicionar filtros de cadeias de caracteres com reconhecimento de agrupamento
• [SPARK-48800] [SC-170409][CONNECT][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][SQL] Corrigir desde a versão para o alias de função embutido random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
• [SPARK-48638] [SC-169575][CONNECT] Adicionar suporte a ExecutionInfo para DataFrame
• [SPARK-48064] [SC-164697][SQL] Atualizar mensagens de erro para classes de erro relacionadas à rotina
• [SPARK-48810] [CONNECT] A API Session stop() deve ser idempotente e não falhar se a sessão já tiver sido fechada pelo servidor
• [SPARK-48650] [15.x][PYTHON] Exibir o local de chamada correto do Notebook IPython
• [SPARK-48271] [SC-166076][SQL] Transformar o erro de correspondência no RowEncoder em UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][SQL] Corrigir a incompatibilidade de resolução de tipo varchar para DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][SQL] Corrigir regressão para INSERT com uma lista parcial de colunas em uma tabela com char/varchar
• [SPARK-48767] [SC-170330][SQL] Corrigir alguns avisos de erro quando os dados do tipo variant são inválidos
• [SPARK-48719] [SC-170339][SQL] Corrigir o erro de cálculo de RegrSlope e RegrIntercept quando o primeiro parâmetro for nulo
• [SPARK-48815] [SC-170334][CONNECT] Atualizar o ambiente ao interromper a sessão de conexão
• [SPARK-48646] [SC-169020][PYTHON] Refinar a documentação e as dicas de tipo da API da fonte de dados Python
• [SPARK-48806] [SC-170310][SQL] Passar exceção real quando url_decode falhar
• [SPARK-47777] [SC-168818] Corrigir o teste de conexão da fonte de dados de streaming do Python
• [SPARK-48732] [SC-169793][SQL] Limpeza do uso de APIs preteridas relacionadas a JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL] Corrigir a tabela de cache com coluna agrupada
• [SPARK-48623] [SC-169034][CORE] Migrações de Registro em log Estruturado
• [SPARK-48655] [SC-169542][SQL] SPJ: Adicionar testes para ignorar a ordem aleatória de consultas agregadas
• [SPARK-48586] [SC-169808][SS] Remover a aquisição de bloqueio em doMaintenance() fazendo uma cópia profunda dos mapeamentos de arquivos no RocksDBFileManager em load()
• [SPARK-48799] [Backport][15.x][SC-170283][SS] Refatorar o controle de versão para leitura/gravação de metadados do operador e chamadores
• [SPARK-48808] [SC-170309][SQL] Corrigir NPE ao conectar o thriftserver por meio do Hive 1.2.1 e o esquema de resultados estiver vazio
• [SPARK-48715] [SC-170291][SQL] Integrar a validação UTF8String em implementações de função de cadeia de caracteres com reconhecimento de agrupamento
• [SPARK-48747] [SC-170120][SQL] Adicionar iterador de ponto de código a UTF8String
• [SPARK-48748] [SC-170115][SQL] Armazenar em cache numChars em UTF8String
• [SPARK-48744] [SC-169817][Core] A entrada de registro deve ser construída apenas uma vez
• [SPARK-46122] [SC-164313][SQL] Definir spark.sql.legacy.createHiveTableByDefault como false por padrão
• [SPARK-48765] [SC-170119][DEPLOY] Aprimorar a avaliação do valor padrão para SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][SQL] Adicionar documento de migração para a alterações de comportamento CREATE TABLE AS SELECT desde o Spark 3.4
• [SPARK-48598] [SC-169484][PYTHON][CONNECT] Propagar o esquema em cache em operações de dataframe
• [SPARK-48766] [SC-170126][PYTHON] Documentar a diferença de comportamento de extraction entre element_at e try_element_at
• [SPARK-48768] [SC-170124][PYTHON][CONNECT] Não deve armazenar em cache explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS] Alterar para leitura dos metadados do operador uma vez no driver para verificar se podemos encontrar informações para numColsPrefixKey usado para consultas de agregação de janela de sessão
• [SPARK-48656] [SC-169529][CORE] Fazer uma verificação de comprimento e gerar o erro COLLECTION_SIZE_LIMIT_EXCEEDED em CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
• [SPARK-48472] [SC-169044][SQL] Habilitar expressões Reflect com cadeias de caracteres agrupadas
• [SPARK-48699] [SC-169597][SQL] Refinar a API de Agrupamento
• [SPARK-48682] [SC-169812][SQL][BEHAVE-58] Usar ICU na expressão InitCap para cadeias de caracteres UTF8_BINARY
• [SPARK-48282] [SC-169813][SQL] Alterar a lógica de pesquisa de cadeia de caracteres para o agrupamento UTF8_BINARY_LCASE (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][SQL] Habilitar o suporte de agrupamento para a expressão Mode
• [SPARK-48320] [SPARK-48490] Sincronizar a característica de registro em log e os casos de teste mais recentes do OSS Spark
• [SPARK-48629] [SC-169479] Migrar o código residual para a estrutura de registros estruturada
• [SPARK-48681] [SC-169469][SQL][BEHAVE-58] Usar ICU em expressões Lower/Upper para cadeias de caracteres UTF8_BINARY
• [SPARK-48573] [15.x][SC-169582][SQL] Atualizar a versão do ICU
• [SPARK-48687] [Backport][15.x][SS] Adicionar alteração para executar validação do esquema de estado e atualização no driver para consultas com estado
• [SPARK-47579] [15.x][SC-167310][CORE][PART4] Migrar logInfo com variáveis para a estrutura de registros estruturada
• [SPARK-48008] [SC-167363][1/2] Suporte a UDAFs no Spark Connect
• [SPARK-48578] [SC-169505][SQL] Adicionar funções relacionadas à validação de cadeias de caracteres UTF8
• [SPARK-48670] [SC-169598][SQL] Fornecendo sugestão como parte da mensagem de erro quando for fornecido um nome de agrupamento inválido
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA… ...RK-48291] Estrutura de registro em log estruturado no lado java
• [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: Migrar logWarn com variáveis para a estrutura de registros estruturada
• [SPARK-48706] [SC-169589][PYTHON] O UDF do Python em funções de ordem superior não deve gerar erro interno
• [SPARK-48498] [BEHAVE-38][SC-168060][SQL] Sempre fazer preenchimento de caracteres em predicados
• [SPARK-48662] [SC-169533][SQL] Corrigir a expressão StructsToXml com agrupamentos
• [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates e dropDuplicatesWIthinWatermark devem aceitar argumentos de comprimento variável
• [SPARK-48678] [SC-169463][CORE] Otimizações de desempenho para SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] Renomear UTF8_BINARY_LCASE para UTF8_LCASE
• [SPARK-47927] [SC-164123][SQL]: Corrigir o atributo de nulidade no decodificador UDF
• [SPARK-47579] [SC-165297][CORE][PART1] Migrar logInfo com variáveis para a estrutura de registros estruturada (novo)
• [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal não usar os métodos preteridos
• [SPARK-48431] [SC-167290][LC-4066][SQL] Não encaminhar predicados em colunas agrupadas para leitores de arquivos
• [SPARK-47579] Reverter "[SC-165297][CORE][PART1] Migrar logInfo com variáveis para a estrutura de registros estruturada"
• [SPARK-47585] [SC-164306][SQL] SQL core: Migrar logInfo com variáveis para a estrutura de registro estruturada
• [SPARK-48466] [SC-169042][SQL] Criar nó dedicado para EmptyRelation no AQE
• [SPARK-47579] [SC-165297][CORE][PART1] Migrar logInfo com variáveis para a estrutura de registros estruturada
• [SPARK-48410] [SC-168320][SQL] Corrigir a expressão InitCap para agrupamentos UTF8_BINARY_LCASE e ICU
• [SPARK-48318] [SC-167709][SQL] Habilitar o suporte a junção de hash para todos os agrupamento (tipos complexos)
• [SPARK-48435] [SC-168128][SQL] O agrupamento UNICODE não deve dá suporte à igualdade binária
• [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Suporte ao uso de colunas como parâmetros para várias funções em pyspark/scala
• [SPARK-48591] [SC-169081][PYTHON] Adicionar uma função auxiliar para simplificar Column.py
• [SPARK-48574] [SC-169043][SQL] Corrigir o suporte para StructTypes com agrupamentos
• [SPARK-48305] [SC-166390][SQL] Adicionar suporte a agrupamentos para expressões CurrentLike
• [SPARK-48342] [SC-168941][SQL] Introdução ao Analisador de Scripts SQL
• [SPARK-48649] [SC-169024][SQL] Adicionar as configurações "ignoreInvalidPartitionPaths" e "spark.sql.files.ignoreInvalidPartitionPaths" para permitir ignorar caminhos de partição inválidos
• [SPARK-48000] [SC-167194][SQL] Habilitar o suporte a junção de hash para todos os agrupamentos (StringType)
• [SPARK-48459] [SC-168947][CONNECT][PYTHON] Implementar DataFrameQueryContext no Spark Connect
• [SPARK-48602] [SC-168692][SQL] Fazer com que o gerador de CSV dê suporte a diferentes estilos de saída com spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][SQL] Modificar a comparação de cadeia de caracteres para UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][SQL] refatoração: use idMap auxiliar em vez de OP_ID_TAG
• [SPARK-48634] [SC-169021][PYTHON][CONNECT] Evitar inicializar estaticamente o threadpool no ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][SQL] Introduz um BinaryFormatter universal para tornar a saída binária consistente
• [SPARK-48642] [SC-168889][CORE] Falso SparkOutOfMemoryError causado por eliminar a tarefa durante a transferência de dados para o disco
• [SPARK-48572] [SC-168844][SQL] Corrigir expressões DateSub, DateAdd, WindowTime, TimeWindow e SessionWindow
• [SPARK-48600] [SC-168841][SQL] Corrigir a conversão implícita das expressões FrameLessOffsetWindowFunction
• [SPARK-48644] [SC-168933][SQL] Fazer uma verificação de comprimento e gerar o erro COLLECTION_SIZE_LIMIT_EXCEEDED em Hex.hex
• [SPARK-48587] [SC-168824][VARIANT] Evite a amplificação do armazenamento ao acessar uma sub-variante
• [SPARK-48647] [SC-168936][PYTHON][CONNECT] Refine a mensagem de erro para YearMonthIntervalType em df.collect
• [SPARK-48307] [SC-167802][SQL] O InlineCTE deve manter as relações não embutidas no nó WithCTE original
• [SPARK-48596] [SC-168581][SQL] Melhoria no desempenho do cálculo da cadeia de caracteres hexadecimal para longos
• [SPARK-48621] [SC-168726][SQL] Corrigir simplificação de Like no Otimizador para cadeias de caracteres com agrupamento
• [SPARK-47148] [SC-164179][SQL] Evitar a materialização do AQE ExchangeQueryStageExec no cancelamento
• [SPARK-48584] [SC-168579][SQL] Melhoria de desempenho para unescapePathName
• [SPARK-48281] [SC-167260][SQL] Alterar a lógica de pesquisa de cadeia de caracteres para o agrupamento UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][SQL] Substituição de sequência de bytes UTF-8 inválida
• [SPARK-48595] [SC-168580][CORE] Limpeza do uso de APIs preteridas relacionadas a commons-compress
• [SPARK-48030] [SC-164303][SQL] SPJ: armazenar em cache rowOrdering e structType para InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][SQL] Adicionar característica WriteFilesExecBase para gravação v1
• [SPARK-48551] [SC-168438][SQL] Melhoria de desempenho para escapePathName
• [SPARK-48565] [SC-168437][UI] Corrigir exibição de despejo de thread na interface do usuário
• [SPARK-48364] [SC-166782][SQL] Adicionar a conversão do tipo AbstractMapType e corrigir o mapa do parâmetro RaiseError para trabalhar com cadeia de caracteres agrupadas
• [SPARK-48421] [SC-168689][SQL] SPJ: Adicionar documentação
• [SPARK-48604] [SC-168698][SQL] Substituir a chamada de método new ArrowType.Decimal(precision, scale) preterida
• [SPARK-46947] [SC-157561][CORE] Atrasar a inicialização do gerenciador de memória até que o plug-in do driver seja carregado
• [SPARK-48411] [SC-168576][SS][PYTHON] Adicionar o teste E2E para DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][SS] Acompanhar falhas de validação de linha de estado usando classe de erro explícita
• [SPARK-48221] [SC-167143][SQL] Alterar a lógica de pesquisa de cadeia de caracteres para o agrupamento UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][SQL] Adicionar suporte de agrupamento para expressão Levenshtein
• [SPARK-48593] [SC-168719][PYTHON][CONNECT] Corrigir a representação de cadeia de caracteres da função lambda
• [SPARK-48622] [SC-168710][SQL] Obter SQLConf uma vez ao resolver nomes de colunas
• [SPARK-48594] [SC-168685][PYTHON][CONNECT] Renomear o campo parent para child em ColumnAlias
• [SPARK-48403] [SC-168319][SQL] Corrigir expressões Lower e Upper para agrupamentos UTF8_BINARY_LCASE e ICU
• [SPARK-48162] [SC-166062][SQL] Adicionar suporte de agrupamento para expressões MISC
• [SPARK-48518] [SC-167718][CORE] Fazer com que a compactação LZF possa ser executada em paralelo
• [SPARK-48474] [SC-167447][CORE] Corrigir o nome da classe do registro em SparkSubmitArguments e SparkSubmit
• [SPARK-48012] [SC-168267][SQL] SPJ: Suporte a expressões transfrom para One Side Shuffle
• [SPARK-48552] [SC-168212][SQL] a inferência de esquema CSV de várias linhas também deve gerar FAILED_READ_FILE
• [SPARK-48560] [SC-168268][SS][PYTHON] Tornar StreamingQueryListener.spark configurável
• [SPARK-48569] [SC-168321][SS][CONNECT] Tratar casos extremos em query.name
• [SPARK-47260] [SC-167323][SQL] Atribuir nome à classe de erro _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][CONNECT] Propagar esquema em cache em operações de conjunto
• [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation para junção deve verificar se o filho remanescente é apenas BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][CORE] Nomes curtos de codecs de compactação não diferenciam maiúsculas de minúsculas, exceto para o registro em log de eventos
• [SPARK-48447] [SC-167607][SS] Verificar a classe do provedor de armazenamento de estado antes de invocar o construtor
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff e DateTimeUtils.timestampAdd não devem gerar a exceção INTERNAL_ERROR
• [SPARK-48513] [Backport][15.x][SC-168085][SS] Adicionar a classe de erro para compatibilidade com o esquema de estado e pequenas refatorações
• [SPARK-48413] [SC-167669][SQL] ALTER COLUMN com agrupamento
• [SPARK-48561] [SC-168250][PS][CONNECT] Gerar PandasNotImplementedError para funções de plotagem sem suporte
• [SPARK-48465] [SC-167531][SQL] Evitar a propagação de relação vazia sem opção
• [SPARK-48553] [SC-168166][PYTHON][CONNECT] Armazenar em cache mais propriedades
• [SPARK-48540] [SC-168069][CORE] Evitar o carregamento de configurações de saída ivy para stdout
• [SPARK-48535] [SC-168057][SS] Atualizar documentos de configuração para indicar a possibilidade de perda/corrupção de dados se a configuração de ignorar nulos para junções stream-stream estiver habilitada
• [SPARK-48536] [SC-168059][PYTHON][CONNECT] Armazenar em cache o esquema especificado pelo usuário em applyInPandas e applyInArrow
• [SPARK-47873] [SC-163473][SQL] Gravar cadeias de caracteres agrupadas no metastore do Hive usando o tipo de cadeia de caracteres regular
• [SPARK-48461] [SC-167442][SQL] Substituir NullPointerExceptions pela classe de erro na expressão AssertNotNull
• [SPARK-47833] [SC-163191][SQL][CORE] Fornecer o stackstrace do chamador para a AnalysisException checkAndGlobPathIfNecessary
• [SPARK-47898] [SC-163146][SQL] Port HIVE-12270: Adicionar suporte a DBTokenStore ao token de delegação HS2
• [SPARK-47578] [SC-167497][R] Migrar RPackageUtils com variáveis para a estrutura de registros estruturada
• [SPARK-47875] [SC-162935][CORE] Remover spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][CORE] Definir spark.hadoop.fs.s3a.connection.establish.timeout como 30s se estiver ausente
• [SPARK-47972] [SC-167692][SQL] Restringir a expressão CAST para agrupamento
• [SPARK-48430] [SC-167489][SQL] Corrigir a extração do valor do mapa quando o mapa contém cadeia de caracteres agrupadas
• [SPARK-47318] [SC-162712][CORE][3.5] Adiciona rodada HKDF à derivação de chave do AuthEngine para seguir as práticas padrão do KEX
• [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Correção de subconsultas escalares inválidas com agrupar por em colunas não equivalentes que eram incorretamente permitidas
• [SPARK-48508] [SC-167695][CONNECT][PYTHON] Armazenar em cache o esquema especificado pelo usuário em DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS] Corrigir bug no Windows em que a inicialização de várias instâncias do Spark no mesmo segundo causa uma falha
• [SPARK-45891] [SC-167608] Reverter " Descrever o esquema de fragmentação da Grade"
• [SPARK-48391] [SC-167554][CORE]Usar a função addAll em vez Adicionar no método fromAccumulatorInfos da classe TaskMetrics
• [SPARK-48496] [SC-167600][CORE] Usar instâncias de padrão regex estático em JavaUtils.timeStringAs e JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][SQL] Corrigir a mensagem de erro NPE para o CSV com delimitador nulo
• [SPARK-48489] [SC-167598][SQL] gerar um erro melhor, voltado para o usuário, ao ler um esquema ilegal da Fonte de Dados de texto
• [SPARK-48471] [SC-167324][CORE] Melhorar a documentação e o guia de uso do servidor de histórico
• [SPARK-45891] [SC-167597] Descrever o esquema de fragmentação da Grade
• [SPARK-47333] [SC-159043] [SQL] Use checkInputDataTypes para verificar os tipos de parâmetros da função to_xml
• [SPARK-47387] [SC-159310][SQL] Remover algumas classes de erro não utilizadas
• [SPARK-48265] [ES-1131440][SQL] Inferir o limite de lote do grupo de janelas que deve fazer dobragem constante
• [SPARK-47716] [SC-167444][SQL] Evitar conflitos de nome de visualização no caso do teste de classificação semântica do SQLQueryTestSuite
• [SPARK-48159] [SC-167141][SQL] Estender o suporte para cadeias de caracteres agrupadas em expressões datetime
• [SPARK-48462] [SC-167271][SQL][Testes] Usar withSQLConf em testes: Refatorar HiveQuerySuite e HiveTableScanSuite
• [SPARK-48392] [SC-167195][CORE] Também carregar spark-defaults.conf quando fornecido --properties-file
• [SPARK-48468] [SC-167417] Adicionar interface LogicalQueryStage no Catalyst
• [SPARK-47578] [SC-164988][CORE] Backport manual para Spark PR #46309: Migrar logWarning com variáveis para estrutura de registros estruturada
• [SPARK-48415] [SC-167321]Reverter "[PYTHON] Refatorar TypeName para dar suporte a tipos de dados parametrizados"
• [SPARK-46544] [SC-151361][SQL] Suporte a v2 DESCRIBE TABLE EXTENDED com estatísticas de tabela
• [SPARK-48325] [SC-166963][CORE] Sempre especificar mensagens em ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][SQL] Adicionar suporte de agrupamento para locais ICU e especificadores de agrupamento
• [SPARK-47221] [SC-157870][SQL] Usa assinaturas do CsvParser para o AbstractParser
• [SPARK-47246] [SC-158138][SQL] Substituir InternalRow.fromSeq por new GenericInternalRow para salvar uma conversão de coleção
• [SPARK-47597] [SC-163932][STREAMING] Backport manual para o Spark PR #46192: Streaming: Migrar logInfo com variáveis para a estrutura de registros estrutura
• [SPARK-48415] [SC-167130][PYTHON] Refatorar TypeName para dar suporte a tipos de dados parametrizados
• [SPARK-48434] [SC-167132][PYTHON][CONNECT] Fazer printSchema usar o esquema em cache
• [SPARK-48432] [ES-1097114][SQL] Evitar o unboxing de inteiros no UnivocityParser
• [SPARK-47463] [SC-162840][SQL] Use V2Predicate para envolver a expressão com o tipo de retorno booleano
• [SPARK-47781] [SC-162293][SQL] Lidar com decimais de escala negativa para fontes de dados JDBC
• [SPARK-48394] [SC-166966][CORE] Limpar mapIdToMapIndex no cancelamento do registro de mapoutput
• [SPARK-47072] [SC-156933][SQL] Corrigir formatos de intervalos com suporte em mensagens de erro
• [SPARK-47001] [SC-162487][SQL] Verificação de pushdown no otimizador
• [SPARK-48335] [SC-166387][PYTHON][CONNECT] Tornar _parse_datatype_string compatível com o Spark Connect
• [SPARK-48329] [SC-166518][SQL] Habilitar spark.sql.sources.v2.bucketing.pushPartValues.enabled por padrão
• [SPARK-48412] [SC-166898][PYTHON] Refatorar a análise do tipo de dados json
• [SPARK-48215] [SC-166781][SQL] Ampliação do suporte para cadeias de caracteres agrupadas na expressão date_format
• [SPARK-45009] [SC-166873][SQL][FOLLOW UP] Adicionar classe de erro e testes para descorrelação de subconsultas de predicado na condição de junção que referenciam ambos os filhos da junção
• [SPARK-47960] [SC-165295][SS][15.x] Permitir o encadeamento de outros operadores stateful após o operador transformWithState.
• [SPARK-48340] [SC-166468][PYTHON] Suporte a TimestampNTZ inferir erro de esquema prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][SQL] Adicionar suporte a agrupamento para expressões CSV
• [SPARK-48158] [SC-165652][SQL] Adicionar suporte a agrupamento para expressões XML
• [SPARK-48160] [SC-166064][SQL] Adicionar suporte a agrupamento para expressões XPATH
• [SPARK-48229] [SC-165901][SQL] Adicionar suporte a agrupamento para expressões inputFile
• [SPARK-48367] [SC-166487][CONNECT] Corrigir lint-scala para que scalafmt detecte arquivos para formatar corretamente
• [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Refatoração da estrutura do contexto de erro do DataFrame
• [SPARK-48370] [SC-166787][CONNECT] Ponto de verificação e localCheckpoint no cliente Scala Spark Connect
• [SPARK-48247] [SC-166028][PYTHON] Usar todos os valores em um dic ao inferir o esquema MapType
• [SPARK-48395] [SC-166794][PYTHON] Corrigir StructType.treeString para tipos parametrizados
• [SPARK-48393] [SC-166784][PYTHON] Mover um grupo de constantes para pyspark.util
• [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Implementar StructType.treeString
• [SPARK-48258] [SC-166467][PYTHON][CONNECT] Ponto de verificação e localCheckpoint no Spark Connect

Consulte Atualizações de manutenção do Databricks Runtime 15.4 LTS.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)