Databricks Runtime 16.1

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.1, alimentado pelo Apache Spark 3.5.0.

O Databricks lançou esta versão em dezembro de 2024.

Alterações comportamentais

Alteração significativa: o tratamento de expressões regulares do Photon agora é consistente com o Apache Spark

No Databricks Runtime 15.4 e posteriores, o tratamento de expressões regulares no Photon é atualizado para corresponder ao comportamento do tratamento de expressões regulares do Apache Spark. Anteriormente, as funções de expressão regular executadas pelo Photon, como split() e regexp_extract(), aceitavam algumas expressões regulares rejeitadas pelo analisador spark. Para manter a consistência com o Apache Spark, as consultas do Photon agora falharão para expressões regulares que o Spark considera não válidas.

Devido a essa alteração, você poderá ver erros se o código do Spark incluir expressões regulares inválidas. Por exemplo, a expressão split(str_col, '{'), que contém uma chave não correspondente e foi aceita anteriormente pelo Photon, agora falha. Para corrigir essa expressão, você pode escapar o caractere de chave: split(str_col, '\\{').

O comportamento de Photon e Spark também difere para algumas correspondências de expressões regulares de caracteres não ASCII. Isso também é atualizado para que o Photon corresponda ao comportamento do Apache Spark.

O tipo de dados VARIANT não pode mais ser usado com operações que exigem comparações

No Databricks Runtime 16.1 e posteriores, você não pode usar as seguintes cláusulas ou operadores em consultas que incluem um tipo de dados VARIANT:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Além disso, você não pode usar essas funções DataFrame:

• df.dropDuplicates()
• df.repartition()

Essas operações executam comparações e comparações que usam o tipo de dados VARIANT produzem resultados indefinidos e não têm suporte no Databricks. Se você usar o tipo VARIANT em suas cargas de trabalho ou tabelas do Azure Databricks, o Databricks recomendará as seguintes alterações:

• Atualize consultas ou expressões para fazer a conversão explícita de valores VARIANT em tipos de dados nãoVARIANT.
• Se você tiver campos que devem ser usados com qualquer uma das operações acima, extraia esses campos do tipo de dados VARIANT e armazene-os usando tipos de dados nãoVARIANT.

Para saber mais, consulte os Dados variantes da consulta.

Novos recursos e melhorias

• Suporte para ordenações no Apache Spark está na versão prévia pública
• O suporte para ordenações no Delta Lake está em versão prévia pública
• O modo LITE para vácuo está em versão prévia pública
• O suporte para parametrizar a cláusula USE CATALOG with IDENTIFIER
• COMMENT ONCOLUMN suporte para tabelas e exibições
• novas funções SQL
• Invocação de parâmetro nomeado para mais funções
• O parâmetro SYNC METADATA para o comando REPAIR TABLE é compatível com o metastore do Hive
• Integridade aprimorada dos dados para batches compactados do Apache Arrow
• Suporte adicionado para métodos Scala no modo de computação de acesso compartilhado do Catálogo Unity
• Driver JDBC do Teradata embutido
• suporte do StreamingQueryListener para Scala
• Driver JDBC do Oracle embutido
• Erros mais detalhados para Delta Tables acessadas com caminhos

O suporte para ordenações no Apache Spark está em Versão Prévia Pública

Agora você pode atribuir ordenações que não diferenciam o acesso, que consideram a linguagem e que não diferenciam maiúsculas de minúsculas a colunas e expressões STRING. Essas ordenações são usadas em comparações de cadeia de caracteres, classificação, operações de agrupamento e muitas funções de cadeia de caracteres. Consulte Ordenação.

O suporte para ordenações no Delta Lake está em Versão Prévia Pública

Agora você pode definir ordenações para colunas ao criar ou alterar uma tabela Delta. Consulte Suporte de ordenação para Delta Lake.

O modo LITE para funcionamento a vácuo está em Visualização Pública

Agora você pode usar VACUUM table_name LITE para executar uma operação de vácuo de peso mais leve que aproveita os metadados no log de transações Delta. Consulte modo completo versus modo leve e VACUUM.

Suporte para parametrizar a cláusula USE CATALOG with IDENTIFIER

No Databricks Runtime 16.1 e versões posteriores, suporte é fornecido para a cláusula IDENTIFIER na instrução USE CATALOG. Com esse suporte, você pode parametrizar o catálogo atual com base em uma variável de cadeia de caracteres ou marcador de parâmetro.

COMMENT ONCOLUMN suporte para tabelas e exibições

No Databricks Runtime 16.1 e posterior, a instrução COMMENT ON dá suporte à alteração de comentários para colunas de exibição e tabela.

Novas funções SQL

No Databricks Runtime 16.1 e posterior, as seguintes novas funções SQL internas estão disponíveis:

• dayname(expr) retorna o acrônimo inglês de três letras para o dia da semana para a data determinada.
• uniform(expr1, expr2 [,seed]) retorna um valor aleatório com valores independentes e distribuídos de forma idêntica dentro do intervalo de números especificado.
• randstr(length) retorna uma cadeia de caracteres aleatória de length caracteres alfanuméricos.

Invocação de parâmetro nomeado para mais funções

No Databricks Runtime 16.1 e posterior, as seguintes funções dão suporte à invocação de parâmetro nomeada:

• variant_explode
• variant_explode_outer
• inline
• inline_outer
• posexplode
• posexplode_outer

O parâmetro SYNC METADATA para o comando REPAIR TABLE é compatível com o metastore do Hive

No Databricks Runtime 16.1 e superior, você pode usar o parâmetro SYNC METADATA com o comando REPAIR TABLE para atualizar os metadados de uma tabela gerenciada de metastore do Hive. Consulte REPAIR TABLE.

Integridade de dados aprimorada para lotes compactados do Apache Arrow

No Databricks Runtime 16.1 e posterior, para proteger ainda mais contra a corrupção de dados, cada lote compactado de Arrow LZ4 agora inclui o conteúdo LZ4 e as somas de verificação de bloco. Consulte a descrição do formato de quadro LZ4.

Suporte adicionado para métodos Scala na execução em modo de acesso compartilhado do Unity Catalog

A partir do Databricks Runtime 16.1 e versões posteriores, na computação do modo de acesso compartilhado do Unity Catalog, foi adicionado suporte aos seguintes métodos Scala: Dataset.flatMapGroups(), Dataset.mapGroups()e DataStreamWriter.foreach().

Driver JDBC interno do Teradata

No Databricks Runtime 16.1 e superior, o Driver JDBC do Teradata é integrado ao Azure Databricks. Se você usar um JAR de driver JDBC carregado pelo cliente por meio de DriverManager, será necessário reescrever scripts para usar explicitamente o JAR personalizado. Caso contrário, o driver interno será usado. Este driver só suporta a Federação Lakehouse. Para outros casos de uso, você precisa fornecer seu driver.

Suporte do StreamingQueryListener para Scala

Agora você pode usar StreamingQueryListener no Scala na computação configurada com o modo de acesso compartilhado.

Driver interno JDBC do Oracle

No Databricks Runtime 16.1 e superior, o Driver JDBC do Oracle é integrado ao Azure Databricks. Se você usar um JAR de driver JDBC carregado pelo cliente por meio de DriverManager, será necessário reescrever scripts para usar explicitamente o JAR personalizado. Caso contrário, o driver interno será usado. Este driver só suporta a Federação Lakehouse. Para outros casos de uso, você precisa fornecer seu driver.

Erros mais detalhados para tabelas Delta acessadas com caminhos

Uma nova experiência de mensagem de erro para tabelas Delta acessadas usando caminhos agora está disponível. Todas as exceções agora são encaminhadas para o usuário. A exceção DELTA_MISSING_DELTA_TABLE agora está reservada para quando não for possível ler os arquivos subjacentes como uma tabela Delta.

Outras alterações

Códigos de erro renomeados para a fonte de Streaming Estruturado do cloudFiles

Esta versão inclui uma alteração para renomear os seguintes códigos de erro:

• _LEGACY_ERROR_TEMP_DBR_0143 é renomeado para CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 é renomeado para CF_INCORRECT_BATCH_USAGE .

Correções

Os tipos aninhados agora aceitam corretamente restrições NULL

Esta versão corrige um bug que afeta algumas colunas geradas por Delta de tipos aninhados, por exemplo, STRUCT. Essas colunas às vezes rejeitavam incorretamente expressões com base em restrições NULL ou NOT NULL de campos aninhados. Isso foi corrigido.

Atualizações de biblioteca

• Bibliotecas do Python atualizadas:
  • ipyflow-core de 0.0.198 a 0.0.201
  • pyccolo de 0.0.52 a 0.0.65
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-client_2.12 de 1.2.1 a 1.2.2
  • org.lz4.lz4-java de 1.8.0 a 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 para 2.4.1-linux-x86_64

Apache Spark

O Databricks Runtime 16.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.0, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-50482] [SC-182879][CORE] Configuração no-op spark.shuffle.spill preterida
• [SPARK-50032] [SC-182706][SQL][16.x] Permissão para o uso do nome de ordenação totalmente qualificado
• [SPARK-50467] [SC-182823][PYTHON] Adicionar __all__ para funções internas
• [SPARK-48898] [SC-182828][SQL] Correção de bug de fragmentação de variantes
• [SPARK-50441] [SC-182668][SQL] Corrigir identificadores parametrizados que não funcionam ao referenciar CTEs
• [SPARK-50446] [SC-182639][PYTHON] Nível de simultaneidade no UDF do Python otimizado com Arrow
• [SPARK-50430] [SC-182536][CORE] Use o método padrão Properties.clone em vez de clonar manualmente
• [SPARK-50471] [SC-182790][PYTHON] Suporte para escritor de fonte de dados em Python baseado em Arrow
• [SPARK-50466] [SC-182791][PYTHON] Refinar o docstring para funções de cadeia de caracteres - parte 1
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integração da API do Novo Temporizador e API de Estado Inicial com o Temporizador
• [SPARK-50437] [SC-182586][SS] Redução da sobrecarga da criação de desserializadores em TransformWithStateExec
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Adicionar suporte para encadeamento de…
• [SPARK-49294] [SC-182730][interface do usuário] Adicionar atributo de largura para a caixa de seleção shuffle-write-time.
• [SPARK-50426] [SC-182540][PYTHON] Evitar pesquisa estática de fontes de dados do Python ao usar fontes de dados integradas ou Java.
• [SPARK-48356] [SC-182603][SQL] Suporte para instrução FOR
• [SPARK-50333] [SC-182136][SQL] Suporte para Codegen para CsvToStructs (por Invoke e RuntimeReplaceable)
• [SPARK-50285] [SC-182575] Métricas para confirmações em instâncias de StagedTable
• [SPARK-50081] [SC-182344][SQL] Suporte Codegen para XPath* (por Invoke e RuntimeReplaceable)
• [SPARK-50440] [SC-182592] [SQL] Refatoração de AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] Suporte a Codegen para SchemaOfCsv (por Invoke e RuntimeReplaceable)
• [SPARK-49873] [SC-178577][SQL] Correção de falha após a mesclagem no teste de erros
• [SPARK-50118] [SC-181259][CONNET] Redefinir o cache de estado isolado quando as tarefas estiverem em execução
• [SPARK-49873] [SC-178577][SQL] Atribuir classe de erro adequada para _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197][CORE] Suporte a spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] Adicionar função DAYNAME
• [SPARK-50270] [SC-181179][SS][PYTHON] Adicionadas métricas de estado personalizadas para TransformWithStateInPandas
• [SPARK-50118] Reversão de "[SC-181259][CONNET] Redefinir o cache de estado isolado quando as tarefas estiverem em execução"
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Adicionar APIs dataframe para funções com valor de tabela
• [SPARK-49470] [SC-175736][interface do usuário] Atualizar folhas de estilo e scripts JavaScript de dataTables de 1.13.5 para 1.13.11
• [SPARK-50235] Reversão de "[SC-180786][SQL] Liberar o recurso ColumnVector após processar todas as linhas no ColumnarToRowExec"
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] Fazer createDataFrame disparar o RPC Config no máximo uma vez
• [SPARK-50387] [SC-182441][SS] Condição de atualização para expiração do temporizador e teste relevante
• [SPARK-50287] [SC-182400][SQL] Mesclar opções de tabela e relação ao criar WriteBuilder no FileTable
• [SPARK-50066] [SC-181484][SQL] Suporte Codegen para SchemaOfXml (por Invoke e RuntimeReplaceable)
• [SPARK-50092] [SC-181568][SQL] Corrigir o comportamento do conector postgreSQL para matrizes multidimensionais
• [SPARK-50318] [SC-181641][SQL] Adição de IntervalUtils.makeYearMonthInterval para remover a duplicação de código entre interpretado e codegen
• [SPARK-50312] [SC-181646][SQL] Erro de passagem de parâmetro do SparkThriftServer createServer quando kerberos é true
• [SPARK-50246] [SC-181468][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] De json/xml não deve alterar ordenações no esquema fornecido
• [SPARK-50250] [SC-181466][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] Redefinir o cache de estado isolado quando as tarefas estiverem em execução
• [SPARK-50235] [SC-180786][SQL] Limpar o recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec
• [SPARK-50156] [SC-180781][SQL] Integrar _LEGACY_ERROR_TEMP_2113 ao UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][SQL] Integrar _LEGACY_ERROR_TEMP_0028 ao UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] Suporte para Codegen de StructsToJson(to_json)
• [SPARK-50055] [SC-180978][SQL] Adicionar alternativa TryMakeInterval
• [SPARK-50397] [SC-182367][CORE] Remover argumentos --ip e -i descontinuados de Master/Worker
• [SPARK-50238] [SC-181434][PYTHON] Adicionar suporte a variantes em UDFs/UDTFs/UDAFs do PySpark e UDFs UC do Python
• [SPARK-50079] [SC-179830][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][EXEMPLO] Adicionar submit-sql.sh exemplo de API REST
• [SPARK-49966] [SC-179501][SQL] Use Invoke para implementar JsonToStructs(from_json)
• [SPARK-50302] [SC-182518][SS] Garantir tamanhos de índice secundários iguais a tamanhos de índice primário para variáveis com estado TransformWithState com TTL
• [SPARK-50301] [SC-182241][SS][16.x] Fazer com que as métricas TransformWithState reflitam seus significados intuitivos
• [SPARK-50175] [SC-182140][SQL] Alteração de cálculo de precedência de ordenação
• [SPARK-50148] [SC-180292][SQL] Tornar StaticInvoke compatível com o método que declara a exceção de lançamento
• [SPARK-50280] [SC-181214][PYTHON] Refatoração da classificação de resultados e o preenchimento de compartimento vazio em compute_hist
• [SPARK-50190] [SC-182458][PYTHON] Remover a dependência direta do Numpy do Histograma
• [SPARK-50382] [SC-182368][CONNECT] Adicione documentação para obter informações gerais sobre o desenvolvimento de aplicativos com/estendendo o Spark Connect
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] Evite usar uma classe no threadpool para o cliente do Python Connect
• [SPARK-49566] [SC-182239][SQL] Adicionar sintaxe de pipe SQL para o operador EXTEND
• [SPARK-50036] [SC-179533][CORE][PYTHON] Adicionar SPARK_LOG_SCHEMA no contexto do shell REPL
• [SPARK-49859] [SC-178259][CONNECT] Substituição de multiprocessing.ThreadPool por ThreadPoolExecutor
• [SPARK-50141] [SC-182378][PYTHON] Fazer lpad e rpad aceitar argumentos de tipo coluna
• [SPARK-50379] [SC-182142][SQL] Corrigir manipulação de DayTimeIntevalType no WindowExecBase
• [SPARK-49954] [SC-179110][SQL] Suporte a Codegen para SchemaOfJson (por Invoke e RuntimeReplaceable)
• [SPARK-50398] [SC-182341][CORE] Usar o 0 do ExitCode para uso de --help em scripts Spark
• [SPARK-50377] [SC-182238][SQL] Permitir avaliação de RuntimeReplaceable dobrável
• [SPARK-50241] [SC-181444][SQL] Substitua NullIntolerant Mixin pelo método Expression.nullIntolerant
• [SPARK-50084] [SC-179672][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] Integrar _LEGACY_ERROR_TEMP_0039 ao UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][SS] Adicionar métrica personalizada para acompanhar os gastos com o estado inicial do proc em transformWithState
• [SPARK-50029] [SC-179531][SQL] Tornar StaticInvoke compatível com o método que retorna Any
• [SPARK-49990] [SC-179497][SQL] Melhorar o desempenho do randStr
• [SPARK-50048] [SC-179528][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] Transforme _LEGACY_ERROR_TEMP_2104 em INTERNAL_ERROR
• [SPARK-49665] [SC-180054][SQL] Suporte à ordenação de corte para funções de cadeia de caracteres
• [SPARK-48549] [SC-176472][SQL][PYTHON] Melhorar a função SQL sentences
• [SPARK-50022] [SC-179503][CORE][UI] Ajuste MasterPage para ocultar links da UI do aplicativo quando a UI estiver desabilitada
• [SPARK-50087] [SC-182152] Manipulação robusta de expressões boolianas em CASE WHEN para MsSqlServer e conectores futuros
• [SPARK-49991] [SC-179481][SQL] Fazer com que o HadoopMapReduceCommitProtocol siga 'mapreduce.output.basename' para gerar nomes de arquivo
• [SPARK-50038] [SC-179521][SQL] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] Corrigir ApplicationPage para ocultar links da UI do aplicativo quando a UI estiver desabilitada
• [SPARK-49911] [SC-179111][SQL] Corrigir a semântica do suporte à igualdade binária
• [SPARK-50025] [SC-179496][SQL] Integrar _LEGACY_ERROR_TEMP_1253 ao EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][SS] Correção do bug na otimização na adição de entrada ao repositório de estado na junção fluxo/fluxo
• [SPARK-50004] [SC-179499][SQL] Integrar _LEGACY_ERROR_TEMP_3327 ao FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator deve respeitar o contrato de ConstantFolding
• [SPARK-50340] [SC-181859][SQL] Descompactar UDT na consulta de entrada INSERT
• [SPARK-50237] [SC-181660][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] Correção do problema de alteração da ordem da coluna de saída após a otimização do AQE
• [SPARK-49773] [SC-178369][SQL] Exceção Java não capturada de make_timestamp() com fuso horário incorreto
• [SPARK-49977] [SC-179265][SQL] Uso da computação iterativa baseada em pilha para evitar a criação de muitos objetos Scala List para árvores de expressão complexas
• [SPARK-50153] [SC-181591][SQL] Adição de name a RuleExecutor para tornar a impressão dos logs de QueryExecutionMetricsmais claros
• [SPARK-50320] [SC-181668][CORE] Tornar --remote uma opção oficial removendo o aviso experimental
• [SPARK-49909] [SC-179492]Reversão de "[SQL] Corrigir o nome bonito de algumas expressões"
• [SPARK-50330] [SC-180720][SC-181764][SQL] Adição de dicas aos nós de Classificação e Janela
• [SPARK-50364] [SC-182003][SQL] Implementar serialização para o tipo LocalDateTime em Row.jsonValue
• [SPARK-50016] [SC-182139][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] Suporte para deleteIfExists em TransformWithStateInPandas
• [SPARK-49757] [SC-177824][SQL] Suporte à expressão IDENTIFIER na instrução SETCATALOG
• [SPARK-50315] [SC-181886][SQL] Suporte a métricas personalizadas para gravações do V1Fallback
• [SPARK-42838] [SC-181509][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] Refatoração de ResolveSQLOnFile
• [SPARK-48344] [SC-181967][SQL] Preparar o script SQL para adição da Estrutura de Execução
• [SPARK-49345] [SC-174786][CONNECT] Certifique-se de usar a sessão spark em execução atual
• [SPARK-49925] [SC-178882][SQL] Adicionar testes para ordem com cadeias de caracteres agrupadas
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] Aprimoramento de mensagens de erro e importações do PySpark
• [SPARK-49368] [SC-174999][CONNECT] Evite acessar classes protobuf lite diretamente
• [SPARK-50056] [SC-181378][SQL] Suporte Codegen para ParseUrl (por Invoke e RuntimeReplaceable)
• [SPARK-49601] [SC-180770][SS][PYTHON] Suporte ao tratamento de estado inicial para TransformWithStateInPandas
• [SPARK-49908] [SC-178768][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][SS] Resolva a limitação do cálculo de métricas com fontes de streaming DSv1
• [SPARK-49874] [SC-178303][SQL] Remoção de especificadores de ordenação de corte e ltrim.
• [SPARK-49513] [SC-180339][SS] Adicionar suporte para temporizador na API transformWithStateInPandas
• [SPARK-49119] [SC-175607][SQL] Corrigir a inconsistência de show columns de sintaxe entre v1 e v2
• [SPARK-49206] [SC-173704][CORE][UI] Adição da tabela Environment Variables ao EnvironmentPage Mestre
• [SPARK-49934] [SC-179581][SQL] Adição de conversão implícita para acessar o mapa agrupado com literal
• [SPARK-50049] [SC-181659][SQL] Suporte a métricas de driver personalizadas ao gravar na tabela v2
• [SPARK-50171] [SC-180295][PYTHON] Tornar numpy opcional para plotagem KDE
• [SPARK-49962] [SC-179320][SQL] Simplificar hierarquia de classe AbstractStringTypes
• [SPARK-50226] [SC-181483][SQL] Corrigir MakeDTInterval e MakeYMInterval para capturar exceções Java
• [SPARK-48775] [SC-170801][SQL][STS] Substituir SQLContext por SparkSession no STS
• [SPARK-49015] [SC-175688][CORE] O Servidor de Conexão deve respeitar spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] Fatorar a resolução de função para ser reutilizada no Analisador de passagem única
• [SPARK-49995] [SC-180762][SQL] Adicionar suporte de argumento nomeado a mais TVFs
• [SPARK-49268] [SC-174903][CORE] Exceções de E/S de log no provedor de histórico do SHS
• [SPARK-48123] [SC-164989][Core] Forneça um esquema de tabela constante para consultar logs estruturados
• [SPARK-49217] [SC-174904][CORE] Suporte a configuração de tamanho de buffer separada em UnsafeShuffleWriter
• [SPARK-50325] [SC-181664][SQL][16.x] Fatorar a resolução de alias para ser reutilizada no Analisador de passagem única
• [SPARK-50322] [SC-181665][SQL] Corrigir identificador parametrizado em uma subconsulta
• [SPARK-48400] [SC-175283][CORE] Promover PrometheusServlet para DeveloperApi
• [SPARK-50118] Reversão de "[SC-181259][CONNET] Redefinir o cache de estado isolado quando as tarefas estiverem em execução"
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] Suporte ao Python 3.13 no Spark Connect
• [SPARK-50152] [SC-181264][SS] Suporte a handleInitialState com leitor de fonte de dados de estado
• [SPARK-50260] [SC-181271][CONNECT] Refatorar e otimizar o Spark C...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Migrar logInfo com variáveis para estrutura de log estruturada
• [SPARK-49312] [SC-174672][PYTHON] Melhorar a mensagem de erro para assertSchemaEqual
• [SPARK-49439] [SC-175236][SQL] Corrigir o nome bonito da expressão FromProtobuf & ToProtobuf
• [SPARK-50092] [ES-1258521] Corrigir o comportamento do conector postgreSQL para matrizes multidimensionais
• [SPARK-49913] [SC-181565][SQL] Adição de verificação para nomes de rótulo únicos em escopos rotulados aninhados
• [SPARK-49563] [SC-181465][SQL] Adicionar sintaxe de pipe SQL para o operador WINDOW
• [SPARK-49661] [SC-179021][SQL] Implementação de hash e comparação de ordenação de corte.
• [SPARK-38912] [SC-181543][PYTHON] Remoção do comentário relacionado a classmethod e property
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][Endurecimento do RocksDB] Aprimoramento do gerenciamento de mapeamento de arquivos do RocksDB SST e correção do problema com o recarregamento da mesma versão com instantâneo existente
• [SPARK-49002] Reversão de “[SC-172846][SQL] Manipulação consistente de locais inválidos em WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49668] [SC-178268][SQL] Implementação de suporte à chave de ordenação para ordenação de corte
• [SPARK-50262] [SC-181193][SQL] Proibição da especificação de tipos complexos durante a alteração da ordenação
• [SPARK-48898] [SC-181435][SQL] Adição de funções de fragmentação de variantes
• [SPARK-48273] [SC-181381] Reversão de “[SQL] Correção da regravação tardia de PlanWithUnresolvedIdentifier
• [SPARK-50222] [SC-180706][CORE] Suporte a spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] Suporte a spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] As substituições de IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 devem ser NullIntolerant
• [SPARK-50247] [SC-180962][CORE] Definir BLOCK_MANAGER_REREGISTRATION_FAILED como ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] Simplificação de TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] Permitindo que o operador TransformWithState use a codificação Avro
• [SPARK-50267] [SC-181180][ML] Aprimorar TargetEncoder.fit com APIs de DataFrame
• [SPARK-37178] [SC-180939][ML] Adição de codificação de destino ao ml.feature
• [SPARK-50118] [SC-181259][CONNET] Redefinir o cache de estado isolado quando as tarefas estiverem em execução
• [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Fazer lit(ndarray) com np.int8 respeitar o tipo de dado do numpy
• [SPARK-50256] [SC-181048][SQL] Adicionar validação leve para verificar se um plano lógico se torna não resolvido após cada regra de otimizador
• [SPARK-50196] [SC-180932][CONNECT] Corrigir o contexto de erro do Python para usar um contexto adequado
• [SPARK-50274] [SC-181181][CORE] Proteger contra uso após fechamento em DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] Suporte ao parâmetro opcional "column" em gráficos de caixa, kde e de histograma
• [SPARK-50273] [SC-181178][SS] Aprimoramento do registro em log para casos de aquisição/liberação de bloqueio do RocksDB
• [SPARK-50033] [SC-180720][SC-180659][SQL] Adição de uma dica ao nó logical.Aggregate()
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Correção da liberação extra de acquireLock no RocksDB devido ao ouvinte de conclusão
• [SPARK-50253] [SC-180969][SS] Stream-Stream Join não deverá buscar a ID do ponto de verificação se não houver suporte.
• [SPARK-50255] [SC-180964][PYTHON] Evitar a conversão desnecessária em compute_hist
• [SPARK-50228] [SC-180780][SQL] Mover a regra de RewriteCollationJoin para FinishAnalysis
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Ajuste da "precisão" para fazer parte de kwargs para gráficos de caixa
• [SPARK-49637] [SC-180160][SQL] Mensagem de erro para INVALID_FRACTION_OF_SECOND foi alterada
• [SPARK-49530] [SC-180658][PYTHON] Obter sessão ativa a partir de dataframes
• [SPARK-50195] [SC-180654][CORE] Corrigir StandaloneRestServer para propagar spark.app.name para SparkSubmit corretamente
• [SPARK-50229] [SC-180773] Reduza o uso de memória no driver para esquemas largos reduzindo o tempo de vida dos objetos AttributeReference criados durante o planejamento lógico
• [SPARK-50231] [SC-180815][PYTHON] Fazer a função instr aceitar Coluna substring
• [SPARK-49854] [SC-179812][16.x][SQL] Clonagem do gerenciador de artefatos durante a clonagem da sessão
• [SPARK-50219] [SC-180694][SQL] Refatorar ApplyCharTypePadding para que os métodos auxiliares possam ser usados no resolvedor de passagem única
• [SPARK-50077] [SC-179827][SQL] Introduza um novo objeto padrão para LogicalRelation para ajudar a evitar o padrão padrão de parâmetros completos
• [SPARK-50128] [Backport][16x][SC-180677][SS] Adicionar APIs de identificador de processador com estado usando codificadores implícitos no Scala
• [SPARK-50061] [SC-179961][SQL] Habilitar tabela de análise para colunas agrupadas
• [SPARK-49993] [SC-180084][SQL] Melhorar as mensagens de erro para Soma e Média
• [SPARK-49638] [SC-179665][SQL] Remova a sugestão de configuração ANSI no INVALID_URL
• [SPARK-50204] [SC-180660][SQL] Fatorar a resolução do caminho de leitura HiveTableRelation
• [SPARK-50193] [SC-180651][SS] Correção do tratamento de exceção para validação de modos de tempo
• [SPARK-50179] [SC-180342][CORE] Tornar a propriedade spark.app.name opcional na API REST
• [SPARK-50068] [SC-180300][SQL] Refatoração de TypeCoercion e AnsiTypeCoercion para separar transformações de nós individuais
• [SPARK-49411] [SC-179483][SS] Comunicar ID de Ponto de Verificação do Armazenamento de Estado entre o driver e os operadores com estado
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET deve preservar a ordenação de dados
• [SPARK-49506] [SC-180165][SQL] Otimizar ArrayBinarySearch para matriz dobrável
• [SPARK-50097] [SC-179908][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] Adicionar try_make_timestamp(_ltz e _ntz) e testes relacionados
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] Suporte a gráficos de histograma
• [SPARK-50015] [SC-179964][SQL] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Mover arquivos scala e java para suas pastas padrão
• [SPARK-49980] [SC-180353][CORE][SQL] Corrigir possíveis vazamentos de fluxo de arquivos causados pela interrupção em tarefas canceladas
• [SPARK-49010] [SC-172304][SQL][XML] Adição de testes unitários para sensibilidade a maiúsculas/minúsculas na inferência de esquema XML
• [SPARK-49562] [SC-180211][SQL] Adição de sintaxe de pipe SQL para agregação
• [SPARK-49663] [SC-180239][SQL] Habilitação de sugestões RTRIM em expressões de ordenação
• [SPARK-48965] [SC-175926][SQL] Use o esquema correto em Dataset#toJSON
• [SPARK-48493] [SC-175893][PYTHON] Aprimorar o leitor de fonte de dados do Python com suporte direto ao batch do Arrow para melhorar o desempenho
• [SPARK-49734] [SC-180226][PYTHON] Adicionar seed argumento para a função shuffle
• [SPARK-50174] [16.x][SC-180253][SQL] Fatorar a resolução de UnresolvedCatalogRelation
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] Suporte a gráficos de kde/densidade
• [SPARK-49805] [SC-180218][SQL][ML] Remoção de funções privadas[xxx] de function.scala
• [SPARK-49808] [SC-179490][SQL] Corrigir um deadlock na execução da subconsulta devido a vals lentas
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] Suporte a gráficos de caixa
• [SPARK-50008] [SC-179290][PS][CONNECT] Evite operações desnecessárias no attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][PS][CONNECT] Refatoração da invocação de função interna
• [SPARK-49683] [SC-178341][SQL] Bloqueio da ordenação de corte
• [SPARK-49939] [SC-178941][SQL] Suporte Codegen para json_object_keys (por Invoke e RuntimeReplaceable)
• [SPARK-50031] [SC-179582][SQL] Adicionar a expressão TryParseUrl
• [SPARK-49766] [SC-178933][SQL] Suporte Codegen para json_array_length (por Invoke e RuntimeReplaceable)
• [SPARK-50046] [SC-180026][SS] Uso da ordem estável do nó EventTimeWatermark para calcular a marca d'água
• [SPARK-49540] [SC-180145][PS] Unificar o uso de distributed_sequence_id
• [SPARK-50060] [SC-179965][SQL] Conversão desabilitada entre diferentes tipos agrupados em TypeCoercion e AnsiTypeCoercion
• [SPARK-49004] [SC-173244][CONNECT] Uso de um registro separado para funções internas da API de Colunas
• [SPARK-49811] [SC-177888][SQL]Renomear StringTypeAnyCollation
• [SPARK-49202] [SC-180059][PS] Aplicar ArrayBinarySearch para histograma
• [SPARK-49203] [SC-175734][SQL] Adicionar expressão para java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][CORE] Corrigir a interpretação errônea de erros fatais como exceções não capturadas em SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][SQL] Ordenações que usam ICU devem ter a versão da biblioteca ICU usada
• [SPARK-49985] [SC-179644][SQL] Remoção de suporte para tipos de intervalo em variantes
• [SPARK-49103] [SC-173066][CORE] Suporte a spark.master.rest.filters
• [SPARK-50090] [SC-179819] Refatorar ResolveBinaryArithmetic para separar a transformação de apenas um nó
• [SPARK-49902] [SC-179650][SQL] Capturar erros de runtime subjacentes em RegExpReplace
• [SPARK-49126] [SC-173342][CORE] Mover a definição de configuração spark.history.ui.maxApplications para History.scala
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] Mensagem de erro mais clara ao usar a ferramenta de análise de memória em editores sem números de linha
• [SPARK-50062] [SC-179835][SQL] Suporte a ordenações por InSet
• [SPARK-50035] [Backport][16x][SC-179530][SS] Adicionar suporte para a função explícita handleExpiredTimer como parte do processador com estado
• [SPARK-49982] [SC-179814][SQL] Correção de cache negativo em InMemoryRelation
• [SPARK-49082] [SC-173350][SQL] Ampliando a promoção de tipos em AvroDeserializer
• [SPARK-50088] [SC-179680][SQL] Refatorar UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] Adicionar suporte para feed de alterações de leitura para tipos de mapa e de lista usados em processadores com estado
• [SPARK-49846] [SC-179506][SS] Adicionar métricas numUpdatedStateRows e numRemovedStateRows para uso com o operador transformWithState
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Fazer com que o lit aceite ndarray numpy do tipo str e bool
• [SPARK-49821] [SC-179527][SS][PYTHON] Implementar suporte a MapState e TTL para TransformWithStateInPandas
• [SPARK-49558] [SC-179485][SQL] Adicionar sintaxe de pipe SQL para LIMIT/OFFSET e ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][LC-4080][SQL] Corrigir canPlanAsBroadcastHashJoin para respeitar dicas de junção em ordem aleatória
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] Fazer lit funcionar com ndarray do numpy vazio
• [SPARK-50018] [SC-179488][SQL] Tornar AbstractStringType serializável
• [SPARK-50016] [SC-179491][SQL] Aprimorar erro de incompatibilidade de ordenação explícita
• [SPARK-50010] [SC-179487][SQL] Expandir erro de incompatibilidade de ordenação implícita
• [SPARK-48749] [SC-170116][SQL] Simplificar UnaryPositive e eliminar suas regras do Catalyst com RuntimeReplaceable
• [SPARK-49857] [SC-178576][SQL] Adicionar storageLevel à API localCheckpoint do conjunto de dados
• [SPARK-50058] [SC-179538][SQL] Fatorar funções de normalização do plano para uso posterior no teste do Analisador de passagem única
• [SPARK-50052] [SC-179535][PYTHON][16.X] Fazer com que NumpyArrayConverter dê suporte ndarray de str vazia
• [SPARK-47261] [SC-173665][SQL] Atribuir melhor nome para erros _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 e _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][CORE] Marcar KryoRegistrator com a interface DeveloperApi
• [SPARK-48949] [SC-173070][SQL] SPJ: filtragem de partição em tempo de execução
• [SPARK-50044] [SC-179523][PYTHON] Refinar a docstring de várias funções matemáticas
• [SPARK-48757] [SC-170113][CORE] Fazer com que IndexShuffleBlockResolver tenha construtores explícitos
• [SPARK-50037] [SQL] Refatorar AttributeSeq.resolve(...)
• [SPARK-48782] [SC-177056][SQL] Adicionar suporte para executar procedimentos em catálogos
• [SPARK-49057] [SC-173081][SQL] Não bloqueie o loop do AQE ao enviar estágios de consulta
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Adicionar sintaxe SQL da Coluna de Identidade
• [SPARK-48773] [SC-170773] Configuração do documento "spark.default.parallelism" pela estrutura do construtor de configurações
• [SPARK-48735] [SC-169810][SQL] Melhoria de desempenho para a função BIN
• [SPARK-48900] [SC-172433] Adicionar campo reason para todas as chamadas internas de cancelamento de trabalho/estágio
• [SPARK-48488] [SC-167605][CORE] Corrigir métodos log[info|warning|error] em SparkSubmit
• [SPARK-48708] [SC-169809][CORE] Remover três registros de tipo desnecessários de KryoSerializer
• [SPARK-49958] [SC-179312][PYTHON] API do Python para funções de validação de cadeia de caracteres
• [SPARK-49979] [SC-179264][SQL] Correção do problema de suspensão do AQE ao coletar duas vezes em um plano com falha
• [SPARK-48729] [SC-169795][SQL] Adicionar uma interface UserDefinedFunction para representar uma função SQL
• [SPARK-49997] [SC-179279][SQL] Integrar _LEGACY_ERROR_TEMP_2165 ao MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][SS]Criação de partição com base em tamanho durante a leitura do Kafka
• [SPARK-48129] [SC-165006][PYTHON] Forneça um esquema de tabela constante no PySpark para consultar logs estruturados
• [SPARK-49951] [SC-179259][SQL] Atribuir condição de erro adequada para LEGACY_ERROR_TEMP(1099|3085)
• [SPARK-49971] [SC-179278][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277][SQL] Integrar _LEGACY_ERROR_TEMP_1252 ao EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][CONNECT] Livre-se dos bloqueios globais do Serviço Spark Connect
• [SPARK-49957] [SC-179202][SQL] API Scala para funções de validação de cadeia de caracteres
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener não deve ser afetado por spark.interrupt()
• [SPARK-49643] [SC-179239][SQL] Mesclar _LEGACY_ERROR_TEMP_2042 em ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][SQL] Correção de ColumnarArray.copy() para acessar valores nulos a partir do deslocamento correto
• [SPARK-49956] Reverter “[SC-179070] Ordenações desabilitadas com a expressão collect_set”
• [SPARK-49987] [SC-179180][SQL] Correção do prompt de erro quando seedExpression não for dobrável no randstr
• [SPARK-49948] [SC-179158][PS][CONNECT] Adicionar parâmetro "precisão" ao pandas no gráfico de caixa do Spark
• [SPARK-49970] [SC-179167][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2069
• [SPARK-49916] [SC-179108][SQL] Gerar exceção apropriada para incompatibilidade de tipo entre ColumnType e tipo de dados em algumas linhas
• [SPARK-49956] [SC-179070] Ordenações desabilitadas com expressão collect_set
• [SPARK-49974] [16.x][SC-179071][SQL] Mover resolveRelations(...) para fora de Analyzer.scala
• [SPARK-47259] [SC-176437][SQL] Atribuição de nomes a condições de erro para erros de intervalo
• [SPARK-47430] [SC-173679][SQL] Retrabalhar agrupamento por tipo de mapa para corrigir erro de referência de associação
• [SPARK-49067] [SC-172616][SQL] Mover literal utf-8 para métodos internos da classe UrlCodec
• [SPARK-49955] [SC-178989][SQL] valor nulo não significa arquivo corrompido ao analisar RDD da cadeia de caracteres JSON
• [SPARK-49393] [SC-175212][SQL] Falha por padrão em APIs de plug-in de catálogo preteridas
• [SPARK-49952] [SC-178985][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224][SQL] Restringir conjuntos de caracteres em JsonOptions
• [SPARK-49892] [SC-178975][SQL] Atribuir classe de erro adequada para _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244][SQL] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_105[3-4] e _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][SQL] Tratar zeros e uns no ReorderAssociativeOperator
• [SPARK-49891] [SC-178970][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2271
• [SPARK-49918] [SC-178748][CORE] Uso de acesso somente leitura para configuração em SparkContext quando apropriado
• [SPARK-49666] [SC-177891][SQL] Adição de sinalizador de recurso para a funcionalidade de recorte na ordenação
• [SPARK-48885] [SC-171050][SQL] Fazer algumas subclasses do RuntimeReplaceable substituírem a substituição por val lenta
• [SPARK-49932] [SC-178931][CORE] Usar recursos JsonUtils#toJsonString de liberação tryWithResource para evitar vazamentos de memória
• [SPARK-49949] [SC-178978][PS] Evite uma tarefa de análise desnecessária no attach_sequence_column
• [SPARK-49924] [SC-178935][SQL] Manter containsNull após substituição de ArrayCompact
• [SPARK-49121] [SC-174787][SQL] Suporte from_protobuf e to_protobuf para funções SQL
• [SPARK-47496] [SC-160529][SQL] Suporte a JAVA SPI para registro dinâmico de dialeto JDBC
• [SPARK-49359] [SC-174895][SQL] Permitir que implementações StagedTableCatalog retornem à gravação não atômica
• [SPARK-49895] [SC-178543][SQL][ES-1270338] Aprimorar o erro ao encontrar vírgula à direita na cláusula SELECT
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Mapeamento de documentos de tipos de dados SQL do Spark do Microsoft SQL Server e adicionar testes
• [SPARK-46037] [SC-175495][SQL] Correção para construção de Junção de Hash embaralhado deixada sem geração de código
• [SPARK-47813] [SC-162615][SQL] Substituição de getArrayDimension por updateExtraColumnMeta
• [SPARK-49542] [SC-178765][SQL] Erro na avaliação da exceção de transformação de partição
• [SPARK-47172] [SC-169537][CORE] Adicionar suporte para AES-GCM para criptografia RPC
• [SPARK-47666] [SC-161476][SQL] Correção de NPE ao ler a matriz de bits mysql como LongType
• [SPARK-48947] [SC-174239][SQL] Use o nome do conjunto de caracteres em letras minúsculas para diminuir o cache ausente em Charset.forName
• [SPARK-49909] [SC-178552][SQL] Corrigir o nome bonito de algumas expressões
• [SPARK-47647] [SC-161377][SQL] Tornar a fonte de dados MySQL capaz de ler bit(n>1) como BinaryType, assim como o Postgres.
• [SPARK-46622] [SC-153004][CORE] Sobrescrever método toString para o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][PYTHON] Tornar a nomenclatura de parâmetro de PySparkException consistente com JVM
• [SPARK-49889] [SC-178474][PYTHON] Adicionar trim de argumento para funçõestrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][SQL] Corrigir mapeamento de tipo de dados de erro no Conector MySQL/J
• [SPARK-47628] [SC-161257][SQL] Corrigir o problema da matriz de bits do Postgres 'Não é possível converter em booleano'
• [SPARK-49843] [SC-178084][ES-1268164][SQL] Corrigir comentário sobre alterações em colunas char/varchar
• [SPARK-49549] [SC-178764][SQL] Atribuir um nome às condições de erro _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49791] [SC-177730][SQL] Tornar DelegatingCatalogExtension mais extensível
• [SPARK-49559] [SC-178551][SQL] Adicionar sintaxe de pipe SQL para operações definidas
• [SPARK-49906] [SC-178536][SQL] Apresentar e usar o erro CONFLICTING_DIRECTORY_STRUCTURES para PartitioningUtils
• [SPARK-49877] [SC-178392][SQL] Alterar assinatura da função classifyException: adicionar argumento isRuntime
• [SPARK-47501] [SC-160532][SQL] Adicionar convertDateToDate como o convertTimestampToTimestamp existente para JdbcDialect
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType deve retornar o filho em caso de erro
• [SPARK-47462] [SC-160460][SQL] Alinhar mapeamentos de outros tipos numéricos não assinados com TINYINT no MySQLDialect
• [SPARK-47435] [SC-160129][SQL] Corrigir problema de estouro do MYSQL UNSIGNED TINYINT causado pelo SPARK-45561
• [SPARK-49398] [SC-176377][SQL] Melhorar o erro de parâmetros na consulta de CACHE TABLE e CREATE VIEW
• [SPARK-47263] [SC-177012][SQL] Atribuir nomes às condições herdadas _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] Corrigir o prompt quando ascendingOrder for DataTypeMismatch no SortArray
• [SPARK-49806] [SC-178304][SQL][CONNECT] Remover blank space redundantes após show em clientes Scala e Connect
• [SPARK-47258] [SC-175032][SQL] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] Adicionar sintaxe de pipe SQL para o operador JOIN
• [SPARK-49836] [SC-178339][SQL][SS] Corrigir a consulta possivelmente quebrada quando a janela é fornecida à função janela/session_window
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Manipular mapeamento de timestamps SQL para Postgres e MySQL
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] Suporte a gráficos de pizza
• [SPARK-49824] [SC-178251][SS][CONNECT] Aprimorar o registro em log no SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] Refinar a representação de string das operações de campo de coluna
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] Gráficos de área de suporte
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] Suporte a gráficos de dispersão
• [SPARK-49744] [SC-178363][SS][PYTHON] Implementar suporte TTL para ListState em TransformWithStateInPandas
• [SPARK-49879] [SC-178334][CORE] Mover TransportCipherUtil para um arquivo separado para eliminar avisos de compilação Java
• [SPARK-49866] [SC-178353][SQL] Melhorar a mensagem de erro para descrever a tabela com colunas de partição
• [SPARK-49867] [SC-178302][ES-1260570][SQL] Melhorar a mensagem de erro quando o índice estiver fora dos limites ao chamar GetColumnByOrdinal
• [SPARK-49607] [SC-177373][PYTHON] Atualizar a abordagem de amostragem para gráficos baseados em amostras
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] Suporte a gráficos de barras horizontais e verticais
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] Suporte para gráfico de linha com back-end do plotly
• [SPARK-49444] [SC-177692][ES-1203248][SQL] UnivocityParser modificado para gerar exceções de runtime causadas por ArrayIndexOutOfBounds com mensagens mais orientadas ao usuário
• [SPARK-49870] [SC-178262][PYTHON] Adicionar suporte ao Python 3.13 no Spark Classic
• [SPARK-49560] [SC-178121][SQL] Adicionar sintaxe de pipe SQL para o operador TABLESAMPLE
• [SPARK-49864] [SC-178305][SQL] Aprimporar a mensagem do BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274][SQL] Tornar os erros no NamedParametersSupport genéricos para lidar com funções e procedimentos
• [SPARK-49358] [SC-178158][SQL] Expressão de modo para tipos de mapa com cadeias de caracteres agrupadas
• [SPARK-47341] [SC-178157][SQL] Corrigir documentação imprecisa de RuntimeConfig#get
• [SPARK-48357] [SC-178153][SQL] Suporte para instrução LOOP
• [SPARK-49845] [SC-178059][CORE] Tornar appArgs e environmentVariables opcional na API REST
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable deve indicar se é para gravação
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Adicionado suporte ao ouvinte do lado do cliente para Scala
• [SPARK-48700] [SC-177978][SQL] Expressão de modo para tipos complexos (todas as ordenações)
• [SPARK-48196] [SC-177899][SQL] Transformar planos val lentos de QueryExecution em LazyTry
• [SPARK-49749] [16.x][SC-177877][CORE] Alterar o nível de log para depuração no BlockManagerInfo
• [SPARK-49561] [SC-177897][SQL] Adicionar sintaxe de pipe SQL para os operadores PIVOT e UNPIVOT
• [SPARK-49823] [SC-177885][SS] Evitar liberação durante o desligamento no caminho de fechamento do rocksdb
• [SPARK-49820] [SC-177855] [PYTHON] Alterar raise IOError para raise OSError
• [SPARK-49653] [SC-177266][SQL] Junção única para subconsultas escalares correlacionadas
• [SPARK-49552] [SC-177477][PYTHON] Adicionar suporte à API de DataFrame para as novas funções SQL 'randstr' e 'uniform'
• [SPARK-48303] [16.x][SC-166251][CORE] Reorganizar LogKeys
• [SPARK-49656] [16x][Backport][SS] Adicionar suporte a variáveis de estado com tipos de coleção para estado de valor e ler opções de feed de alterações
• [SPARK-48112] [SC-165129][CONNECT] Expor sessão no SparkConnectPlanner a plug-ins
• [SPARK-48126] [16.x][SC-165309][Core] Tornar o spark.log.structuredLogging.enabled efetivo
• [SPARK-49505] [SC-176873][SQL] Criar novas funções SQL "randstr" e "uniforme" para gerar cadeias de caracteres aleatórias ou números dentro de intervalos
• [SPARK-49463] [SC-177474] Suporte a ListState para TransformWithStateInPandas
• [SPARK-48131] [SC-165007][Core] Unificar a chave MDC mdc.taskName e task_name
• [SPARK-49557] [SC-177227][SQL] Adicionar sintaxe de pipe SQL para o operador WHERE
• [SPARK-49323] [16.x][SC-174689][CONNECT] Mover o MockObserver da pasta de teste do Spark Connect Server para a pasta principal do servidor
• [SPARK-49745] [SC-177501][SS] Adicionar alteração para ler temporizadores registrados usando o leitor de fonte de dados de estado
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Remover ColumnFamilyOptions e adicionar configurações diretamente ao dbOptions no RocksDB

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 16.1.

Ambiente do sistema

• sistema operacional: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN do Posit Package Manager em 2024-08-04.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)