Tempo de execução do Databricks 11.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.2, alimentado pelo Apache Spark 3.3.0. A Databricks lançou esta versão em setembro de 2022.

Novos recursos e melhorias

• Alterar as permissões para ALTER TABLE nos controlos de acesso às tabelas (ACLs de tabela)
• Poda dinâmica para MERGE INTO
• Deteção de conflitos aprimorada no Delta com remoção dinâmica de arquivos
• Novo cartão de Integrações Open Source nas páginas iniciais DSE/SQL
• CONVERT TO DELTA melhorias na deteção de partições
• esquemas de tabela agora suportam valores padrão para colunas
• Novas funções geoespaciais H3
• Nova dependência do Databricks Runtime
• Traga sua própria chave: criptografia de credenciais Git
• SQL: Nova função agregada any_value
• Comandos do sistema de ficheiros das Utilidades Databricks permitidos em mais tipos de cluster
• Os privilégios CREATE agora podem ser concedidos nos metastores para o Unity Catalog
• Gravações otimizadas para tabelas não particionadas em clusters compatíveis com Photon
• Suporte a fótons para mais fontes de dados
• SQL: ALTER SHARE agora suporta START VERSION

Alteração para permissões ALTER TABLE nos controles de acesso à tabela (ACLs de tabela)

Agora, os utilizadores só precisam de MODIFY permissões para alterar o esquema ou as propriedades de uma tabela com ALTER TABLE. A propriedade ainda é necessária para conceder permissões numa tabela, alterar o seu dono e a sua localização, ou renomeá-la. Essa alteração torna o modelo de permissão para ACLs de tabela consistente com o Catálogo Unity. Ver ALTER TABLE.

Poda dinâmica para MERGE INTO

Ao usar a computação com Photon, o MERGE INTO agora utiliza a filtragem dinâmica de arquivos e partições quando adequado para melhorar o desempenho, por exemplo, quando uma pequena tabela de origem é combinada numa tabela de destino maior.

Deteção de conflitos aprimorada no Delta com remoção dinâmica de arquivos

Ao verificar possíveis conflitos durante commits, a deteção de conflitos agora considera arquivos que são removidos pela poda dinâmica de arquivos, mas que não teriam sido removidos por filtros estáticos. Isso resulta em uma diminuição do número de transações com falha.

Novo cartão de Integrações de Código Aberto nas homepages DSE/SQL

Introdução do novo cartão 'Open Source Integrations' nas homepages DSE/SQL que exibe opções de integração de código aberto, como DLT e dbt core.

CONVERT TO DELTA melhorias na deteção de partições

CONVERT TO DELTA infere automaticamente o esquema de partição para tabelas do Parquet registradas no metastore do Hive ou no Unity Catalog, eliminando a necessidade de fornecer a cláusula PARTITIONED BY.

CONVERT TO DELTA aproveita as informações de partição do metastore para descobrir arquivos para uma tabela Parquet em vez de listar todo o caminho base, garantindo que partições descartadas não sejam adicionadas à tabela Delta.

Consulte Converter para Delta Lake.

Os esquemas de tabela agora suportam valores padrão para colunas

Os esquemas de tabela agora suportam a configuração de valores padrão para colunas. INSERT, UPDATEe DELETE comandos para essas colunas podem se referir a esses valores com a palavra-chave DEFAULT. Por exemplo, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET seguido por INSERT INTO t VALUES (1, DEFAULT) irá acrescentar a linha (1, 42). Esse comportamento é suportado para fontes de dados CSV, JSON, Orc e Parquet.

Novas funções geoespaciais H3

Agora você pode usar 28 novas expressões H3 integradas para processamento geoespacial em clusters habilitados para Photon, disponíveis em SQL, Scala e Python. Veja funções geoespaciais H3.

Nova dependência do Databricks Runtime

O Databricks Runtime agora depende da biblioteca Java H3 versão 3.7.0.

Traga sua própria chave: criptografia de credenciais Git

Você pode usar o Azure Key Vault para criptografar um token de acesso pessoal (PAT) do Git ou outra credencial do Git.

Consulte Configurar pastas Git do Databricks (Repos).

SQL: Nova função agregada any_value

A nova any_value função de agregação retorna qualquer valor aleatório de expr para um grupo de linhas. Consulte a função agregar any_value.

Permitem-se os comandos do sistema de arquivos das Databricks Utilities em mais tipos de clusters.

dbutils.fs Comandos (exceto comandos relacionados à montagem) agora são permitidos em clusters de isolamento para utilizadores com o Unity Catalog, bem como em clusters de ACL de tabela herdados quando o utilizador tem permissões ANY FILE.

Os privilégios CREATE agora podem ser concedidos nos metastores do Unity Catalog

Os privilégios CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENTe CREATE PROVIDER agora podem ser concedidos nos metastores do Unity Catalog.

Gravações otimizadas para tabelas não particionadas em clusters com Photon habilitado

As tabelas gerenciadas pelo Unity Catalog agora persistem automaticamente arquivos de um tamanho bem ajustado de tabelas não particionadas para melhorar a velocidade de consulta e otimizar o desempenho.

Suporte a fótons para mais fontes de dados

O Photon agora suporta mais fontes de dados, incluindo CSV e Avro, e também é compatível com quadros de dados armazenados em cache. Anteriormente, a análise dessas fontes de dados significava que toda a consulta não podia ser fotonizada, independentemente dos operadores ou expressões da consulta. Agora, as consultas que examinam essas fontes de dados podem ser fotonizadas, desbloqueando melhorias significativas de latência e TCO.

Esse recurso é habilitado por padrão pela spark.databricks.photon.photonRowToColumnar.enabled configuração.

Limitações:

• Não há suporte para esquemas com tipos aninhados (ou seja, matrizes, mapas e estruturas) nesta versão.
• As fontes ORC, RDD, Kinesis, Kafka e EventHub não são suportadas nesta versão.

SQL: ALTER SHARE agora suporta START VERSION

O comando ALTER SHARE agora suporta START VERSION, que permite que os provedores compartilhem dados a partir de uma versão específica da tabela. Ver ALTER SHARE.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • distlib de 0.3.4 a 0.3.5
  • filelock de 3.7.1 a 3.8.0
  • plotly de 5.8.2 a 5.9.0
  • Protobuf de 4.21.2 a 4.21.5
• Bibliotecas R atualizadas:
  • broom de 0.8.0 a 1.0.0
  • bslib de 0.3.1 a 0.4.0
  • callr da versão 3.7.0 para a 3.7.1
  • Aceno de 6.0-92 a 6.0-93
  • DBPLYR de 2.2.0 a 2.2.1
  • devtools de 2.4.3 a 2.4.4
  • avaliar de 0,15 a 0,16
  • Farver da versão 2.1.0 à versão 2.1.1
  • fontawesome de 0.2.2 a 0.3.0
  • futuro de 1.26.1 a 1.27.0
  • Genéricos de 0.1.2 a 0.1.3
  • gert de 1.6.0 para 1.7.0
  • globais de 0.15.1 a 0.16.0
  • googlesheets4 de 1.0.0 a 1.0.1
  • Hardhat de 1.1.0 para 1.2.0
  • htmltools de 0.5.2 a 0.5.3
  • paralelamente de 1.32.0 a 1.32.1
  • pilar de 1.7.0 a 1.8.0
  • pkgload de 1.2.4 a 1.3.0
  • processx de 3.6.1 a 3.7.0
  • Rcpp de 1.0.8.3 a 1.0.9
  • receitas de 0.2.0 a 1.0.1
  • RLANG de 1.0.2 a 1.0.4
  • roxigen2 de 7.2.0 a 7.2.1
  • RSQLite de 2.2.14 a 2.2.15
  • sass de 0.4.1 a 0.4.2
  • brilhante de 1.7.1 a 1.7.2
  • stringi de 1.7.6 a 1.7.8
  • Tibble de 3.1.7 a 3.1.8
  • Tidyverse de 1.3.1 a 1.3.2
  • timeDate de 3043.102 a 4021.104
  • xfun de 0,31 a 0,32
• Bibliotecas Java atualizadas:
  • org.apache.orc.orc-core de 1.7.4 a 1.7.5
  • org.apache.orc.orc-mapreduce de 1.7.4 para 1.7.5
  • org.apache.orc.orc-shims de 1.7.4 para 1.7.5

Apache Spark

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Retornar tipos de intervalo ANSI mais amplos das funções de percentil
• [SPARK-40054] [SQL] Restaurar a sintaxe de tratamento de erros de try_cast()
• [SPARK-39489] [CORE] Melhorar o desempenho do JsonProtocol no registo de eventos usando Jackson em vez de Json4s
• [SPARK-39319] [CORE][sql] Crie contextos de consulta como parte do SparkThrowable
• [FAÍSCA-40085] [SQL] Use a classe de erro INTERNAL_ERROR em vez de IllegalStateException para indicar bugs
• [SPARK-40001] [SQL] Fazer gravações NULL em colunas JSON DEFAULT gravar 'null' no armazenamento
• [SPARK-39635] [SQL] Suporte a métricas do driver na API de métricas personalizadas do DS v2
• [SPARK-39184] [SQL] Manipular matriz de resultados subdimensionada em sequências de data e de carimbo de data e hora
• [FAÍSCA-40019] [SQL] Refatore o comentário de ArrayType continsNull e refatore as lógicas de mal-entendido na expressão de collectionOperator sobre containsNull
• [SPARK-39989] [SQL] Suporta estatísticas de coluna de estimativa se for expressão dobrável
• [SPARK-39926] [SQL] Corrigir bug no suporte para DEFAULT em colunas para varreduras Parquet não vetorizadas
• [SPARK-40052] [SQL] Manipular buffers de byte diretos em VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Corrigir o tipo de intervalo de destino em erros de estouro de conversão
• [SPARK-39835] [SQL] Corrigir erro onde EliminateSorts remove a classificação global abaixo da classificação local
• [SPARK-40002] [SQL] Não empurre o limite através da janela usando ntile
• [SPARK-39976] [SQL] ArrayIntersect deve manipular null na expressão à esquerda corretamente
• [SPARK-39985] [SQL] Habilitar valores de coluna DEFAULT implícitos em inserções de DataFrames
• [SPARK-39776] [SQL] JOIN string detalhada deve adicionar o tipo de Junção
• [FAÍSCA-38901] [SQL] DS V2 suporta funções diversas de pushdown
• [SPARK-40028] [SQL][followup] Melhorar exemplos de funções de cadeia de caracteres
• [SPARK-39983] [CORE][sql] Não armazenar em cache relações de difusão não serializadas no driver
• [c0][SPARK-39812][/c0] [SQL] O código que constrói AggregateExpression com toAggregateExpression deve ser simplificado.
• [FAÍSCA-40028] [SQL] Adicionar exemplos binários para expressões de cadeia de caracteres
• [SPARK-39981] [SQL] Lançar a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert no Cast
• [SPARK-40007] [PYTHON][sql] Adicionar 'modo' a funções
• [SPARK-40008] [SQL] Suportar conversão de inteiros para intervalos ANSI
• [SPARK-40003] [PYTHON][sql] Adicionar 'mediana' às funções
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve recachear a relação de resultado
• [SPARK-39951] [SQL] Atualizar verificação colunar do Parquet V2 para campos aninhados
• [SPARK-33236] [shuffle] Retroportar para DBR 11.x: habilitar o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para uma reinicialização do trabalho preservada.
• [FAÍSCA-39836] [SQL] Simplifique o V2ExpressionBuilder ao extrair o método comum.
• [SPARK-39873] [SQL] Remova OptimizeLimitZero e mescle-o em EliminateLimits
• [FAÍSCA-39961] [SQL] DS V2 push-down traduzir Cast se o elenco é seguro
• [SPARK-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a API de entrada de Array em VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Remover AliasHelper ou PredicateHelper desnecessários para algumas regras
• [FAÍSCA-39900] [SQL] Abordar condição parcial ou negada no rebaixamento de predicados do formato binário
• [FAÍSCA-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
• [FAÍSCA-39958] [SQL] Adicionar registro de aviso quando não seja possível carregar o objecto de métrica personalizado.
• [SPARK-39932] [SQL] WindowExec deve limpar o buffer de partição final
• [SPARK-37194] [SQL] Evitar o ordenamento desnecessário na escrita v1 se não for uma partição dinâmica
• [SPARK-39902] [SQL] Adicionar detalhes do Scan ao nó de varredura do plano de spark no SparkUI
• [SPARK-39865] [SQL] Mostrar mensagens de erro apropriadas sobre os erros de transbordamento ao inserir na tabela
• [SPARK-39940] [SS] Atualizar tabela de catálogo na consulta de streaming com coletor DSv1
• [SPARK-39827] [SQL] Use a classe ARITHMETIC_OVERFLOW de erro no overflow de int em add_months()
• [SPARK-39914] [SQL] Adicionar Filtro DS V2 à conversão para Filtro V1
• [SPARK-39857] [SQL] Backport manual DBR 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue errado no predicado In #43454
• [SPARK-39840] [SQL][python] Extrair PythonArrowInput como um contraponto a PythonArrowOutput
• [SPARK-39651] [SQL] Eliminar a condição do filtro se a comparação com rand for determinística
• [SPARK-39877] [PYTHON] Adicionar função de unpivot à API DataFrame do PySpark
• [SPARK-39909] [SQL] Organizar a verificação das informações de push down para JDBCV2Suite
• [SPARK-39834] [SQL][ss] Inclua as estatísticas de origem e restrições para LogicalRDD se ele vier de DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
• [SPARK-39860] [SQL] Mais expressões devem expandir Predicado
• [SPARK-39823] [SQL][python] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
• [SPARK-39918] [SQL][minor] Substitua a expressão "não comparável" por "incomparável" na mensagem de erro
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In
• [SPARK-39862] [SQL] Backport manual do PR 43654 para o DBR 11.x: Atualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir/negar ALTER TABLE ... Adicione os comandos COLUMN separadamente.
• [SPARK-39844] [SQL] Backport manual para o PR 43652 direcionado ao DBR 11.x
• [SPARK-39899] [SQL] Corrigir a passagem de parâmetros de mensagem para InvalidUDFClassException
• [SPARK-39890] [SQL] Fazer com que TakeOrderedAndProjectExec herde AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Suporte para CharType no PySpark
• [SPARK-38864] [SQL] Adicionar unpivot / melt ao Dataset
• [SPARK-39864] [SQL] Registar ExecutionListenerBus de forma preguiçosa
• [SPARK-39808] [SQL] Suporta a função agregada MODA
• [SPARK-39875] [SQL] Alterar protected método na classe final para private ou package-visible
• [SPARK-39731] [SQL] Corrigir problema em fontes de dados CSV e JSON ao interpretar datas no formato "yyyyMMdd" com a política de análise de tempo CORRIGIDA
• [FAÍSCA-39805] [SS] Descontinuar Trigger.Once e Promover Trigger.AvailableNow
• [SPARK-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir o Catalyst Expression para o filtro da fonte de dados
• [SPARK-39672] [SQL][3.1] Corrigir a remoção da projeção antes do filtro com subconsulta correlacionada
• [SPARK-39552] [SQL] Unificar v1 e v2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists deverá lidar com namespace aninhado
• [SPARK-37287] [SQL] Retire a partição dinâmica e a classificação de bucket de FileFormatWriter
• [SPARK-39469] [SQL] Inferir tipo de data para inferência de esquema CSV
• [SPARK-39148] [SQL] DS V2 aggregate push down pode funcionar com OFFSET ou LIMIT
• [SPARK-39818] [SQL] Corrigir bug em tipos ARRAY, STRUCT e MAP com valores DEFAULT e campo(s) NULL
• [SPARK-39792] [SQL] Adicionar DecimalDivideWithOverflowCheck para a média decimal
• [SPARK-39798] [SQL] Replace toSeq.toArray com .toArray[Any] no construtor de GenericArrayData
• [SPARK-39759] [SQL] Implementar listIndexes em JDBC (dialeto H2)
• [SPARK-39385] [SQL] Suporta push down REGR_AVGX e REGR_AVGY
• [FAÍSCA-39787] [SQL] Utilize a classe de erro no erro de análise da função to_timestamp
• [SPARK-39760] [PYTHON] Suporte a Varchar no PySpark
• [SPARK-39557] [SQL] retroversão manual para DBR 11.x: suporte a tipos ARRAY, STRUCT, MAP como valores pré-definidos
• [SPARK-39758] [SQL][3.3] Corrigir NPE das funções regexp devido a padrões inválidos
• [SPARK-39749] [SQL] Modo ANSI SQL: Use uma representação simples de string ao converter de Decimal para String
• [SPARK-39704] [SQL] Implementar createIndex & dropIndex & indexExists em JDBC (dialeto H2)
• [FAÍSCA-39803] [SQL] Utilizar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Suporte para o tipo TimestampNTZ na fonte de dados JDBC
• [SPARK-39781] [SS] Adicionar suporte para fornecimento de max_open_files ao fornecedor do armazenamento de estado rocksdb
• Implementar databaseExists/getDatabase no apoio ao namespace 3L no SparkR
• [SPARK-39751] [SQL] Renomear métrica de sondagem de chave de agregação de hash
• [FAÍSCA-39772] [SQL] namespace deve ser null quando a base de dados for nula nos construtores antigos.
• [SPARK-39625] [SPARK-38904][sql] Adicionar Dataset.as(StructType)
• [FAÍSCA-39384] [SQL] Compilar funções de agregação de regressão linear integradas para o dialeto JDBC
• [SPARK-39720] [R] Implementar tableExists/getTable no namespace SparkR para 3L
• [FAÍSCA-39744] [SQL] Adicionar a REGEXP_INSTR função
• [SPARK-39716] [R] Fazer com que currentDatabase/setCurrentDatabase/listCatalogs no SparkR suporte o namespace 3L
• [FAÍSCA-39788] [SQL] Renomear catalogName para dialectName para JdbcUtils
• [SPARK-39647] [CORE] Registe o executor no ESS antes de registar o BlockManager
• [SPARK-39754] [CORE][sql] Remover import ou {} não utilizados ou desnecessários
• [SPARK-39706] [SQL] Definir coluna ausente com defaultValue como constante no ParquetColumnVector
• [SPARK-39699] [SQL] Tornar o CollapseProject mais eficaz em expressões de criação de coleções
• [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devem suportar filtro agregado
• [SPARK-39579] [SQL][python][R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
• [SPARK-39627] [SQL] O pushdown JDBC V2 deve unificar a API de compilação
• [SPARK-39748] [SQL][ss] Inclua o plano lógico de origem para LogicalRDD se ele vier de DataFrame
• [SPARK-39385] [SQL] Traduzir funções agregadas de regressão linear para pushdown
• [FAÍSCA-39695] [SQL] Adicionar a função REGEXP_SUBSTR
• [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para criar e transmitir a tabela
• [SPARK-39666] [ES-337834][sql] Utilize UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode no ExpressionEncoder
• [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores predefinidos (DEFAULT)
• [SPARK-38647] [SQL] Adicionar o mix-in SupportsReportOrdering na interface para Scan (DataSourceV2)
• [SPARK-39497] [SQL] Melhorar a exceção de análise da coluna de chave de mapa ausente
• [FAÍSCA-39661] [SQL] Evite criar SLF4J Logger desnecessário
• [SPARK-39713] [SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para erro INVALID_ARRAY_INDEX
• [FAÍSCA-38899] [SQL]O DS V2 suporta funções push down datetime
• [SPARK-39638] [SQL] Alterar para usar ConstantColumnVector para armazenar colunas de partição no OrcColumnarBatchReader
• [SPARK-39653] [SQL] Limpar ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) de ColumnVectorUtils
• [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar colunas de partição no VectorizedParquetRecordReader
• [FAÍSCA-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamespaceMetadata
• [SPARK-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Revisão MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordem de saída do filho
• [FAÍSCA-39606] [SQL] Usar estatísticas filho para estimar o operador de ordem
• [SPARK-39611] [PYTHON][ps] Corrigir aliases errados no array_ufunc
• [SPARK-39656] [SQL][3.3] Corrigir namespace errado em DescribeNamespaceExec
• [SPARK-39675] [SQL] Alterar a configuração 'spark.sql.codegen.factoryMode' do propósito de teste para o propósito interno
• [SPARK-39139] [SQL] DS V2 suporta push down de funções definidas pelo usuário (UDF) usando DS V2.
• [SPARK-39434] [SQL] Fornecer contexto de consulta de erro de tempo de execução quando o índice de matriz estiver fora do limite
• [SPARK-39479] [SQL] DS V2 suporta a aplicação de funções matemáticas otimizadas (não ANSI)
• [SPARK-39618] [SQL] Adicionar a REGEXP_COUNT função
• [SPARK-39553] [CORE] O cancelamento multithread do shuffle não deve lançar NPE ao usar o Scala na versão 2.13.
• [SPARK-38755] [PYTHON][3.3] Adicionar ficheiro para tratar funções gerais em falta do pandas
• [SPARK-39444] [SQL] Adicionar OptimizeSubqueries na lista nonExcludableRules
• [SPARK-39316] [SQL] Mesclar PromotePrecision e CheckOverflow em aritmética binária decimal
• [SPARK-39505] [UI] Escapar o conteúdo dos logs renderizados na interface de utilizador
• [SPARK-39448] [SQL] Adicionar ReplaceCTERefWithRepartition a nonExcludableRules lista
• [SPARK-37961] [SQL] Sobrepor maxRows/maxRowsPerPartition para alguns operadores lógicos
• [SPARK-35223] Reverter a Adição de Link de Navegação de Problemas
• [SPARK-39633] [SQL] Suporte a timestamp em segundos para TimeTravel usando as opções de Dataframe
• [SPARK-38796] [SQL] Atualizar a documentação para cadeias de formato numérico com as funções {try_}to_number
• [SPARK-39650] [SS] Corrigir esquema de valores incorretos na desduplicação de streaming com compatibilidade retroativa
• [SPARK-39636] [CORE][ui] Corrija vários bugs no JsonProtocol, afetando o heap StorageLevels e o Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Retorna ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
• [FAÍSCA-39349] Adicionar um método CheckError centralizado para QA do caminho de erro
• [FAÍSCA-39453] [SQL] DS V2 suporta a aplicação direta de várias funções não-agregadas (não ANSI)
• [SPARK-38978] [SQL] DS V2 suporta a propagação para baixo do OFFSET operador
• [SPARK-39567] [SQL] Suporta intervalos ANSI nas funções de percentil
• [SPARK-39383] [SQL] suporte colunas DEFAULT em ALTER TABLE ALTER para fontes de dados V2
• [SPARK-39396] [SQL] Corrigir exceção de login LDAP 'código de erro 49 - credenciais inválidas'
• [SPARK-39548] [SQL] O comando CreateView com uma consulta que contém uma cláusula de janela encontrou um problema de definição de janela incorreta não encontrada.
• [SPARK-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get no Avro...
• [FAÍSCA-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se houver retrocesso para v1
• [SPARK-39564] [SS] Expor as informações da tabela de catálogo ao plano lógico na consulta de streaming
• [SPARK-39582] [SQL] Corrigir marcador "Since" para array_agg
• [FAÍSCA-39388] [SQL] Reutilizar orcSchema quando empurrar predicados Orc para baixo
• [SPARK-39511] [SQL] Aprimorar a aplicação descendente do limite local de 1 para o lado direito de uma junção semi-esquerda/anti-esquerda se a condição de junção estiver vazia
• [SPARK-38614] [SQL] Não empurre o limite para baixo através da janela que está usando percent_rank
• [SPARK-39551] [SQL] Adicionar verificação de plano inválido do AQE
• [SPARK-39383] [SQL] Suporte de colunas DEFAULT em ALTER TABLE ADD COLUMNS a fontes de dados V2
• [SPARK-39538] [SQL] Evite criar SLF4J Logger desnecessário
• [SPARK-39383] [SQL] retrocessão manual para o DBR 11.x: refatorar o suporte à coluna DEFAULT para evitar a transferência do Analisador principal
• [SPARK-39397] [SQL] Relaxar AliasAwareOutputExpression para suportar alias com expressão
• [SPARK-39496] [SQL] Manipular a estrutura nula em Inline.eval
• [SPARK-39545] [SQL] Substituir o método concat para ExpressionSet no Scala 2.13 para melhorar o desempenho
• [SPARK-39340] [SQL] O agg pushdown do DS v2 deveria permitir pontos no nome das colunas de nível superior
• [SPARK-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
• [SPARK-38846] [SQL] Adicionar mapeamento explícito de dados entre Teradata Numeric Type e Spark DecimalType
• [SPARK-39520] [SQL] Sobrescrever o método -- em ExpressionSet no Scala 2.13
• [SPARK-39470] [SQL] Suporte para a conversão de intervalos ANSI para decimais
• [SPARK-39477] [SQL] Remova as informações de "Número de consultas" dos arquivos dourados do SQLQueryTestSuite
• [SPARK-39419] [SQL] Corrigir ArraySort para lançar uma exceção quando o comparador retornar null
• [SPARK-39061] [SQL] Definir corretamente como anuláveis os Inline atributos de saída
• [SPARK-39320] [SQL] Suporte à função de agregação MEDIAN
• [SPARK-39261] [CORE] Melhorar a formatação de quebras de linha para mensagens de erro
• [SPARK-39355] [SQL] Coluna única usa aspas para construir UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigir propriedades
• [SPARK-37623] [SQL] Suporte à função de agregação ANSI: regr_intercept
• [SPARK-39374] [SQL] Melhorar mensagem de erro para lista de colunas especificada pelo usuário
• [SPARK-39255] [SQL][3.3] Melhorar as mensagens de erro
• [SPARK-39321] [SQL] Refatore TryCast para usar RuntimeReplaceable
• [SPARK-39406] [PYTHON] Aceitar matriz NumPy em createDataFrame
• [SPARK-39267] [SQL] Limpar o símbolo desnecessário dsl
• [SPARK-39171] [SQL] Unificar a expressão Cast
• [SPARK-28330] [SQL] Suporte ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
• [SPARK-39203] [SQL] Reescreva o local da tabela em um URI absoluto com base no URI do banco de dados
• [SPARK-39313] [SQL] toCatalystOrdering deve falhar se V2Expression não puder ser traduzido
• [SPARK-39301] [SQL][python] Aproveite o LocalRelation e respeite o tamanho do lote de Arrow em createDataFrame com otimização de Arrow
• [SPARK-39400] [SQL] spark-sql deve, em todos os casos, remover o diretório de recursos do hive

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 11.2.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Píton: 3.9.5
• R: 4.1.3
• Lago Delta: 2.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2022-08-15.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)