Tempo de execução do Databricks 12.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 12.1, alimentado pelo Apache Spark 3.3.1.

A Databricks lançou esta versão em janeiro de 2023.

Novos recursos e melhorias

• funcionalidades do Delta Lake table suportadas para a gestão de protocolos
• A E/S preditiva para atualizações está em pré-visualização pública
• Catalog Explorer agora está disponível para todas as personas
• Suporte para vários operadores com monitoração de estado em uma única consulta de streaming
• O suporte para buffers de protocolo está em Visualização Pública
• Suporte para autenticação Confluent Schema Registry
• Suporte para compartilhar table histórico com o Delta Sharing shares
• Suporte para streaming com Delta Sharing shares
• Table a versão que utiliza carimbo de data/hora agora é suportada para Delta Sharing tables em catalogs
• Suporte para QUANDO NÃO HOUVER CORRESPONDÊNCIA COM A FONTE para MERGE INTO
• Recolha de estatísticas otimizada para CONVERT TO DELTA
• Unity Catalog apoio para a eliminação de tables

Funcionalidades do Delta Lake table suportadas para gestão de protocolo

Azure Databricks introduziu suporte para funcionalidades table do Delta Lake, que introduzem sinalizadores granulares especificando quais funcionalidades são suportadas por um determinado table. Consulte Como o Azure Databricks gere a compatibilidade de funcionalidades do Delta Lake?.

A E/S preditiva para atualizações está em pré-visualização pública

A E/S preditiva agora acelera as operações de DELETE, MERGEe UPDATE para tables Delta com vetores de exclusão habilitados na computação habilitada para Photon. Consulte O que é E/S preditiva?.

Catalog Explorer já está disponível para todas as personas

Catalog Explorer está agora disponível para todos os perfis de utilizadores do Azure Databricks ao usar o Databricks Runtime 7.3 LTS e superior.

Suporte para vários operadores com monitoração de estado em uma única consulta de streaming

Os usuários agora podem encadear operadores com estado com o modo de acréscimo na consulta de streaming. Nem todos os operadores são totalmente suportados. O intervalo de tempo entre fluxos join e flatMapGroupsWithState não permite que outros operadores com estado sejam encadeados.

O suporte para buffers de protocolo está em Visualização Pública

Você pode usar as from_protobuf funções e to_protobuf para trocar dados entre os tipos binário e struct. Consulte Buffers de protocolo de leitura e gravação.

Suporte para a autenticação do Confluent Schema Registry

A integração do Azure Databricks com o Confluent Schema Registry agora oferece suporte a endereços externos schema do Registro com autenticação. Este recurso está disponível para from_avro, to_avro, from_protobufe to_protobuf funções. Veja Protobuf ou Avro.

Suporte para compartilhar table histórico com o Delta Sharing shares

Agora você pode compartilhar um table com histórico completo usando o Delta Sharing, permitindo que recipients realize consultas de viagem no tempo e consulte o table usando o Spark Structured Streaming. WITH HISTORY é recomendado em vez de , embora este último continue a ser apoiado CHANGE DATA FEED. Consulte ALTER SHARE e ; adicione tables a uma partilha.

Suporte para streaming com Delta Sharing shares

O Spark Structured Streaming agora funciona com o formato deltasharing em uma fonte Delta Sharing table que foi partilhada usando WITH HISTORY.

A versão Table usando carimbo de data/hora é agora suportada para Delta Sharing tables em catalogs.

Agora pode usar a sintaxe SQL TIMESTAMP AS OF em instruções SELECT para especificar a versão de um Delta Sharing table montado num catalog. Tables deve ser partilhado usando WITH HISTORY.

Suporte para QUANDO NÃO HÁ CORRESPONDÊNCIA NA FONTE para MERGE INTO

Agora você pode adicionar cláusulas WHEN NOT MATCHED BY SOURCE para MERGE INTO para update ou excluir linhas na table escolhida que não tenham correspondências no table de origem com base na condição de mesclagem. A nova cláusula está disponível em SQL, Python, Scala e Java. Consulte MERGE INTO.

Recolha de estatísticas otimizada para CONVERT TO DELTA

A recolha de estatísticas para a CONVERT TO DELTA operação é agora muito mais rápida. Isso reduz o número de cargas de trabalho que podem ser usadas NO STATISTICS para eficiência.

Unity Catalog suporte para restauração de tables

Este recurso foi inicialmente lançado no Public Preview. É GA a partir de 25 de outubro de 2023.

Agora pode reverter um table gerido ou externo descartado dentro de um schema existente no prazo de sete dias após o descarte. Ver UNDROP TABLE e SHOW TABLES DROPPED.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.8.0 a 3.8.2
  • platformdirs de 2.5.4 a 2.6.0
  • setuptools de 58.0.4 a 61.2.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.5.2 a 0.6.2
  • org.apache.hive.hive-storage-api de 2.7.2 a 2.8.1
  • org.apache.parquet.parquet-column de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-comum de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-codificação de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.tukaani.xz de 1.8 a 1.9

Faísca Apache

O Databricks Runtime 12.1 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 12.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-41405] [SC-119769][12.1.0] Reverter “[SC-119411][SQL] Centralizar a lógica de resolução column” e “[SC-117170][SPARK-41338][SQL] Resolver referências externas e normais columns no mesmo lote do analisador”
• [SPARK-41405] [SC-119411][SQL] Centralize a lógica de resolução column
• [SPARK-41859] [SC-119514][SQL] CreateHiveTableAsSelectCommand deve set o sinalizador de substituição corretamente
• [FAÍSCA-41659] [SC-119526][CONECTAR][12.X] Ativar doctests em pyspark.sql.connect.readwriter
• [FAÍSCA-41858] [SC-119427][SQL] Corrigir regressão perf do leitor ORC devido ao recurso de valor DEFAULT
• [SPARK-41807] [SC-119399][CORE] Remove classe de erro inexistente: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [FAÍSCA-41578] [12.x][SC-119273][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2141
• [FAÍSCA-41571] [SC-119362][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][CONNECT] Inferir nomes a partir de uma list de dicionários no SparkSession.createDataFrame
• [FAÍSCA-40993] [SC-119504][FAÍSCA-41705][CONECTAR][12.X] Mova a documentação e o script do Spark Connect para a documentação dev/ e Python
• [FAÍSCA-41534] [SC-119456][CONECTAR][SQL][12.x] Configurar o módulo de cliente inicial para o Spark Connect
• [FAÍSCA-41365] [SC-118498][UI][3.3] A página Stages UI não é carregada para proxy em ambiente de fio específico
• [FAÍSCA-41481] [SC-118150][CORE][SQL] Reutilizar INVALID_TYPED_LITERAL em vez de _LEGACY_ERROR_TEMP_0020
• [FAÍSCA-41049] [SC-119305][SQL] Revisitar a manipulação de expressões com monitoração de estado
• [SPARK-41726] [SC-119248][SQL] RemoveOptimizedCreateHiveTableAsSelectCommand
• [FAÍSCA-41271] [SC-118648][SC-118348][SQL] Suporte a consultas SQL parametrizadas por sql()
• [FAÍSCA-41066] [SC-119344][CONECTAR][PYTHON] Implementar DataFrame.sampleBy e DataFrame.stat.sampleBy
• [FAÍSCA-41407] [SC-119402][SC-119012][SQL][TODOS OS TESTES] Extrair v1 gravar em WriteFiles
• [FAÍSCA-41565] [SC-118868][SQL] Adicionar a classe de erro UNRESOLVED_ROUTINE
• [FAÍSCA-41668] [SC-118925][SQL] A função DECODE retorna resultados errados quando passado NULL
• [FAÍSCA-41554] [SC-119274] corrigir a mudança da escala decimal quando a escala diminuiu em m...
• [FAÍSCA-41065] [SC-119324][CONECTAR][PYTHON] Implementar DataFrame.freqItems e DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][SPARK-41745][CONNECT][12.X] Reative testes doc e adicione alias de column ausentes a count()
• [FAÍSCA-41069] [SC-119310][CONECTAR][PYTHON] Implementar DataFrame.approxQuantile e DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][CONNECT][PYTHON] Fazer com que a função from_json suporte o DataType Schema
• [FAÍSCA-41804] [SC-119382][SQL] Escolha o tamanho correto do elemento para InterpretedUnsafeProjection a matriz de UDTs
• [FAÍSCA-41786] [SC-119308][CONECTAR][PYTHON] Eliminar a duplicação de funções auxiliares
• [SPARK-41745] [SC-119378][SPARK-41789][12.X] Faça createDataFrame suporte list de linhas
• [SPARK-41344] [SC-119217][SQL] Tornar o erro mais claro quando table não encontrado em SupportsCatalogOptions catalog
• [FAÍSCA-41803] [SC-119380][CONECTAR][PYTHON] Adicionar função em falta log(arg1, arg2)
• [FAÍSCA-41808] [SC-119356][CONECTAR][PYTHON] Tornar as funções JSON opções de suporte
• pt-PT: [SPARK-41779] [SC-119275][SPARK-41771][CONNECT][PYTHON] Tornar __getitem__ compatível com filtro e select
• [SPARK-41783] [SC-119288][SPARK-41770][CONNECT][PYTHON] Fazer o column suportar o valor 'None'
• [FAÍSCA-41440] [SC-119279][CONECTAR][PYTHON] Evite o operador de cache para Sample geral.
• [FAÍSCA-41785] [SC-119290][CONECTAR][PYTHON] Implementar GroupedData.mean
• [FAÍSCA-41629] [SC-119276][CONECTAR] Suporte para extensões de protocolo em relação e expressão
• [FAÍSCA-41417] [SC-118000][CORE][SQL] Renomear _LEGACY_ERROR_TEMP_0019 para INVALID_TYPED_LITERAL
• [FAÍSCA-41533] [SC-119342][CONECTAR][12.X] Tratamento adequado de erros para o Spark Connect Server / Client
• Suporte [SPARK-41292] [SC-119357][CONNECT][12.X] Window no pyspark.sql.window namespace
• [FAÍSCA-41493] [SC-119339][CONECTAR][PYTHON] Tornar as funções csv opções de suporte
• [FAÍSCA-39591] [SC-118675][SS] Acompanhamento assíncrono do progresso
• [FAÍSCA-41767] [SC-119337][CONECTAR][PYTHON][12.X] Implementar Column.{withField, dropFields}
• [FAÍSCA-41068] [SC-119268][CONECTAR][PYTHON] Implementar DataFrame.stat.corr
• [SPARK-41655] [SC-119323][CONNECT][12.X] Ative testes de documentação no pyspark.sql.connect.column
• [FAÍSCA-41738] [SC-119170][CONECTAR] Misture ClientId no cache do SparkSession
• [FAÍSCA-41354] [SC-119194][CONECTAR] Adicionar RepartitionByExpression ao proto
• [SPARK-41784] [SC-119289][CONNECT][PYTHON] Adicionar o __rmod__ ausente no Column
• [FAÍSCA-41778] [SC-119262][SQL] Adicionar um alias "reduce" a ArrayAggregate
• [FAÍSCA-41067] [SC-119171][CONECTAR][PYTHON] Implementar DataFrame.stat.cov
• [FAÍSCA-41764] [SC-119216][CONECTAR][PYTHON] Torne o nome da operação de cadeia de caracteres interna consistente com FunctionRegistry
• [SPARK-41734] [SC-119160][CONNECT] Adicionar uma mensagem pai para Catalog
• [FAÍSCA-41742] [SC-119263] Suporte df.groupBy().agg({"*":"count"})
• [FAÍSCA-41761] [SC-119213][CONECTAR][PYTHON] Corrigir operações aritméticas: __neg__, __pow__, __rpow__
• [FAÍSCA-41062] [SC-118182][SQL] Renomear UNSUPPORTED_CORRELATED_REFERENCE para CORRELATED_REFERENCE
• [FAÍSCA-41751] [SC-119211][CONECTAR][PYTHON] Corrigir Column.{isNull, isNotNull, eqNullSafe}
• [FAÍSCA-41728] [SC-119164][CONECTAR][PYTHON][12.X] Implementar unwrap_udt função
• [FAÍSCA-41333] [SC-119195][FAÍSCA-41737] Implementar GroupedData.{min, max, avg, sum}
• [FAÍSCA-41751] [SC-119206][CONECTAR][PYTHON] Corrigir Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][SQL] Suporta resolução de alias de column lateral implícita no Aggregate
• [FAÍSCA-41529] [SC-119207][CONECTAR][12.X] Implementar SparkSession.stop
• [FAÍSCA-41729] [SC-119205][CORE][SQL][12.X] Renomear _LEGACY_ERROR_TEMP_0011 para UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [FAÍSCA-41717] [SC-119078][CONECTAR][12.X] Eliminar a duplicação de impressão e repr_html na LogicalPlan
• [FAÍSCA-41740] [SC-119169][CONECTAR][PYTHON] Implementar Column.name
• [FAÍSCA-41733] [SC-119163][SQL][SS] Aplicar poda baseada em padrão de árvore para a regra ResolveWindowTime
• [FAÍSCA-41732] [SC-119157][SQL][SS] Aplicar poda baseada em padrão de árvore para a regra SessionWindowing
• [FAÍSCA-41498] [SC-119018] Propagar metadados através da União
• [SPARK-41731] [SC-119166][CONNECT][PYTHON][12.X] Implementar o acessador column
• [FAÍSCA-41736] [SC-119161][CONECTAR][PYTHON] pyspark_types_to_proto_types deve apoiar ArrayType
• [FAÍSCA-41473] [SC-119092][CONECTAR][PYTHON] Implementar format_number função
• [SPARK-41707] [SC-119141][CONNECT][12.X] Implementar Catalog API no Spark Connect
• [FAÍSCA-41710] [SC-119062][CONECTAR][PYTHON] Implementar Column.between
• [FAÍSCA-41235] [SC-119088][SQL][PYTHON]Função de alta ordem: array_compact implementação
• [FAÍSCA-41518] [SC-118453][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2422
• [FAÍSCA-41723] [SC-119091][CONECTAR][PYTHON] Implementar sequence função
• [FAÍSCA-41703] [SC-119060][CONECTAR][PYTHON] Combine NullType e typed_null em literal
• [SPARK-41722] [SC-119090][CONNECT][PYTHON] Implementar 3 funções de window de tempo ausentes
• [SPARK-41503] [SC-119043][CONNECT][PYTHON] Implementar funções de transformação Partition
• [SPARK-41413] [SC-118968][SQL] Evite shuffle em Storage-Partitioned Join quando as chaves de partition não corresponderem, mas as expressões de join sejam compatíveis
• [SPARK-41700] [SC-119046][CONNECT][PYTHON] RemoveFunctionBuilder
• [FAÍSCA-41706] [SC-119094][CONECTAR][PYTHON] pyspark_types_to_proto_types deve apoiar MapType
• [SPARK-41702] [SC-119049][CONNECT][PYTHON] Adicionar operações de column inválidas
• [SPARK-41660] [SC-118866][SQL] Propagar metadados columns somente se forem usados
• [SPARK-41637] [SC-119003][SQL] ORDER BY TODOS
• [FAÍSCA-41513] [SC-118945][SQL] Implementar um acumulador para coletar métricas de contagem de linhas por mapeador
• [FAÍSCA-41647] [SC-119064][CONECTAR][12.X] Eliminar a duplicação de docstrings em pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][CONNECT][PYTHON] Tornar operacional o suporte para columndecimal
• [FAÍSCA-41383] [SC-119015][FAÍSCA-41692][FAÍSCA-41693] Implementar rollup, cube e pivot
• [SPARK-41635] [SC-118944][SQL] GROUP BY TODOS
• [FAÍSCA-41645] [SC-119057][CONECTAR][12.X] Eliminar a duplicação de docstrings no pyspark.sql.connect.dataframe
• [FAÍSCA-41688] [SC-118951][CONECTAR][PYTHON] Mover expressões para expressions.py
• [FAÍSCA-41687] [SC-118949][CONECTAR] Eliminar a duplicação de docstrings em pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][CONNECT] Deduplicar docstrings no módulo pyspark.sql.connect.window
• [FAÍSCA-41681] [SC-118939][CONECTAR] Fator GroupedData para group.py
• [FAÍSCA-41292] [SC-119038][FAÍSCA-41640][FAÍSCA-41641][CONECTAR][PYTHON][12.X] Implementar Window funções
• [SPARK-41675] [SC-119031][SC-118934][CONNECT][PYTHON][12.X] Tornar suporte operacional de Columndatetime
• [FAÍSCA-41672] [SC-118929][CONECTAR][PYTHON] Ativar as funções preteridas
• [FAÍSCA-41673] [SC-118932][CONECTAR][PYTHON] Implementar Column.astype
• [FAÍSCA-41364] [SC-118865][CONECTAR][PYTHON] Implementar broadcast função
• [FAÍSCA-41648] [SC-118914][CONECTAR][12.X] Eliminar a duplicação de docstrings no pyspark.sql.connect.readwriter
• [FAÍSCA-41646] [SC-118915][CONECTAR][12.X] Eliminar a duplicação de docstrings no pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][CONNECT][12.X] Deduplicar docstrings no módulo pyspark.sql.connect.column
• [FAÍSCA-41663] [SC-118936][CONECTAR][PYTHON][12.X] Implementar o restante das funções do Lambda
• [SPARK-41441] [SC-118557][SQL] Suporte Generate sem requisitos de saída de filhos necessários para suportar referências externas
• [FAÍSCA-41669] [SC-118923][SQL] Poda antecipada em canCollapseExpressions
• [SPARK-41639] [SC-118927][SQL][PROTOBUF] : Remove ScalaReflectionLock de SchemaConverters
• [FAÍSCA-41464] [SC-118861][CONECTAR][PYTHON] Implementar DataFrame.to
• [FAÍSCA-41434] [SC-118857][CONECTAR][PYTHON] Execução inicial LambdaFunction
• [FAÍSCA-41539] [SC-118802][SQL] Remapear estatísticas e restrições em relação à saída no plano lógico para LogicalRDD
• [FAÍSCA-41396] [SC-118786][SQL][PROTOBUF] OneOf suporte de campo e verificações de recursão
• [FAÍSCA-41528] [SC-118769][CONECTAR][12.X] Mesclar namespace do Spark Connect e da API do PySpark
• [FAÍSCA-41568] [SC-118715][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1236
• [FAÍSCA-41440] [SC-118788][CONECTAR][PYTHON] Implementar DataFrame.randomSplit
• [FAÍSCA-41583] [SC-118718][SC-118642][CONECTAR][PROTOBUF] Adicione o Spark Connect e o protobuf ao setup.py com a especificação de dependências
• [SPARK-27561] [SC-101081][12.x][SQL] Suportar a resolução implícita de alias lateral de column no Project
• [SPARK-41535] [SC-118645][SQL] Set nulo corretamente para campos de intervalo de calendário no InterpretedUnsafeProjection e InterpretedMutableProjection
• [FAÍSCA-40687] [SC-118439][SQL] Suporte de mascaramento de dados built-in função 'máscara'
• [FAÍSCA-41520] [SC-118440][SQL] Divida AND_OR TreePattern para separar E e OU TreePatterns
• [FAÍSCA-41349] [SC-118668][CONECTAR][PYTHON] Implementar DataFrame.hint
• [FAÍSCA-41546] [SC-118541][CONECTAR][PYTHON] pyspark_types_to_proto_types deve suportar StructType.
• [FAÍSCA-41334] [SC-118549][CONECTAR][PYTHON] Mover SortOrder proto de relações para expressões
• [SPARK-41387] [SC-118450][SS] Afirmar offset final atual da fonte de dados Kafka para Trigger.AvailableNow
• [SPARK-41508] [SC-118445][CORE][SQL] Renomear _LEGACY_ERROR_TEMP_1180 para UNEXPECTED_INPUT_TYPE e remove_LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][CONNECT][PYTHON] Implementar Column.{when, otherwise} e função when com UnresolvedFunction
• [FAÍSCA-41541] [SC-118460][SQL] Corrigir chamada para método filho errado em SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [FAÍSCA-41453] [SC-118458][CONECTAR][PYTHON] Implementar DataFrame.subtract
• [FAÍSCA-41248] [SC-118436][SC-118303][SQL] Adicione "spark.sql.json.enablePartialResults" para ativar/desativar resultados parciais JSON
• [SPARK-41437] Reverter "[SC-117601][SQL] Não optimize o inputquery duas vezes no caso de fallback de gravação v1"
• [FAÍSCA-41472] [SC-118352][CONECTAR][PYTHON] Implementar o resto das funções string/binárias
• [FAÍSCA-41526] [SC-118355][CONECTAR][PYTHON] Implementar Column.isin
• [FAÍSCA-32170] [SC-118384] [CORE] Melhore a especulação através das métricas da tarefa de palco.
• [FAÍSCA-41524] [SC-118399][SS] Diferencie SQLConf e extraOptions em StateStoreConf para seu uso em RocksDBConf
• [FAÍSCA-41465] [SC-118381][SQL] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1235
• [FAÍSCA-41511] [SC-118365][SQL] O suporte LongToUnsafeRowMap ignora DuplicatedKey
• [FAÍSCA-41409] [SC-118302][CORE][SQL] Renomear _LEGACY_ERROR_TEMP_1043 para WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [FAÍSCA-41438] [SC-118344][CONECTAR][PYTHON] Implementar DataFrame.colRegex
• [SPARK-41437] [SC-117601][SQL] Não optimize a consulta de entrada duas vezes para fallback de gravação v1
• [FAÍSCA-41314] [SC-117172][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1094
• [FAÍSCA-41443] [SC-118004][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1061
• [FAÍSCA-41506] [SC-118241][CONECTAR][PYTHON] Refatore LiteralExpression para suportar DataType
• [FAÍSCA-41448] [SC-118046] Crie IDs de trabalho MR consistentes em FileBatchWriter e FileFormatWriter
• [FAÍSCA-41456] [SC-117970][SQL] Melhorar o desempenho de try_cast
• [FAÍSCA-41495] [SC-118125][CONECTAR][PYTHON] Implementar collection funções: P ~ Z
• [FAÍSCA-41478] [SC-118167][SQL] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1234
• [FAÍSCA-41406] [SC-118161][SQL] Mensagem NUM_COLUMNS_MISMATCH de erro refatorar para torná-lo mais genérico
• [FAÍSCA-41404] [SC-118016][SQL] Refatorar ColumnVectorUtils#toBatch para tornar ColumnarBatchSuite#testRandomRows o teste mais primitivo dataType
• [FAÍSCA-41468] [SC-118044][SQL] Corrigir a manipulação de PlanExpression em EquivalentExpressions
• [FAÍSCA-40775] [SC-118045][SQL] Corrigir entradas de descrição duplicadas para verificações de arquivos V2
• [FAÍSCA-41492] [SC-118042][CONECTAR][PYTHON] Implementar funções MISC
• [FAÍSCA-41459] [SC-118005][SQL] fix thrift server operation log output is empty
• [SPARK-41395] [SC-117899][SQL] InterpretedMutableProjection deve usar setDecimal para setvalues nulo para decimais em uma linha não segura
• [FAÍSCA-41376] [SC-117840][CORE][3.3] Corrija a lógica de verificação Netty preferDirectBufs no início do executor
• [FAÍSCA-41484] [SC-118159][SC-118036][CONECTAR][PYTHON][12.x] Implementar collection funções: E~M
• [FAÍSCA-41389] [SC-117426][CORE][SQL] Reutilizar WRONG_NUM_ARGS em vez de _LEGACY_ERROR_TEMP_1044
• [FAÍSCA-41462] [SC-117920][SQL] O tipo de carimbo de data e hora pode ser convertido para TimestampNTZ
• [FAÍSCA-41435] [SC-117810][SQL] Alterar para chamar invalidFunctionArgumentsErrorcurdate() quando expressions não estiver vazio
• [FAÍSCA-41187] [SC-118030][CORE] LiveExecutor MemoryLeak em AppStatusListener quando ExecutorLost acontecer
• [FAÍSCA-41360] [SC-118083][CORE] Evite o novo registro do BlockManager se o executor tiver sido perdido
• [SPARK-41378] [SC-117686][SQL] Suporte Column estatísticas no DS v2
• [FAÍSCA-41402] [SC-117910][SQL][CONECTAR][12.X] Substituir prettyName de StringDecode
• [FAÍSCA-41414] [SC-118041][CONECTAR][PYTHON][12.x] Implementar funções de carimbo de data/hora
• [FAÍSCA-41329] [SC-117975][CONECTAR] Resolver importações circulares no Spark Connect
• [FAÍSCA-41477] [SC-118025][CONECTAR][PYTHON] Inferir corretamente o tipo de dados de inteiros literais
• [SPARK-41446] [SC-118024][CONNECT][PYTHON][12.x] Fazer createDataFrame suportar schema e mais tipos de conjuntos de dados de entrada
• [FAÍSCA-41475] [SC-117997][CONECTAR] Corrigir erro de comando lint-scala e erro de digitação
• [FAÍSCA-38277] [SC-117799][SS] Limpar lote de gravação após a confirmação do armazenamento de estado do RocksDB
• [FAÍSCA-41375] [SC-117801][SS] Evite o KafkaSourceOffset mais recente vazio
• [FAÍSCA-41412] [SC-118015][CONECTAR] Implementar Column.cast
• [FAÍSCA-41439] [SC-117893][CONECTAR][PYTHON] Implementar DataFrame.melt e DataFrame.unpivot
• [SPARK-41399] [SC-118007][SC-117474][CONNECT] Refatorar column testes relacionados para test_connect_column
• [SPARK-41351] [SC-117957][SC-117412][CONNECT][12.x] Column deve suportar != operador
• [FAÍSCA-40697] [SC-117806][SC-112787][SQL] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
• [FAÍSCA-41349] [SC-117594][CONECTAR][12.X] Implementar DataFrame.hint
• [SPARK-41338] [SC-117170][SQL] Resolver referências externas e columns normais no mesmo lote do analisador
• [FAÍSCA-41436] [SC-117805][CONECTAR][PYTHON] Implementar collection funções: A~C
• [FAÍSCA-41445] [SC-117802][CONECTAR] Implementar DataFrameReader.parquet
• [FAÍSCA-41452] [SC-117865][SQL] to_char deve retornar null quando format for null
• [FAÍSCA-41444] [SC-117796][CONECTAR] Suporte read.json()
• [SPARK-41398] [SC-117508][SQL] Relaxe as restrições no Storage-Partitioned Join quando partition teclas após a filtragem de tempo de execução não correspondem
• [FAÍSCA-41228] [SC-117169][SQL] Renomear & Melhorar mensagem de erro para COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [FAÍSCA-41381] [SC-117593][CONECTAR][PYTHON] Implementação count_distinct e sum_distinct funções
• [FAÍSCA-41433] [SC-117596][CONECTAR] Torne o Max Arrow BatchSize configurável
• [FAÍSCA-41397] [SC-117590][CONECTAR][PYTHON] Implementar parte de funções string/binárias
• [FAÍSCA-41382] [SC-117588][CONECTAR][PYTHON] Implementar product função
• [FAÍSCA-41403] [SC-117595][CONECTAR][PYTHON] Implementar DataFrame.describe
• [FAÍSCA-41366] [SC-117580][CONECTAR] DF.groupby.agg() deve ser compatível
• [FAÍSCA-41369] [SC-117584][CONECTAR] Adicionar conexão comum ao jar sombreado dos servidores
• [SPARK-41411] [SC-117562][SS] Multi-Stateful Operator watermark correção de falha no suporte
• [FAÍSCA-41176] [SC-116630][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1042
• [FAÍSCA-41380] [SC-117476][CONECTAR][PYTHON][12.X] Implementar funções de agregação
• [FAÍSCA-41363] [SC-117470][CONECTAR][PYTHON][12.X] Implementar funções normais
• [FAÍSCA-41305] [SC-117411][CONECTAR] Melhorar a documentação para o proto de comando
• [FAÍSCA-41372] [SC-117427][CONECTAR][PYTHON] Implementar DataFrame TempView
• [FAÍSCA-41379] [SC-117420][SS][PYTHON] Fornecer sessão de faísca clonada no DataFrame na função de usuário para o coletor foreachBatch no PySpark
• [FAÍSCA-41373] [SC-117405][SQL][ERRO] Renomear CAST_WITH_FUN_SUGGESTION para CAST_WITH_FUNC_SUGGESTION
• [FAÍSCA-41358] [SC-117417][SQL] Método de refatoração ColumnVectorUtils#populate a ser usado PhysicalDataType em vez de DataType
• [SPARK-41355] [SC-117423][SQL] Solução alternativa hive table problema de validação de nome
• [SPARK-41390] [SC-117429][SQL] Update o script usado para generateregister função no UDFRegistration
• [FAÍSCA-41206] [SC-117233][SC-116381][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_1233 de erro para COLUMN_ALREADY_EXISTS
• [FAÍSCA-41357] [SC-117310][CONECTAR][PYTHON][12.X] Implementar funções matemáticas
• pt-PT: [SPARK-40970] [SC-117308][CONNECT][PYTHON] Suporte List[Column] para argumentos de Join
• [FAÍSCA-41345] [SC-117178][CONECTAR] Adicionar dica ao Connect Proto
• [FAÍSCA-41226] [SC-117194][SQL][12.x] Refatorar tipos de faísca introduzindo tipos físicos
• [FAÍSCA-41317] [SC-116902][CONECTAR][PYTHON][12.X] Adicionar suporte básico para DataFrameWriter
• [FAÍSCA-41347] [SC-117173][CONECTAR] Adicionar Cast ao proto de Expressão
• [FAÍSCA-41323] [SC-117128][SQL] Suporte current_schema
• [FAÍSCA-41339] [SC-117171][SQL] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar
• [SPARK-41227] [SC-117165][CONNECT][PYTHON] Implementar cruzamento de DataFrame join
• [FAÍSCA-41346] [SC-117176][CONECTAR][PYTHON] Implementação asc e desc funções
• [FAÍSCA-41343] [SC-117166][CONECTAR] Mover a análise FunctionName para o lado do servidor
• [FAÍSCA-41321] [SC-117163][CONECTAR] Campo de destino de suporte para UnresolvedStar
• [FAÍSCA-41237] [SC-117167][SQL] Reutilize a classe UNSUPPORTED_DATATYPE de erro para _LEGACY_ERROR_TEMP_0030
• [FAÍSCA-41309] [SC-116916][SQL] Reutilizar INVALID_SCHEMA.NON_STRING_LITERAL em vez de _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO] Optimize uso do construtor de StructType
• [SPARK-41335] [SC-117135][CONNECT][PYTHON] suporta IsNull e IsNotNull no Column
• [FAÍSCA-41332] [SC-117131][CONECTAR][PYTHON] Corrigir nullOrdering em SortOrder
• [FAÍSCA-41325] [SC-117132][CONECTAR][12.X] Corrigir avg() ausente para GroupBy no DF
• [FAÍSCA-41327] [SC-117137][CORE] Corrigir SparkStatusTracker.getExecutorInfos por interruptor On/OffHeapStorageMemory informações
• [FAÍSCA-41315] [SC-117129][CONECTAR][PYTHON] Implementar DataFrame.replace e DataFrame.na.replace
• [SPARK-41328] [SC-117125][CONNECT][PYTHON] Adicionar API lógica e de cadeia de caracteres ao Column
• [FAÍSCA-41331] [SC-117127][CONECTAR][PYTHON] Adicionar orderBy e drop_duplicates
• [FAÍSCA-40987] [SC-117124][CORE] BlockManager#removeBlockInternal deve garantir que a fechadura está desbloqueada graciosamente
• [SPARK-41268] [SC-117102][SC-116970][CONNECT][PYTHON] Refatorar "Column" para compatibilidade com API
• [FAÍSCA-41312] [SC-116881][CONECTAR][PYTHON][12.X] Implementar DataFrame.withColumnRenamed
• [FAÍSCA-41221] [SC-116607][SQL] Adicionar a classe de erro INVALID_FORMAT
• [FAÍSCA-41272] [SC-116742][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2019
• [FAÍSCA-41180] [SC-116760][SQL] Reutilizar INVALID_SCHEMA em vez de _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][PYTHON][SS][12.X] Converta instâncias NumPy para tipos primitivos Python no GroupState update
• [FAÍSCA-41174] [SC-116609][CORE][SQL] Propagar uma classe de erro aos usuários por inválido format de to_binary()
• [FAÍSCA-41264] [SC-116971][CONECTAR][PYTHON] Tornar o suporte literal mais tipos de dados
• [FAÍSCA-41326] [SC-116972] [CONECTAR] Corrigir desduplicação está faltando entrada
• [FAÍSCA-41316] [SC-116900][SQL] Habilite a recursão de cauda sempre que possível
• [FAÍSCA-41297] [SC-116931] [CONECTAR] [PYTHON] Suporte a expressões de cadeia de caracteres no filtro.
• [FAÍSCA-41256] [SC-116932][SC-116883][CONECTAR] Implementar DataFrame.withColumn(s)
• [FAÍSCA-41182] [SC-116632][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1102
• [FAÍSCA-41181] [SC-116680][SQL] Migrar os erros de opções de mapa para classes de erro
• [SPARK-40940] [SC-115993][12.x] Remove verificadores de operadores com múltiplos estados para consultas de streaming.
• [FAÍSCA-41310] [SC-116885][CONECTAR][PYTHON] Implementar DataFrame.toDF
• [FAÍSCA-41179] [SC-116631][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][SQL] BHJ LeftAnti não update numOutputRows quando o codegen está desativado
• [FAÍSCA-41148] [SC-116878][CONECTAR][PYTHON] Implementar DataFrame.dropna e DataFrame.na.drop
• [FAÍSCA-41217] [SC-116380][SQL] Adicionar a classe de erro FAILED_FUNCTION_CALL
• [FAÍSCA-41308] [SC-116875][CONECTAR][PYTHON] Melhorar DataFrame.count()
• [FAÍSCA-41301] [SC-116786] [CONECTAR] Homogeneizar o comportamento para SparkSession.range()
• [FAÍSCA-41306] [SC-116860][CONECTAR] Melhorar a documentação do Connect Expression proto
• [FAÍSCA-41280] [SC-116733][CONECTAR] Implementar DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] Unset schema é interpretado como Schema
• [FAÍSCA-41255] [SC-116730][SC-116695] [CONECTAR] Renomear RemoteSparkSession
• [FAÍSCA-41250] [SC-116788][SC-116633][CONECTAR][PYTHON] DataFrame. toPandas não deve retornar dataframe pandas opcional
• [FAÍSCA-41291] [SC-116738][CONECTAR][PYTHON] DataFrame.explain deve imprimir e devolver Nenhum
• [FAÍSCA-41278] [SC-116732][CONECTAR] Limpar QualifiedAttribute não utilizado em Expression.proto
• [SPARK-41097] [SC-116653][CORE][SQL][SS][PROTOBUF] Remove base de conversão de coleção redundante no código Scala 2.13
• [SPARK-41261] [SC-116718][PYTHON][SS] Corrigir o problema de applyInPandasWithState quando as columns das chaves de agrupamento não são colocadas em ordem do mais antigo
• [FAÍSCA-40872] [SC-116717][3.3] Fallback para o bloco shuffle original quando um bloco de shuffle push-merged é de tamanho zero
• [FAÍSCA-41114] [SC-116628][CONECTAR] Suporte a dados locais para LocalRelation
• [FAÍSCA-41216] [SC-116678][CONECTAR][PYTHON] Implementar DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [FAÍSCA-41238] [SC-116670][CONECTAR][PYTHON] Suporta mais tipos de dados incorporados
• [SPARK-41230] [SC-116674][CONNECT][PYTHON] Removestr do tipo de expressão agregado
• [FAÍSCA-41224] [SC-116652][FAÍSCA-41165][FAÍSCA-41184][CONECTAR] Implementação de coleta otimizada baseada em seta para transmitir do servidor para o cliente
• [FAÍSCA-41222] [SC-116625][CONECTAR][PYTHON] Unificar as definições de digitação
• [FAÍSCA-41225] [SC-116623] [CONECTAR] [PYTHON] Desative funções não suportadas.
• [FAÍSCA-41201] [SC-116526][CONECTAR][PYTHON] Implementar DataFrame.SelectExpr no cliente Python
• [FAÍSCA-41203] [SC-116258] [CONECTAR] Suporte Dataframe.tansform no cliente Python.
• [FAÍSCA-41213] [SC-116375][CONECTAR][PYTHON] Implementar DataFrame.__repr__ e DataFrame.dtypes
• [FAÍSCA-41169] [SC-116378][CONECTAR][PYTHON] Implementar DataFrame.drop
• [FAÍSCA-41172] [SC-116245][SQL] Migrar o erro ref ambíguo para uma classe de erro
• [SPARK-41122] [SC-116141][CONNECT] Explain API pode suportar diferentes modos
• [FAÍSCA-41209] [SC-116584][SC-116376][PYTHON] Melhorar a inferência do tipo PySpark no método _merge_type
• [FAÍSCA-41196] [SC-116555][SC-116179] [CONECTAR] Homogeneize a versão protobuf no servidor Spark connect para usar a mesma versão principal.
• [SPARK-35531] [SC-116409][SQL] Update hive table estatísticas sem conversão desnecessária
• [FAÍSCA-41154] [SC-116289][SQL] Cache de relação incorreta para consultas com especificações de viagem no tempo
• [FAÍSCA-41212] [SC-116554][SC-116389][CONECTAR][PYTHON] Implementar DataFrame.isEmpty
• [FAÍSCA-41135] [SC-116400][SQL] Renomear UNSUPPORTED_EMPTY_LOCATION para INVALID_EMPTY_LOCATION
• [FAÍSCA-41183] [SC-116265][SQL] Adicionar uma API de extensão para planejar a normalização do cache
• [FAÍSCA-41054] [SC-116447][UI][CORE] Suporte RocksDB como KVStore em UI ao vivo
• [FAÍSCA-38550] [SC-115223]Reverter "[SQL][CORE] Use um armazenamento baseado em disco para salvar mais informações de depuração para a interface do usuário ao vivo"
• [FAÍSCA-41173] [SC-116185][SQL] Sair require() dos construtores de expressões de cadeia de caracteres
• [SPARK-41188] [SC-116242][CORE][ML] Set O executorEnv OMP_NUM_THREADS serão spark.task.cpus por padrão para os processos JVM do executor Spark
• [FAÍSCA-41130] [SC-116155][SQL] Renomear OUT_OF_DECIMAL_TYPE_RANGE para NUMERIC_OUT_OF_SUPPORTED_RANGE
• [FAÍSCA-41175] [SC-116238][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1078
• [FAÍSCA-41106] [SC-116073][SQL] Reduzir a conversão de coleção ao criar AttributeMap
• [FAÍSCA-41139] [SC-115983][SQL] Melhorar a classe de erro: PYTHON_UDF_IN_ON_CLAUSE
• [FAÍSCA-40657] [SC-115997][PROTOBUF] Exigir sombreamento para jar de classe Java, melhorar o tratamento de erros
• [FAÍSCA-40999] [SC-116168] Propagação de dicas para subconsultas
• [SPARK-41017] [SC-116054][SQL] Suporte para column poda com vários filtros não determinísticos
• [FAÍSCA-40834] [SC-114773][SQL] Use SparkListenerSQLExecutionEnd para controlar o status final do SQL na interface do usuário
• [FAÍSCA-41118] [SC-116027][SQL] to_number/try_to_number deve retornar null quando o formato for null
• [SPARK-39799] [SC-115984][SQL] DataSourceV2: Visualizar interface catalog
• [FAÍSCA-40665] [SC-116210][SC-112300][CONECTAR] Evite incorporar o Spark Connect na versão binária do Apache Spark
• [FAÍSCA-41048] [SC-116043][SQL] Melhore o particionamento e o pedido de saída com o cache AQE
• [SPARK-41198] [SC-116256][SS] Corrigir métricas na consulta de streaming having fonte de streaming CTE e DSv1
• [FAÍSCA-41199] [SC-116244][SS] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são cousadas
• [FAÍSCA-40957] [SC-116261][SC-114706] Adicionar cache de memória no HDFSMetadataLog
• [SPARK-40940] Reverter "[SC-115993] Remove verificadores de operador com vários estados para consultas de streaming."
• [FAÍSCA-41090] [SC-116040][SQL] Lançar exceção para db_name.view_name ao criar a exibição temporária pela API do conjunto de dados
• [FAÍSCA-41133] [SC-116085][SQL] Integre-se UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION em NUMERIC_VALUE_OUT_OF_RANGE
• [FAÍSCA-40557] [SC-116182][SC-111442][CONECTAR] Confirmações de despejo de código 9
• [FAÍSCA-40448] [SC-114447][SC-111314][CONECTAR] Spark Connect build como plug-in de driver com dependências sombreadas
• [FAÍSCA-41096] [SC-115812][SQL] Suporte de leitura parquet FIXED_LEN_BYTE_ARRAY tipo
• [FAÍSCA-41140] [SC-115879][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_2440 de erro para INVALID_WHERE_CONDITION
• [FAÍSCA-40918] [SC-114438][SQL] Incompatibilidade entre FileSourceScanExec e Orc e ParquetFileFormat na produção de saída colunar
• [FAÍSCA-41155] [SC-115991][SQL] Adicionar mensagem de erro a SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Remove verificadores de operador com vários estados para consultas de streaming.
• [FAÍSCA-41098] [SC-115790][SQL] Renomear GROUP_BY_POS_REFERS_AGG_EXPR para GROUP_BY_POS_AGGREGATE
• [FAÍSCA-40755] [SC-115912][SQL] Migrar falhas de verificação de tipo de formatação de número para classes de erro
• [FAÍSCA-41059] [SC-115658][SQL] Renomear _LEGACY_ERROR_TEMP_2420 para NESTED_AGGREGATE_FUNCTION
• [FAÍSCA-41044] [SC-115662][SQL] Converta DATATYPE_MISMATCH. UNSPECIFIED_FRAME para INTERNAL_ERROR
• [FAÍSCA-40973] [SC-115132][SQL] Renomear _LEGACY_ERROR_TEMP_0055 para UNCLOSED_BRACKETED_COMMENT

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 12.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.5
• R: 4.2.2
• Lago Delta: 2.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-11-11.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)