Databricks Runtime 13.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.1, da plataforma Apache Spark 3.4.0.

O Databricks lançou essa versão em maio de 2023.

Novos recursos e aprimoramentos

• Suporte ao cluster para o JDK 17 (Visualização Pública)
• Adicionar, alterar ou excluir dados em tabelas de streaming
• Ler Kafka com SQL
• Novas funções internas do SQL
• Suporte do Catálogo do Unity para bibliotecas do Python no escopo do cluster
• Habilitação padrão expandida para gravações otimizadas no Catálogo do Unity
• Suporte avançado para operadores com estado em cargas de trabalho de Streaming Estruturado
• O clone delta do Catálogo do Unity está em versão prévia pública
• Suporte de Pub/Sub para Streaming Estruturado
• Remover duplicatas dentro de marcas d'água no Streaming Estruturado
• Suporte expandido para conversões Delta de tabelas Iceberg com colunas de partição truncadas
• Alterações de esquema de streaming com mapeamento de coluna no Delta Lake
• Remover VERSÃO INICIAL
• Novas expressões H3 disponíveis com Python

Suporte ao cluster para JDK 17 (Visualização Pública)

O Databricks agora fornece suporte de cluster para o Kit de Desenvolvimento do Java (JDK) 17. Consulte o SDK do Databricks para Java.

Adicionar, alterar ou excluir dados em tabelas de streaming

Agora você pode usar instruções DML para modificar tabelas de streaming publicadas no Catálogo do Unity por pipelines do Delta Live Tables. Confira Adicionar, alterar ou excluir dados em uma tabela de streaming e Adicionar, alterar ou excluir dados em uma tabela de streaming de destino. Você também pode usar instruções DML para modificar tabelas de streaming criadas no Databricks SQL.

Ler Kafka com SQL

Agora você pode usar a função SQL read_kafka para ler dados Kafka. O streaming com SQL tem suporte apenas no Delta Live Tables ou com tabelas de streaming no Databricks SQL. Consulte função read_kafka table-valued.

Novas funções internas do SQL

As seguintes funções foram adicionadas:

• array_prepend(array, elem) Retorna array precedido por elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) Descriptografa um binário produzido usando a criptografia AES e retorna NULL se houver um erro.
• sql_keywords() Retorna uma tabela de palavras-chave do SQL do Azure Databricks.

Suporte do Catálogo do Unity para bibliotecas do Python no escopo do cluster

O Catálogo do Unity tem algumas limitações no uso da biblioteca. No Databricks Runtime 13.1 e superior, há suporte para bibliotecas Python com escopo de cluster, incluindo arquivos de roda Python que são carregados como arquivos de espaço de trabalho. Não há suporte para bibliotecas referenciadas usando caminhos de arquivo DBFS, seja na raiz do DBFS ou em um local externo montado no DBFS. Não há suporte para bibliotecas não Python. Consulte as Bibliotecas de cluster.

No Databricks Runtime 13.0 e inferior, não há suporte para bibliotecas com escopo de cluster em clusters que usam o modo de acesso compartilhado em um workspace habilitado para o Catálogo do Unity.

Habilitação padrão expandida para gravações otimizadas no Catálogo do Unity

O suporte de gravação otimizado padrão para tabelas Delta registradas no Catálogo do Unity foi expandido para incluir instruções CTAS e operações INSERT para tabelas particionadas. Esse comportamento se alinha aos padrões em SQL warehouses. Consulte Gravações otimizadas para o Delta Lake no Azure Databricks.

Suporte avançado para operadores com estado em cargas de trabalho de Streaming Estruturado

Agora você pode encadear vários operadores com estado, o que significa que você pode alimentar a saída de uma operação, como uma agregação em janelas para outra operação com estado, como uma junção. Confira O que é streaming com estado?.

O clone delta do Catálogo do Unity está em versão prévia pública

Agora você pode usar o clone superficial para criar novas tabelas gerenciadas do Catálogo do Unity a partir de tabelas gerenciadas existentes do Catálogo do Unity. Confira Clone superficial para tabelas do Catálogo do Unity.

Suporte de Pub/Sub para Streaming Estruturado

Agora você pode usar um conector interno para assinar o Google Pub/Sub com Streaming Estruturado. Confira Assinar o Google Pub/Sub.

Remover duplicatas dentro de marcas d'água no Streaming Estruturado

Agora você pode usar dropDuplicatesWithinWatermark em combinação com um limite de marca d'água especificado para eliminação de duplicação de registros no Streaming Estruturado. Confira Descartar duplicatas dentro da marca d'água.

Suporte expandido para conversões Delta de tabelas Iceberg com colunas de partição truncadas

Agora você pode usar CLONE e CONVERT TO DELTA com tabelas Iceberg que têm partições definidas em colunas truncadas dos tipos int, long e string. Não há suporte para as colunas truncadas do tipo decimal.

Alterações de esquema de streaming com mapeamento de coluna no Delta Lake

Agora você pode fornecer um local de acompanhamento de esquema para habilitar o streaming de tabelas Delta com o mapeamento de coluna habilitado. Confira Streaming com mapeamento de coluna e alterações de esquema.

Remover VERSÃO INICIAL

START VERSION está preterido para ALTER SHARE.

Novas expressões H3 disponíveis com Python

As expressões h3_coverash3 e h3_coverash3string estão disponíveis com Python.

Correções de bug

Parquet failOnUnknownFields não remove mais dados silenciosamente na incompatibilidade de tipo

Se um arquivo Parquet foi lido apenas com a opção failOnUnknownFields ou com o Carregador Automático no modo de evolução do esquema failOnNewColumns, as colunas que têm tipos de dados diferentes agora falham e recomendam o uso de rescuedDataColumn. O Carregador Automático agora lê corretamente e não resgata mais os tipos Inteiro, Curto ou Byte se um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos.

Alterações de quebra

Atualizar a versão do sqlite-jdbc para 3.42.0.0 para tratar do CVE-2023-32697

Atualize a versão do sqlite-jdbc de 3.8.11.2 para 3.42.0.0. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a versão 3.8.11.2. Se estiver usando sqlite-jdbc em seu código, marcar o relatório de compatibilidade sqlite-jdbc para obter detalhes. Se você migrar para a versão 13.1 e usar o sqlite, confirme seus métodos e retorne o tipo na versão 3.42.0.0.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • facets-overview de 1.0.2 para 1.0.3
  • filelock de 3.10.7 para 3.12.0
  • pyarrow de 7.0.0 para 8.0.0
  • tenacidade de 8.0.1 a 8.1.0
• Atualização das bibliotecas do R:
• Bibliotecas do Java atualizadas:
  • com.github.ben-manes.cafeína.cafeína de 2.3.4 para 2.9.3
  • io.delta.delta-sharing-spark_2.12 de 0.6.8 para 0.6.4
  • net.snowflake.snowflake-jdbc de 3.13.29 para 3.13.22
  • org.checkerframework.checker-qual de 3.5.0 a 3.19.0
  • org.scalactic.scalactic_2.12 de 3.0.8 para 3.2.15
  • org.scalatest.scalatest_2.12 de 3.0.8 para 3.2.15
  • org.xerial.sqlite-jdbc de 3.8.11.2 a 3.42.0.0

Apache Spark

O Databricks Runtime 13.1 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 13.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-42719] [DBRRM-199][SC-131578] Reverter "[SC-125225] `MapOutputTracker#getMap…
• [SPARK-39696] [DBRRM-166][SC-130056][CORE] Reverter [SC-127830]/
• [SPARK-43331] [SC-130064][CONNECT] Adicionar Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][CONNECT][PYTHON] Possibilita estender ChannelBuilder para SparkConnectClient
• [SPARK-43323] [SC-129966][SQL][PYTHON] Corrigir DataFrame.toPandas com Seta habilitada para manipular exceções corretamente
• [SPARK-42940] [SC-129896][SS][CONNECT] Melhorar o gerenciamento de sessão para consultas de streaming
• [SPARK-43032] [SC-125756] [CONNECT][SS] Adicionar gerenciador de consultas de streaming
• [SPARK-16484] [SC-129975][SQL] Adicionar suporte para Datasketches HllSketch
• [SPARK-43260] [SC-129281][PYTHON] Migrar os erros de tipo de seta pandas do Spark SQL para a classe de erro.
• [SPARK-41766] [SC-129964][CORE] Manipular solicitação de encerramento enviada antes do registro do executor
• [SPARK-43307] [SC-129971][PYTHON] Migrar erros de valor PandasUDF para a classe de erro
• [SPARK-43206] [SC-129903] [SS] [CONNECT] exception() StreamingQuery inclui rastreamento de pilha
• [SPARK-43311] [SC-129905][SS] Adicionar aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado RocksDB
• [SPARK-43237] [SC-129898][CORE] Manipular mensagem de exceção nula no log de eventos
• [SPARK-43320] [SC-129899][SQL][HIVE] Chamar diretamente a API do Hive 2.3.9
• [SPARK-43270] [SC-129897][PYTHON] Implementar __dir__() em pyspark.sql.dataframe.DataFrame para incluir colunas
• [SPARK-43183] Reverter "[SC-128938][SS] Introduzir um novo retorno de chamada "...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] awaitTermination() StreamingQuery de Scala
• [SPARK-43257] [SC-129675][SQL] Substituir a classe de erro _LEGACY_ERROR_TEMP_2022 por um erro interno
• [SPARK-43198] [SC-129470][CONNECT] Corrigir "Não foi possível inicializar a classe ammonite..." erro ao usar filtro
• [SPARK-43165] [SC-129777][SQL] Mover canWrite para DataTypeUtils
• [SPARK-43298] [SC-129729][PYTHON][ML] predict_batch_udf com entrada escalar falha com o tamanho do lote de um
• [SPARK-43298] [SC-129700]Reverter "[PYTHON][ML] predict_batch_udf com entrada escalar falha com o tamanho do lote de um"
• [SPARK-43052] [SC-129663][CORE] Manipular stacktrace com nome de arquivo nulo no log de eventos
• [SPARK-43183] [SC-128938][SS] Introduzir um novo retorno de chamada "onQueryIdle" ao StreamingQueryListener
• [SPARK-43209] [SC-129190][CONNECT][PYTHON] Migrar erros de expressão para a classe de erro
• [SPARK-42151] [SC-128754][SQL] Alinhar atribuições UPDATE com atributos de tabela
• [SPARK-43134] [SC-129468] [CONNECT] [SS] API exception() StreamingQuery do cliente JVM
• [SPARK-43298] [SC-129699][PYTHON][ML] predict_batch_udf com entrada escalar falha com o tamanho do lote de um
• [SPARK-43248] [SC-129660][SQL] Serializar/desserializar desnecessariamente o Caminho em estatísticas de partição de coleta paralela
• [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] Introduzir PySparkNotImplementedError
• [SPARK-43146] [SC-128804][CONNECT][PYTHON] Implementar avaliação ansiosa para repr e repr_html
• [SPARK-42953] [SC-129469][Connect][Acompanhamento] Corrigir o build de teste do maven para testes UDF do cliente Scala
• [SPARK-43144] [SC-129280] API table() DataStreamReader do Cliente Scala
• [SPARK-43136] [SC-129358][CONNECT] Adicionando funções groupByKey + mapGroup + coGroup
• [SPARK-43156] [SC-129672][SC-128532][SQL] Corrigir bug COUNT(*) is null em subconsulta escalar correlacionada
• [SPARK-43046] [SC-129110] [SS] [Connect] Implementação da API do Python dropDuplicatesWithinWatermark para Spark Connect
• [SPARK-43199] [SC-129467][SQL] Tornar InlineCTE idempotente
• [SPARK-43293] [SC-129657][SQL] __qualified_access_only deve ser ignorado em colunas normais
• [SPARK-43276] [SC-129461][CONNECT][PYTHON] Migrar erros de Janela do Spark Connect para a classe de erro
• [SPARK-43174] [SC-129109][SQL] Corrigir SparkSQLCLIDriver completer
• [SPARK-43084] [SC-128654] [SS] Adicionar suporte a applyInPandasWithState para o Spark Connect
• [SPARK-43119] [SC-129040][SQL] Suporte a Obter palavras-chave SQL dinamicamente por meio da API JDBC e TVF
• [SPARK-43082] [SC-129112][CONNECT][PYTHON] UDFs do Python com otimização de seta no Spark Connect
• [SPARK-43085] [SC-128432][SQL] Suporte à atribuição padrão da coluna para nomes de tabela de várias partes
• [SPARK-43226] [LC-671] Definir extratores para metadados de constante de arquivo
• [SPARK-43210] [SC-129189][CONNECT][PYTHON] Introduzir PySparkAssertionError
• [SPARK-43214] [SC-129199][SQL] Postar métricas do lado do driver para LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Correção de ReplE2ESuite falhando consistentemente com o JDK 17
• [SPARK-43268] [SC-129249][SQL] Usar classes de erro adequadas quando exceções forem construídas com uma mensagem
• [SPARK-43142] [SC-129299] Corrigir expressões DSL em atributos com caracteres especiais
• [SPARK-43129] [SC-128896] API do Scala Core para streaming do Spark Connect
• [SPARK-43233] [SC-129250] [SS] Adicionar registro em log para Leitura em Lote do Kafka para partição de tópicos, intervalo de deslocamento e ID da tarefa
• [SPARK-43249] [SC-129195][CONNECT] Corrigir estatísticas ausentes para o Comando SQL
• [SPARK-42945] [SC-129188][CONNECT] Suporte para PYSPARK_JVM_STACKTRACE_ENABLED no Spark Connect
• [SPARK-43178] [SC-129197][CONNECT][PYTHON] Migrar erros de UDF para a estrutura de erros do PySpark
• [SPARK-43123] [SC-128494][SQL] Metadados de campo internos não devem ser vazados para catálogos
• [SPARK-43217] [SC-129205] Recursar corretamente em mapas/matrizes aninhados em findNestedField
• [SPARK-43243] [SC-129294][PYTHON][CONNECT] Adicionar parâmetro de nível a printSchema para Python
• [SPARK-43230] [SC-129191][CONNECT] Simplificar DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][SQL] Respeitar RequiresDistributionAndOrdering em CTAS/RTAS
• [SPARK-43234] [SC-129192][CONNECT][PYTHON] Migrar ValueError do Conect DataFrame para a classe de erro
• [SPARK-43212] [SC-129187][SS][PYTHON] Migrar erros de Streaming Estruturado para a classe de erro
• [SPARK-43239] [SC-129186][PS] Remover null_counts de info()
• [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput deve ser consistente com a saída filho
• [SPARK-43191] [SC-128924][CORE] Substituir reflexão w/ chamada direta para Hadoop CallerContext
• [SPARK-43193] [SC-129042][SS] Remover solução alternativa para HADOOP-12074
• [SPARK-42657] [SC-128621][CONNECT] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
• [SPARK-43098] [SC-77059][SQL] Corrija o bug COUNT de correção quando a subconsulta escalar tiver cláusula group by
• [SPARK-43213] [SC-129062][PYTHON] Adicionar DataFrame.offset ao PySpark vanilla
• [SPARK-42982] [SC-128400][CONNECT][PYTHON] Correção de createDataFrame para respeitar o ddl de esquema especificado
• [SPARK-43124] [SC-129011][SQL] Dataset.show projeta CommandResults localmente
• [SPARK-42998] [SC-127422][CONNECT][PYTHON] Corrigir DataFrame.collect com struct nulo
• [SPARK-41498] [SC-125343]Reverter "Propagar metadados por meio da União"
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Adicionar API await_termination() e exception() para Consulta de Streaming no Python
• [SPARK-42552] [SC-128824][SQL] Corrigir a estratégia de análise de dois estágios do analisador antlr
• [SPARK-43207] [SC-128937][CONNECT] Adicionar funções auxiliares para extrair valor da expressão literal
• [SPARK-43186] [SC-128841][SQL][HIVE] Remover solução alternativa para FileSinkDesc
• [SPARK-43107] [SC-128533][SQL] Agrupar buckets em junção aplicados no lado do fluxo de junção de transmissão
• [SPARK-43195] [SC-128922][CORE] Remover wrapper serializável desnecessário no HadoopFSUtils
• [SPARK-43137] [SC-128828][SQL] Aprimorar ArrayInsert se a posição for dobrável e positiva.
• [SPARK-37829] [SC-128827][SQL] Junção externa Dataframe.joinWith deve retornar um valor nulo para linha sem correspondência
• [SPARK-43042] [SC-128602] [SS] [Connect] Adicionar suporte à API table() para DataStreamReader
• [SPARK-43153] [SC-128753][CONNECT] Ignorar a execução do Spark quando o dataframe for local
• [SPARK-43064] [SC-128496][SQL] A guia SQL da CLI do Spark SQL só deve mostrar uma instrução uma vez
• [SPARK-43126] [SC-128447][SQL] Marcar duas expressões UDF do Hive como com estado
• [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] Mesclar instruções aninhadas if em instruções simples if
• [SPARK-43113] [SC-128749][SQL] Avaliar variáveis do lado do fluxo ao gerar código para uma condição associada
• [SPARK-42895] [SC-127258][CONNECT] Melhorar as mensagens de erro para sessões interrompidas do Spark
• [SPARK-42884] [SC-126662][CONNECT] Adicionar integração com o Ammonite REPL
• [SPARK-43168] [SC-128674][SQL] Remover o método get PhysicalDataType da classe Datatype
• [SPARK-43121] [SC-128455][SQL] Usar BytesWritable.copyBytes em vez de cópia manual em `HiveInspectors
• [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog mantém a meta Char/Varchar no lado da leitura
• [SPARK-43050] [SC-128550][SQL] Corrigir expressões de agregação de constructo substituindo funções de agrupamento
• [SPARK-43095] [SC-128549][SQL] Evitar que a idempotência da estratégia seja interrompida para lote: Infer Filters
• [SPARK-43130] [SC-128597][SQL] Mover InternalType para PhysicalDataType
• [SPARK-43105] [SC-128456][CONNECT] Abreviar bytes e cadeias de caracteres na mensagem proto
• [SPARK-43099] [SC-128596][SQL] Usar getName em vez de getCanonicalName para obter o nome da classe do construtor ao registrar udf em FunctionRegistry
• [SPARK-42994] [SC-128586][ML][CONNECT] O Distribuidor PyTorch dá suporte ao Modo Local
• [SPARK-42859] Reverter "[SC-127935][CONNECT][PS] Suporte básico para a API do Pandas no Spark Connect"
• [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin não funciona ao usar o AQE
• [SPARK-43125] [SC-128477][CONNECT] Corrigir o Servidor de Conexão não pode lidar com exceção com mensagem nula
• [SPARK-43147] [SC-128594] Corrigir o lint flake8 para verificação local
• [SPARK-43031] [SC-128360] [SS] [Connect] Habilitar teste de unidade e doctest para streaming
• [SPARK-43039] [LC-67] Suporte a campos personalizados na coluna _metadata da origem do arquivo.
• [SPARK-43120] [SC-128407][SS] Adicionar suporte para rastrear o uso de memória de blocos fixados para o repositório de estado RocksDB
• [SPARK-43110] [SC-128381][SQL] Mover asIntegral para PhysicalDataType
• [SPARK-43118] [SC-128398][SS] Remover declaração desnecessária para UninterruptibleThread no KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][CONNECT][PYTHON] Suporte a nomes de campo aninhados duplicados
• [SPARK-42437] [SC-128339][PYTHON][CONNECT] Catálogo do PySpark.cacheTable permitirá especificar o nível de armazenamento
• [SPARK-42985] [SC-128332][CONNECT][PYTHON] Correção de createDataFrame para respeitar as configurações do SQL
• [SPARK-39696] [SC-127830][CORE] Correção da corrida de dados no acesso a TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][SQL] Movendo integral para PhysicalDataType
• [SPARK-42741] [SC-125547][SQL] Não desencapsular conversões em comparação binária quando literal for nulo
• [SPARK-43057] [SC-127948][CONNECT][PYTHON] Migrar erros de Coluna do Spark Connect para a classe de erro
• [SPARK-42859] [SC-127935][CONNECT][PS] Suporte básico para a API pandas no Spark Connect
• [SPARK-43013] [SC-127773][PYTHON] Migrar ValueError do DataFrame para PySparkValueError.
• [SPARK-43089] [SC-128051][CONNECT] Cadeia de caracteres de depuração Redact na interface do usuário
• [SPARK-43028] [SC-128070][SQL] Adicionar classe de erro SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][Connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][SQL] Adicionar teste para dropDuplicates em JavaDatasetSuite
• [SPARK-43075] [SC-127939][CONNECT] Alterar gRPC para grpcio quando não estiver instalado.
• [SPARK-42953] [SC-127809][Connect] Filtro com tipo, mapa, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][SQL] Suporte para desencapsular tipo de data para o tipo de carimbo de data/hora
• [SPARK-42931] [SC-127933][SS] Introduzir dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][CONNECT] Adicionar constantes de tipos de dados proto
• [SPARK-43077] [SC-128050][SQL] Melhorar a mensagem de erro de UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][SS][Connect] APIs DataStreamReader
• [SPARK-43049] [SC-127846][SQL] Usar CLOB em vez de VARCHAR(255) para StringType para Oracle JDBC
• [SPARK-43018] [SC-127762][SQL] Corrigir o bug para comandos INSERT com literais de carimbo de data/hora.
• [SPARK-42855] [SC-127722][SQL] Usar verificações nulas de runtime em TableOutputResolver
• [SPARK-43030] [SC-127847][SQL] Eliminação de duplicação de relações com colunas de metadados
• [SPARK-42993] [SC-127829][ML][CONNECT] Tornar o Distribuidor PyTorch compatível com o Spark Connect
• [SPARK-43058] [SC-128072][SQL] Mover Numérico e Fracionário para PhysicalDataType
• [SPARK-43056] [SC-127946][SS] A confirmação do repositório de estado RocksDB deve continuar o trabalho em segundo plano somente se sua pausa for pausada
• [SPARK-43059] [SC-127947][CONNECT][PYTHON] Migrar TypeError de DataFrame(Leitor|Gravador) na classe de erro
• [SPARK-43071] [SC-128018][SQL] Suporte a SELECT DEFAULT com ORDER BY, LIMIT, OFFSET para a relação de origem INSERT
• [SPARK-43061] [SC-127956][CORE][SQL] Introduzir PartitionEvaluator para execução do operador SQL
• [SPARK-43067] [SC-127938][SS] Corrigir o local do arquivo de recurso da classe de erro no conector Kafka
• [SPARK-43019] [SC-127844][SQL] Mover ordenação para PhysicalDataType
• [SPARK-43010] [SC-127759][PYTHON] Migrar erros de coluna para a classe de erro
• [SPARK-42840] [SC-127782][SQL] Alterar erro _LEGACY_ERROR_TEMP_2004 para erro interno
• [SPARK-43041] [SC-127765][SQL] Restaurar construtores de exceções para compatibilidade na API do conector
• [SPARK-42939] [SC-127761][SS][CONNECT] API do Python de streaming principal para Spark Connect
• [SPARK-42844] [SC-127766][SQL] Atualizar a classe de erro _LEGACY_ERROR_TEMP_2008 para INVALID_URL
• [SPARK-42316] [SC-127720][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][CONNECT][PYTHON] Migrar erros de DataFrame do Spark Connect para a classe de erro
• [SPARK-42983] [SC-127717][CONNECT][PYTHON] Correção de createDataFrame para manipular a matriz numpy de 0-dim corretamente
• [SPARK-42955] [SC-127476][SQL] Ignorar classifyException e encapsular AnalysisException para SparkThrowable
• [SPARK-42949] [SC-127255][SQL] Simplificar o código para NAAJ
• [SPARK-43011] [SC-127577][SQL] array_insert deve falhar com o índice 0
• [SPARK-42974] [SC-127487][CORE] Restaurar Utils.createTempDir para usar o ShutdownHookManager e limpar o método JavaUtils.createTempDir.
• [SPARK-42964] [SC-127585][SQL] PosgresDialect "42P07" também significa que a tabela já existe
• [SPARK-42978] [SC-127351][SQL] Derby&PG: RENAME não pode qualificar um new-table-Name com um schema-Name
• [SPARK-37980] [SC-127668][SQL] Acessar row_index por meio de _metadata, se possível, em testes
• [SPARK-42655] [SC-127591][SQL] Erro de referência de coluna ambígua incorreta
• [SPARK-43009] [SC-127596][SQL] sql() Parametrizado com constantes Any
• [SPARK-43026] [SC-127590][SQL] Aplicar o AQE com cache de tabela não exchange
• [SPARK-42963] [SC-127576][SQL] Estender SparkSessionExtensions para injetar regras no otimizador do estágio de consulta AQE
• [SPARK-42918] [SC-127357] Generalizar o tratamento de atributos de metadados no FileSourceStrategy
• [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] Adicionar suporte a Catalog
• [SPARK-42997] [SC-127535][SQL] TableOutputResolver deve usar caminhos de coluna corretos em mensagens de erro para matrizes e mapas
• [SPARK-43006] [SC-127486][PYSPARK] Corrigir erro de digitação em StorageLevel eq()
• [SPARK-43005] [SC-127485][PYSPARK] Corrigir erro de digitação no pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][CORE] Corrigir erro de digitação em ResourceRequest.equals()
• [SPARK-42907] [SC-126984][CONNECT][PYTHON] Implementar funções Avro
• [SPARK-42979] [SC-127272][SQL] Definir construtores literais como palavras-chave
• [SPARK-42946] [SC-127252][SQL] Ocultar dados confidenciais que são aninhados por substituição variável
• [SPARK-42952] [SC-127260][SQL] Simplificar o parâmetro da regra do analisador PreprocessTableCreation e DataSourceAnalysis
• [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
• [SPARK-42853] [SC-126101][Acompanhamento] Corrigir conflitos
• [SPARK-42929] [SC-126748][CONNECT] fazer mapInPandas/ mapInArrow dar suporte a "is_barrier"
• [SPARK-42968] [SC-127271][SS] Adicionar opção para ignorar o coordenador de commit como parte da API streamingWrite para fontes/coletores DSv2
• [SPARK-42954] [SC-127261][PYTHON][CONNECT] Adicionar YearMonthIntervalType ao PySpark e ao Cliente Python do Spark Connect
• [SPARK-41359] [SC-127256][SQL] Usar PhysicalDataType em vez de DataType em UnsafeRow
• [SPARK-42873] [SC-127262][SQL] Definir tipos de SQL do Spark como palavras-chave
• [SPARK-42808] [SC-126302][CORE] Evitar obter availableProcessors todas as vezes em MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][SQL] PlanSubqueries deve definir InSubqueryExec#shouldBroadcast como true
• [SPARK-42896] [SC-126729][SQL][PYTHON] Fazer mapInPandas / mapInArrow dar suporte a execução do modo de barreira
• [SPARK-42874] [SC-126442][SQL] Habilite a nova estrutura de teste de arquivo de ouro para análise para todos os arquivos de entrada
• [SPARK-42922] [SC-126850][SQL] Mover de Aleatório para SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange refere-se a nós inexistentes
• [SPARK-40822] [SC-126274][SQL] Aliases de coluna derivadas estáveis
• [SPARK-42908] [SC-126856][PYTHON] Gerar RuntimeError quando SparkContext for necessário, mas não inicializado
• [SPARK-42779] [SC-126042][SQL] Permitir gravações V2 para indicar o tamanho da partição de embaralhamento de consultoria
• [SPARK-42914] [SC-126727][PYTHON] Reutilizar transformUnregisteredFunction para DistributedSequenceID.
• [SPARK-42878] [SC-126882][CONNECT] A API de tabela no DataFrameReader também poderia aceitar opções
• [SPARK-42927] [SC-126883][CORE] Alterar o escopo de acesso de o.a.spark.util.Iterators#size para private[util]
• [SPARK-42943] [SC-126879][SQL] Usar LONGTEXT em vez de TEXT for StringType para comprimento efetivo
• [SPARK-37677] [SC-126855][CORE] Descompactar pode manter permissões de arquivo
• [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] Implementar a API de Mapa Coagrupado
• [SPARK-41876] [SC-126849][CONNECT][PYTHON] Implementar DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][CORE][SQL] Alterar o escopo de acesso das implementações relacionadas de ProtobufSerDe para private[protobuf]
• [SPARK-42819] [SC-125879][SS] Adicionar suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usados no streaming
• [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] Esclarecer o comentário de args SQL parametrizados
• [SPARK-42748] [SC-126455][CONNECT] Gerenciamento de artefatos do lado do servidor
• [SPARK-42816] [SC-126365][CONNECT] Suporte ao tamanho máximo da mensagem até 128 MB
• [SPARK-42850] [SC-126109][SQL] Remover regra duplicada CombineFilters no Otimizador
• [SPARK-42662] [SC-126355][CONNECT][PS] Adicionar mensagem proto para a API do Pandas no índice padrão do Spark
• [SPARK-42720] [SC-126136][PS][SQL] Usa expressão para índice padrão de sequência distribuída em vez de plano
• [SPARK-42790] [SC-126174][SQL] Abstrair o método excluído para melhor teste para testes do docker JDBC.
• [SPARK-42900] [SC-126473][CONNECT][PYTHON] Corrigir createDataFrame para respeitar nomes de inferência e coluna
• [SPARK-42917] [SC-126657][SQL] Corrigir getUpdateColumnNullabilityQuery para DerbyDialect
• [SPARK-42684] [SC-125157][SQL] catálogo v2 não deve permitir o valor padrão da coluna por padrão
• [SPARK-42861] [SC-126635][SQL] Usar private[sql] em vez de protected[sql] para evitar gerar documento de API
• [SPARK-42920] [SC-126728][CONNECT][PYTHON] Habilitar testes para UDF com UDT
• [SPARK-42791] [SC-126617][SQL] Criar uma nova estrutura de teste de arquivo ouro para análise
• [SPARK-42911] [SC-126652][PYTHON] Introduzir exceções mais básicas
• [SPARK-42904] [SC-126634][SQL] Suporte a Char/Varchar para o Catálogo JDBC
• [SPARK-42901] [SC-126459][CONNECT][PYTHON] Mover StorageLevel para um arquivo separado para evitar potencial file recursively imports
• [SPARK-42894] [SC-126451][CONNECT] Suporte cache/persist/unpersist/storageLevel para o cliente jvm do Spark Connect
• [SPARK-42792] [SC-125852][SS] Adicionar suporte para WRITE_FLUSH_BYTES para RocksDB usado em operadores com estado de streaming
• [SPARK-41233] [SC-126441][CONNECT][PYTHON] Adicionar array_prepend ao cliente Python do Spark Connect
• [SPARK-42681] [SC-125149][SQL] Relaxar a restrição de ordenação para o descritor de coluna ALTER TABLE ADD|REPLACE
• [SPARK-42889] [SC-126367][CONNECT][PYTHON] Implementar cache, persistir, não persistir e storageLevel
• [SPARK-42824] [SC-125985][CONNECT][PYTHON] Fornecer uma mensagem de erro clara para atributos JVM sem suporte
• [SPARK-42340] [SC-126131][CONNECT][PYTHON] Implementar a API de Mapa Agrupado
• [SPARK-42892] [SC-126454][SQL] Mover métodos sameType e relevantes para fora do DataType
• [SPARK-42827] [SC-126126][CONNECT] Dar suporte para functions#array_prepend para o cliente do Scala Connect
• [SPARK-42823] [SC-125987][SQL] O shell spark-sql dá suporte a namespaces de várias partes para inicialização
• [SPARK-42817] [SC-125960][CORE] Registrando o nome do serviço em ordem aleatória uma vez no ApplicationMaster
• [SPARK-42786] [SC-126438][Connect] Selecionar com tipo
• [SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] Implementar função ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][SQL] Suporte de codegen para HiveSimpleUDF
• [SPARK-41233] [SC-126110][SQL][PYTHON] Adicionar função array_prepend
• [SPARK-42864] [SC-126268][ML][3.4] Tornar IsotonicRegression.PointsAccumulator privado
• [SPARK-42876] [SC-126281][SQL] O physicalDataType do DataType deve ser privado[sql]
• [SPARK-42101] [SC-125437][SQL] Tornar o suporte do AQE InMemoryTableScanExec
• [SPARK-41290] [SC-124030][SQL] Suporte a expressões GENERATED ALWAYS AS para colunas em instruções de criar/substituir tabela
• [SPARK-42870] [SC-126220][CONNECT] Mover toCatalystValue para connect-common
• [SPARK-42247] [SC-126107][CONNECT][PYTHON] Corrigir UserDefinedFunction para ter returnType
• [SPARK-42875] [SC-126258][CONNECT][PYTHON] Corrigir toPandas para manipular os tipos de fuso horário e mapa corretamente
• [SPARK-42757] [SC-125626][CONNECT] Implementar textFile para DataFrameReader
• [SPARK-42803] [SC-126081][CORE][SQL][ML] Usar a função getParameterCount em vez de getParameterTypes.length
• [SPARK-42833] [SC-126043][SQL] Refatorar applyExtensions em SparkSession
• [SPARK-41765] Reverter "[SC-123550][SQL] Extrair métricas de gravação v1...
• [SPARK-42848] [SC-126105][CONNECT][PYTHON] Implementar DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][CONNECT][PYTHON] Suporte a UserDefinedType no Spark Connect
• [SPARK-42818] [SC-125861][CONNECT][PYTHON] Implementar DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][CONNECT] Adicionar client_type à mensagem protobuf AddArtifactsRequest
• [SPARK-42772] [SC-125860][SQL] Alterar o valor padrão das opções JDBC sobre push down para true
• [SPARK-42771] [SC-125855][SQL] Refatorar HiveGenericUDF
• [SPARK-25050] [SC-123839][SQL] Avro: escrevendo uniões complexas
• [SPARK-42765] [SC-125850][CONNECT][PYTHON] Habilitar a importação de pandas_udf de pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation deve respeitar spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][SQL] Melhorar o desempenho das partições de remoção
• [SPARK-42689] [SC-125195][CORE][SHUFFLE] Permitir que ShuffleDriverComponent declare se os dados em ordem aleatória são armazenados de forma confiável
• [SPARK-42726] [SC-125279][CONNECT][PYTHON] Implementar DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][SQL] Extrair métricas de gravação v1 para WriteFiles
• [SPARK-41171] [SC-124191][SQL] Inferir e reduzir o limite da janela pela janela se partitionSpec estiver vazio
• [SPARK-42686] [SC-125292][CORE] Adiar a formatação para mensagens de depuração no TaskMemoryManager
• [SPARK-42756] [SC-125443][CONNECT][PYTHON] Função auxiliar para converter literal proto em valor no Cliente Python
• [SPARK-42793] [SC-125627][CONNECT] O módulo connect requer build_profile_flags
• [SPARK-42701] [SC-125192][SQL] Adicionar a funçãotry_aes_decrypt()
• [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame não funciona com esquema não anulável
• [SPARK-42733] [SC-125542][CONNECT][Acompanhamento] Gravação sem caminho ou tabela
• [SPARK-42777] [SC-125525][SQL] Suporte à conversão de estatísticas do catálogo timestampNTZ em estatísticas de plano
• [SPARK-42770] [SC-125558][CONNECT] Adicionar truncatedTo(ChronoUnit.MICROS) para fazer SQLImplicitsTestSuite passar na tarefa de teste diário GA do Java 17
• [SPARK-42752] [SC-125550][PYSPARK][SQL] Tornar as exceções do PySpark imprimíveis durante a inicialização
• [SPARK-42732] [SC-125544][PYSPARK][CONNECT] Suporte ao método getActiveSession da sessão do Spark Connect
• [SPARK-42755] [SC-125442][CONNECT] Conversão de valor literal do fator para connect-common
• [SPARK-42747] [SC-125399][ML] Corrigir status internos incorretos de LoR e AFT
• [SPARK-42740] [SC-125439][SQL] Corrigir o bug de que o deslocamento ou a paginação de pushdown é inválido para algum dialeto interno
• [SPARK-42745] [SC-125332][SQL] O AliasAwareOutputExpression aprimorado funciona com DSv2
• [SPARK-42743] [SC-125330][SQL] Suporte à análise de colunas TimestampNTZ
• [SPARK-42721] [SC-125371][CONNECT] Interceptador de log RPC
• [SPARK-42691] [SC-125397][CONNECT][PYTHON] Implementar Dataset.semanticHash
• [SPARK-42688] [SC-124922][CONNECT] Renomear Solicitação proto do Connect de client_id para session_id
• [SPARK-42310] [SC-122792][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][CORE] Otimizar rotinas Utils.bytesToString
• [SPARK-42725] [SC-125296][CONNECT][PYTHON] Fazer literalExpression dar suporte a parâmetros de matriz
• [SPARK-42702] [SC-125293][SPARK-42623][SQL] Suporte à consulta parametrizada em subconsulta e CTE
• [SPARK-42697] [SC-125189][WEBUI] Corrigir /api/v1/applications para retornar tempo de atividade total em vez de 0 para o campo de duração
• [SPARK-42733] [SC-125278][CONNECT][PYTHON] Corrigir DataFrameWriter.save para trabalhar sem parâmetro de caminho
• [SPARK-42376] [SC-124928][SS] Introduzir propagação de marca d'água entre operadores
• [SPARK-42710] [SC-125205][CONNECT][PYTHON] Renomear o proto FrameMap como MapPartitions
• [SPARK-37099] [SC-123542][SQL] Introduzir o limite de grupo da Janela para o filtro baseado em classificação para otimizar a computação top-k
• [SPARK-42630] [SC-125207][CONNECT][PYTHON] Introduzir UnparsedDataType e atrasar a análise da cadeia de caracteres DDL até que SparkConnectClient esteja disponível
• [SPARK-42690] [SC-125193][CONNECT] Implementar funções de análise CSV/JSON para o cliente Scala
• [SPARK-42709] [SC-125172][PYTHON] Remover a suposição de __file__ estar disponível
• [SPARK-42318] [SC-122648][SPARK-42319][SQL] Atribuir nome a LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][SQL] Suporte ao tipo de dados do analisador json "timestamp_ltz" como TimestampType
• [SPARK-42722] [SC-125175][CONNECT][PYTHON] O def schema() do Python Connect não deve armazenar em cache o esquema
• [SPARK-42643] [SC-125152][CONNECT][PYTHON] Registrar funções Java (agregação) definidas pelo usuário
• [SPARK-42656] [SC-125177][CONNECT][Acompanhamento] Corrigir o script spark-connect
• [SPARK-41516] [SC-123899] [SQL] Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela
• [SPARK-41725] [SC-124396][CONNECT] Execução adiantada de DF.sql()
• [SPARK-42687] [SC-124896][SS] Mensagem de erro melhor para a operação sem suporte de pivot no Streaming
• [SPARK-42676] [SC-124809][SS] Gravar pontos de verificação temporários para consultas de streaming no sistema de arquivos local, mesmo que o FS padrão seja definido de forma diferente
• [SPARK-42303] [SC-122644][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][SQL] Garantir pelo menos uma unidade de tempo após "intervalo"
• [SPARK-42649] [SC-124576][CORE] Remover o cabeçalho de Licença Apache padrão da parte superior dos arquivos de origem de terceiros
• [SPARK-42611] [SC-124395][SQL] Inserir verificações de comprimento char/varchar para campos internos durante a resolução
• [SPARK-42419] [SC-124019][CONNECT][PYTHON] Migrar para a estrutura de erro para a API de Coluna do Spark Connect.
• [SPARK-42637] [SC-124522][CONNECT] Adicionar SparkSession.stop()
• [SPARK-42647] [SC-124647][PYTHON] Alterar alias para tipos numpy preteridos e removidos
• [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver só deve fechar o hive sessionState iniciado
• [SPARK-42593] [SC-124405][PS] Preterir e remover as APIs que serão removidas no Pandas 2.0.
• [SPARK-41870] [SC-124402][CONNECT][PYTHON] Corrigir createDataFrame para lidar com nomes de coluna duplicados
• [SPARK-42569] [SC-124379][CONNECT] Gerar exceções para a API de sessão sem suporte
• [SPARK-42631] [SC-124526][CONNECT] Suporte a extensões personalizadas no cliente Scala
• [SPARK-41868] [SC-124387][CONNECT][PYTHON] Correção de createDataFrame para dar suporte a durações
• [SPARK-42572] [SC-124171][SQL][SS] Corrigir o comportamento de StateStoreProvider.validateStateRowFormat

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 13.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 02/10/2023.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)