Compartilhar via

Databricks Runtime 12.2 LTS

  • Artigo

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 12.2 LTS, desenvolvido pelo Apache Spark 3.3.2.

O Databricks lançou essa versão em março de 2023.

Observação

LTS significa que essa versão possui suporte de longo prazo. Consulte Ciclo de vida da versão de LTS do Databricks Runtime.

Dica

Para ver as notas sobre a versão das versões do Databricks Runtime que chegaram ao fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.

Alterações comportamentais

[Alteração interruptiva] A nova versão do Python requer a atualização de clientes Python do Databricks Connect V1

Observação

Uma atualização subsequente move a versão do Python no Databricks Runtime 12.2 LTS para 3.9.21. A versão 3.9.21 não apresenta nenhuma alteração comportamental.

Para aplicar os patches de segurança necessários, a versão do Python no Databricks Runtime 12.2 LTS é atualizada de 3.9.5 para 3.9.19. Como essas alterações podem causar erros em clientes que usam funções específicas do PySpark, todos os clientes que usam o Databricks Connect V1 para Python com o Databricks Runtime 12.2 LTS devem ser atualizados para o Python 3.9.7 ou versão posterior.

Novos recursos e aprimoramentos

Python atualizado da 3.9.19 para a 3.9.21

A versão do Python no Databricks Runtime 12.2 LTS é atualizada da versão 3.9.19 para a 3.9.21.

Suporte à especificação de colunas de origem em instruções de mesclagem na evolução do esquema do Delta Lake

Você já pode especificar colunas presentes apenas na tabela de origem em ações de inserção ou atualização nas instruções de mesclagem quando a evolução do esquema está habilitada. No Databricks Runtime 12.1 e inferior, somente ações INSERT * ou UPDATE SET * podem ser usadas para evolução do esquema com mesclagem. Confira Evolução automática de esquema para mesclagem do Delta Lake.

Suporte a cargas de trabalho de Streaming Estruturado em clusters com o modo de acesso compartilhado

Agora você pode usar o Streaming Estruturado para interagir com o Unity Catalog na computação no modo de acesso padrão. Algumas limitações são aplicáveis. Confira O Catálogo do Unity dá suporte a quais funcionalidades de Streaming Estruturado?.

Novos recursos para E/S preditiva

O suporte do Photon para o coletor Foreachbatch já está disponível. As cargas de trabalho que são transmitidas de uma origem e mescladas em tabelas Delta ou gravadas em vários coletores já podem se beneficiar do coletor Foreachbatch com o Photon.

Suporte a aliases implícitos de coluna lateral

Por padrão, o Azure Databricks já dá suporte a aliases implícitos de coluna lateral. Você já pode reutilizar uma expressão especificada anteriormente na mesma lista SELECT. Por exemplo, considerando SELECT 1 AS a, a + 1 AS b, o a em a + 1 pode ser resolvido como o 1 AS a definido anteriormente. Verifique Resolução de nomes para obter mais detalhes sobre a ordem de resolução. Para desativar esse recurso, defina spark.sql.lateralColumnAlias.enableImplicitResolution como false.

Novo recurso forEachBatch

Agora há suporte ao Photon quando foreachBatch é usado para gravação em um coletor de dados.

Opções de Conexão Padronizadas para Federação de Consulta

Você já pode usar um conjunto unificado de opções (host, porta, banco de dados, usuário, senha) para se conectar às fontes de dados compatíveis na Federação de Consulta. Port é opcional e usa o número da porta padrão para cada fonte de dados, a menos que especificado.

Biblioteca de funções SQL estendida para gerenciamento de matriz

Já é possível remover todos os elementos NULL de uma matriz usando array_compact. Para acrescentar elementos a uma matriz, use array_append.

Nova função mask para anonimizar cadeias de caracteres

Invoque a função mask para anonimizar valores de cadeia de caracteres confidenciais.

Retorno de SQLSTATEs em condições de erro comuns

A maioria das condições de erro do Databricks Runtime já inclui valores SQLSTATE documentados que podem ser usados para testar erros de maneira compatível com o padrão SQL.

Invocação de funções geradoras na cláusula FROM

Você já pode invocar funções geradoras com valor de tabela, como explode na cláusula FROM comum de uma consulta. Isso alinha a invocação de funções geradoras com outras funções de tabela internas e definidas pelo usuário.

Suporte a buffers de protocolo em disponibilidade geral

Você pode usar as funções from_protobuf e to_protobuf para trocar dados entre tipos binários e struct. Confira Ler e gravar buffers de protocolo.

Definição preferida para variáveis e funções de notebook

Em notebooks, você pode ir rapidamente para a definição de uma variável, função ou o código por trás de uma instrução %run clicando com o botão direito do mouse na variável ou no nome da função.

Correção rápida do bloco de anotações para bibliotecas de importação automática

O Databricks Notebooks agora oferece um recurso de correção rápida para bibliotecas de importação automática. Se você esquecer de importar uma biblioteca como pandas, focalize o aviso de sintaxe sublinhado e clique em Correção Rápida, esses recursos exigem que o Assistente do Databricks seja habilitado em seu Workspace.

Correções de bug

  • Consistência aprimorada para o comportamento de confirmação Delta para transações vazias relacionadas a comandos update, delete e merge. No nível de isolamento WriteSerializable, os comandos que não resultam em alterações agora criam um commit vazio. Em um nível de isolamento Serializable, essas transações vazias já não criam um commit.

Alterações de comportamento

Alterações de comportamento com o novo recurso de alias de coluna lateral

O novo recurso de alias de coluna lateral apresenta alterações de comportamento nos seguintes casos durante a resolução de nomes:

  • O alias de coluna lateral agora tem precedência sobre as referências correlacionadas com o mesmo nome. Por exemplo, na consulta SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), o c1 no c1 AS c2 interno era resolvido como a referência correlacionada t.c1, mas agora muda para o alias de coluna lateral 1 AS c1. Atualmente, a consulta retorna NULL.
  • O alias de coluna lateral agora tem precedência sobre os parâmetros de função com o mesmo nome. Por exemplo, na função CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, o x no corpo da função era resolvido como o parâmetro de função x, mas muda para o alias de coluna lateral x + 1 no corpo da função. Atualmente, a consulta SELECT * FROM func(1) retorna 2, 2.
  • Para desativar o recurso de alias de coluna lateral, defina spark.sql.lateralColumnAlias.enableImplicitResolution como false. Para obter mais informações, confira Resolução de nomes.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • filelock de 3.8.2 para 3.9.0
    • joblib de 1.1.0 para 1.1.1
    • platformdirs de 2.6.0 para 2.6.2
    • whatthepatch de 1.0.3 para 1.0.4
  • Bibliotecas do R atualizadas:
    • class de 7.3-20 para 7.3-21
    • codetools de 0.2-18 para 0.2-19
    • MASS de 7.3-58 para 7.3-58.2
    • nlme de 3.1-160 para 3.1-162
    • Rserve de 1.8-11 para 1.8-12
    • SparkR de 3.3.1 para 3.3.2

Alterações de comportamento

  • Agora, os usuários precisam ter os privilégios SELECT e MODIFY em qualquer arquivo ao criar um esquema com um local definido.

Apache Spark

O Databricks Runtime 12.2 inclui o Apache Spark 3.3.2. Esta versão inclui todas as correções e todos os aprimoramentos incluídos no Databricks Runtime 12.1 (EoS), bem como as seguintes correções de bugs e aprimoramentos adicionais feitos no Spark:

  • [SPARK-42416] [SC-123205][sc-122851][SQL] As operações de conjunto de datas não devem resolver o plano lógico analisado novamente
  • [SPARK-41848] Reverter "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Corrigir tarefa super-agendada com TaskResourceProfile"
  • [SPARK-42162] [SC-122711][es-556261] Introduzir a expressão MultiCommutativeOp como uma otimização de memória para canonizar árvores grandes de expressões comutativas
  • [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Correção da configuração de profundidade recursiva para funções Protobuf
  • [SPARK-42002] [SC-122476][connect][PYTHON] Implement DataFrameWriterV2
  • [SPARK-41716] [SC-122545][connect] Renomear _catalog_to_pandas para _execute_and_fetch no Catálogo
  • [SPARK-41490] [SC-121774][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Implementar Catalog.cacheTable, isCached e uncache
  • [SPARK-42191] [SC-121990][sql] Suporte udf 'luhn_check'
  • [SPARK-42253] [SC-121976][python] Adicionar teste para detectar a classe de erro duplicada
  • [SPARK-42268] [SC-122251][connect][PYTHON] Adicionar UserDefinedType em protos
  • [SPARK-42231] [SC-121841][sql] Transformar MISSING_STATIC_PARTITION_COLUMN em internalError
  • [SPARK-42136] [SC-122554] Refatorar cálculo de particionamento de saída de BroadcastHashJoinExec
  • [SPARK-42158] [SC-121610][sql] Integrar _LEGACY_ERROR_TEMP_1003 ao FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][sc-121820][PYTHON] Migrar o TypeError do pyspark/sql/dataframe.py para PySparkTypeError
  • [SPARK-35240] Reverter "[SC-118242][ss] Usar CheckpointFileManager...
  • [SPARK-41488] [SC-121858][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1176 (e 1177)
  • [SPARK-42232] [SC-122267][sql] Renomear classe de erro: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][sql] Reescrever agregações distintas após a mesclagem de subconsulta
  • [SPARK-42306] [SC-122539][sql] Integrar _LEGACY_ERROR_TEMP_1317 ao UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][sql] Renomear classe de erro: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][core] Ignorar IOException em handleBlockRemovalFailure se SparkContext estiver interrompido
  • [SPARK-41295] [SC-122442][spark-41296][SQL] Renomeie as classes de erro
  • [SPARK-42320] [SC-122478][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][connect] SparkConnectClient dá suporte a RetryPolicies agora
  • [SPARK-38728] [SC-116723][sql] Testar a classe de erro: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Exemplos autossuficientes no PySpark
  • [SPARK-39347] [SC-122457][ss] Correção de bug para cálculo da janela de tempo quando o tempo do evento < 0
  • [SPARK-42336] [SC-122458][core] Use getOrElse() em vez de contains() no ResourceAllocator
  • [SPARK-42125] [SC-121827][connect][PYTHON] Pandas UDF in Spark Connect
  • [SPARK-42217] [SC-122263][sql] Suporte a alias de coluna lateral implícita em consultas com Janela
  • [SPARK-35240] [SC-118242][ss] Use CheckpointFileManager para manipulação de arquivos de ponto de verificação
  • [SPARK-42294] [SC-122337][sql] Incluir valores padrão de coluna na saída DESCRIBE para tabelas V2
  • [SPARK-41979] Desfazer "Reverter “[12.x][sc-121190][SQL] Adicionar pontos ausentes às mensagens de erro em classes de erro.”"
  • [SPARK-42286] [SC-122336][sql] Retorno ao caminho de código codegen anterior para expressão complexa com CAST
  • [SPARK-42275] [SC-122249][connect][PYTHON] Evite usar lista embutida, dicionário na tipagem estática
  • [SPARK-41985] [SC-122172][sql] Centralizar mais regras de resolução de coluna
  • [SPARK-42126] [SC-122330][python][CONNECT] Admitir tipo de retorno em strings DDL para UDFs escalares do Python no Spark Connect
  • [SPARK-42197] [SC-122328][sc-121514][CONNECT] Reutiliza a inicialização de JVM e separa grupos de configuração a serem definidos no modo local remoto
  • [SPARK-41575] [SC-120118][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] Reverter "[SC-122172][sql] Centralizar mais regras de resolução de coluna"
  • [SPARK-42123] [SC-122234][sc-121453][SQL] Incluir valores padrão de coluna na saída DESCRIBE e SHOW CREATE TABLE
  • [SPARK-41985] [SC-122172][sql] Centralizar mais regras de resolução de coluna
  • [SPARK-42284] [SC-122233][connect] Verifique se o assembly do servidor de conexão foi criado antes de executar testes de cliente – SBT
  • [SPARK-42239] [SC-121790][sql] Integrar MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][sql] DS V2 pushdown dá suporte a dialetos JDBC compilam SortOrder sozinhos
  • [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics deve cuidar do Python UDAF
  • [SPARK-41979] Reverter "[12.x][sc-121190][SQL] Adicionar pontos ausentes para mensagens de erro em classes de erro".
  • [SPARK-42224] [12.x][sc-121708][CONNECT] Integrar TypeError dentro do framework de erros para funções do Spark Connect
  • [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Migrar os erros do Spark Connect para a estrutura de erros do PySpark.
  • [SPARK-42119] [SC-121913][sc-121342][SQL] Adicionar funções internas com valor de tabela inline e inline_outer
  • [SPARK-41489] [SC-121713][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Introduza PySparkValueError e PySparkTypeError
  • [SPARK-42081] [SC-121723][sql] Melhorar a validação de mudanças no plano
  • [SPARK-42225] [12.x][sc-121714][CONNECT] Adicionar SparkConnectIllegalArgumentException para lidar com o erro do Spark Connect com precisão.
  • [SPARK-42044] [12.x][sc-121280][SQL] Corrigir mensagem de erro incorreta para MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][sc-121712][PS] Permitir parâmetro de colunas ao criar DataFrame com Série.
  • [SPARK-42078] [12.x][sc-120761][PYTHON] Migrar erros gerados pela JVM para PySparkException.
  • [SPARK-42133] [12.x][sc-121250] Adicionar métodos básicos de API do conjunto de dados ao cliente SparkConnect Scala
  • [SPARK-41979] [12.x][sc-121190][SQL] Adicionar pontos ausentes para mensagens de erro em classes de erro.
  • [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Scalar Inline Python UDF in Spark Connect
  • [SPARK-42051] [SC-121994][sql] Suporte de codegen para HiveGenericUDF
  • [SPARK-42257] [SC-121948][core] Remover variável de classificador externo não utilizada
  • [SPARK-41735] [SC-121771][sql] Use MINIMAL em vez de STANDARD para SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][sql] Refinar NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][sql] Melhorar a mensagem de erro para PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][core] Migrar SparkCoreErrors para classes de erro
  • [SPARK-42163] [SC-121839][sql] Corrigir a poda de esquema para índice de matriz não dobrável ou chave de mapa
  • [SPARK-40711] [SC-119990][sql] Adicionar métricas de tamanho de derramamento para janela
  • [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] Fazer createDataFrame dar suporte a AtomicType -> StringType coerção
  • [SPARK-42202] [SC-121837][connect][Test] Aprimorar a lógica de parada do servidor de teste E2E
  • [SPARK-41167] [SC-117425][sql] Melhorar o desempenho de múltiplos 'LIKE' criando um predicado de árvore de expressão balanceada
  • [SPARK-41931] [SC-121618][sql] Melhor mensagem de erro para definição de tipo complexo incompleta
  • [SPARK-36124] [SC-121339][sc-110446][SQL] Suporte a subconsultas com correlação por meio de UNION
  • [SPARK-42090] [SC-121290][3.3] Introduzir a contagem de repetição do SASL em RetryingBlockTransferor
  • [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR deve fornecer agendador FAIR
  • [SPARK-41572] [SC-120772][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224][sql] Renomear & melhorar a mensagem de erro para NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][sql] Melhorar a mensagem de erro para INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][sc-120573] Designar dos SQLSTATE (1/2)
  • [SPARK-41415] [SC-121117][3.3] Repetições de solicitação SASL
  • [SPARK-38591] [SC-121018][sql] Adicionar flatMapSortedGroups e cogroupSorted
  • [SPARK-41975] [SC-120767][sql] Melhorar a mensagem de erro para INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][sql][PROTOBUF] Adicionar opções ausentes para funções protobuf
  • [SPARK-41984] [SC-120769][sql] Renomear & para aperfeiçoar a mensagem de erro de RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][sql] Corrigir NPE para classes de erro: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][connect][PYTHON] Correção do nome da coluna incorreta em withField's doctest
  • [SPARK-41283] [SC-121175][connect][PYTHON] Adicionar array_append ao Connect
  • [SPARK-41960] [SC-120773][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][sql] Corrigir getPartitionFiltersAndDataFilters() para manipular filtros sem atributos referenciados
  • [SPARK-42096] [SC-121012][conectar] Algumas limpezas no módulo de código connect
  • [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] Corrigir count(*) e count(col(*))
  • [SPARK-42045] [SC-120958][sc-120450][SQL] Modo SQL ANSI: Round/Bround deve retornar um erro no estouro de inteiro
  • [SPARK-42043] [SC-120968][connect] Resultado do cliente Scala com testes E2E
  • [SPARK-41884] [SC-121022][connect] Suporte à tupla ingênua como uma linha aninhada
  • [SPARK-42112] [SC-121011][sql][SS] Adicionar verificação nulo antes de fechar a função ContinuousWriteRDD#computedataWriter
  • [SPARK-42077] [SC-120553][connect][PYTHON] Literal deve lançar TypeError para tipos de dados sem suporte
  • [SPARK-42108] [SC-120898][sql] Fazer o Analisador transformar Count(*) em Count(1)
  • [SPARK-41666] [SC-120928][sc-119009][PYTHON] Suporte SQL parametrizado por sql()
  • [SPARK-40599] [SC-120930][sql] Relaxar o tipo de regra multiTransform para permitir que as alternativas sejam de qualquer tipo de Seq
  • [SPARK-41574] [SC-120771][sql] Atualizar _LEGACY_ERROR_TEMP_2009 como INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766][sql] Transformar INCORRECT_END_OFFSET em INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][sc-118513][CORE] Renomear MedianHeap para PercentileMap e percentil de suporte
  • [SPARK-41757] [SC-120608][spark-41901][CONNECT] Corrigir representação de cadeia de caracteres para a classe Column
  • [SPARK-42084] [SC-120775][sql] Evite vazar a restrição somente acesso qualificado
  • [SPARK-41973] [SC-120765][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][sql] SPJ: Remover opção em KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712][connect][PYTHON] Renomear mensagens de protocolo para toDF e withColumnsRenamed
  • [SPARK-42089] [SC-120605][connect][PYTHON] Corrigir problemas de nomenclatura de variáveis em funções lambda aninhadas
  • [SPARK-41982] [SC-120604][sql] As partições da cadeia de caracteres de tipo não devem ser tratadas como tipos numéricos
  • [SPARK-40599] [SC-120620][sql] Adicionar métodos multiTransform ao TreeNode para gerar alternativas
  • [SPARK-42085] [SC-120556][connect][PYTHON] Fazer from_arrow_schema oferecer suporte a tipos aninhados
  • [SPARK-42057] [SC-120507][sql][PROTOBUF] Corrigir como a exceção é tratada no relatório de erros.
  • [SPARK-41586] [12.x][todos os testes][SC-120544][python] Introduza classes de pyspark.errors e de erro para pySpark.
  • [SPARK-41903] [SC-120543][connect][PYTHON] Literal deve dar suporte a ndarray de 1 dim
  • [SPARK-42021] [SC-120584][connect][PYTHON] Tornar createDataFrame suporte array.array
  • [SPARK-41896] [SC-120506][sql] A filtragem por índice de linha retorna resultados vazios
  • [SPARK-41162] [SC-119742][sql] Corrigir anti-junção e semi-junção para auto junção com agregações
  • [SPARK-41961] [SC-120501][sql] Suporte a funções com valor de tabela com LATERAL
  • [SPARK-41752] [SC-120550][sql][interface do usuário] Agrupar execuções aninhadas sob a execução raiz
  • [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Literal deve dar suporte a tipos de dados Numpy
  • [SPARK-42028] [SC-120344][connect][PYTHON] Truncando carimbos de data/hora de nanossegundos
  • [SPARK-42011] [SC-120534][connect][PYTHON] Implementar DataFrameReader.csv
  • [SPARK-41990] [SC-120532][sql] Use FieldReference.column em vez de apply na conversão de filtro V1 para V2
  • [SPARK-39217] [SC-120446][sql] Torna o DPP compatível com o lado de poda que contém União.
  • [SPARK-42076] [SC-120551][connect][PYTHON] Conversão de dados do fator arrow -> rows para conversion.py
  • [SPARK-42074] [SC-120540][sql] Habilitar KryoSerializer em TPCDSQueryBenchmark para impor o registro de classe SQL
  • [SPARK-42012] [SC-120517][connect][PYTHON] Implement DataFrameReader.orc
  • [SPARK-41832] [SC-120513][connect][PYTHON] Corrigir DataFrame.unionByName, adicionar allow_missing_columns (permitir_colunas_faltantes)
  • [SPARK-38651] [SC-120514] [SQL] Adicionar spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert deve aceitar ExpressionProxy como filho
  • [SPARK-41232] [SC-120073][sql][PYTHON] Adicionando função array_append
  • [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader deve dar suporte à lista de caminhos
  • [SPARK-42071] [SC-120533][core] Registrar scala.math.Ordering$Reverse no KryoSerializer
  • [SPARK-41986] [SC-120429][sql] Introduzir shuffle no SinglePartition
  • [SPARK-42016] [SC-120428][connect][PYTHON] Habilitar testes relacionados à coluna aninhada
  • [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader deve dar suporte ao esquema StructType
  • [SPARK-42031] [SC-120389][core][SQL] Limpar métodos remove que não precisam de sobrescrição
  • [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Fazer createDataFrame(rows/lists/tuples/dicts) dar suporte a tipos aninhados
  • [SPARK-41437] [SC-117601][sql][TODOS OS TESTES] Não otimize a consulta de entrada duas vezes para fallback de escrita v1
  • [SPARK-41840] [SC-119719][connect][PYTHON] Adicione o alias ausente groupby
  • [SPARK-41846] [SC-119717][connect][PYTHON] Habilitar doctests para funções de janela
  • [SPARK-41914] [SC-120094][sql] FileFormatWriter materializa o plano do AQE antes de acessar outputOrdering
  • [SPARK-41805] [SC-119992][sql] Reutilizar expressões em WindowSpecDefinition
  • [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range para usar float como argumentos
  • [SPARK-42029] [SC-120336][connect] Adicionar regras de sombreamento do Guava a connect-common para evitar falha de inicialização
  • [SPARK-41989] [SC-120334][python] Evite quebrar a configuração de log do pyspark.pandas
  • [SPARK-42003] [SC-120331][sql] Reduzir código duplicado em ResolveGroupByAll
  • [SPARK-41635] [SC-120313][sql] Corrigir grupo por todos os relatórios de erros
  • [SPARK-41047] [SC-120291][sql] Aprimorar documentos para a rodada
  • [SPARK-41822] [SC-120122][connect] Configurar conexão gRPC para o cliente Scala/JVM
  • [SPARK-41879] [SC-120264][connect][PYTHON] Suportar tipos aninhados em DataFrame.collect
  • [SPARK-41887] [SC-120268][connect][PYTHON] Fazer DataFrame.hint aceitar parâmetro do tipo lista
  • [SPARK-41964] [SC-120210][connect][PYTHON] Adicione a lista de funções de E/S sem suporte
  • [SPARK-41595] [SC-120097][sql] Suportar a função geradora explode/explode_outer na cláusula FROM
  • pt-BR: [SPARK-41957] [SC-120121][connect][PYTHON] Habilitar o doctest para DataFrame.hint
  • [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect a saída do doctest está em ordem diferente
  • [SPARK-41442] [SC-117795][sql][TODOS OS TESTES] Atualizar o valor de SQLMetric apenas se mesclar com uma métrica válida
  • [SPARK-41944] [SC-120046][conectar] Passar configurações quando o modo remoto local estiver ativado
  • [SPARK-41708] [SC-119838][sql] Efetuar pull de informações v1write para WriteFiles
  • [SPARK-41780] [SC-120000][sql] Deve gerar INVALID_PARAMETER_VALUE.PATTERN quando os parâmetros regexp são inválidos
  • [SPARK-41889] [SC-119975][sql] Anexar causa raiz a invalidPatternError & refatoração das classes de erro INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][sql] Fazer classes de caso AvroScanBuilder e JsonScanBuilder
  • [SPARK-41945] [SC-120010][connect][PYTHON] Python: cliente de conexão perdeu dados de coluna com pyarrow.Table.to_pylist
  • [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Codificadores independentes
  • [SPARK-41354] [SC-119995][connect][PYTHON] Implementar RepartitionByExpression
  • [SPARK-41581] [SC-119997][sql] Atualização _LEGACY_ERROR_TEMP_1230 como INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][connect][PYTHON] Adicione a lista sem suporte para functions
  • [SPARK-41933] [SC-119980][conectar] Forneça o modo local que inicia automaticamente o servidor
  • [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame' deve respeitar o esquema DDL fornecido pelo usuário
  • [SPARK-41936] [SC-119978][connect][PYTHON] Fazer withMetadata reutilizar o withColumns proto
  • [SPARK-41898] [SC-119931][connect][PYTHON] Paridade de tipo de verificação de parâmetros do Window.rowsBetween e Window.rangeBetween com pyspark
  • [SPARK-41939] [SC-119977][connect][PYTHON] Adicione a lista sem suporte para funções catalog
  • [SPARK-41924] [SC-119946][connect][PYTHON] Fazer com que StructType suporte metadados e implementar DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][connect][PYTHON] Adicione a lista de funções sem suporte para session
  • [SPARK-41875] [SC-119969][connect][PYTHON] Adicionar casos de teste para Dataset.to()
  • [SPARK-41824] [SC-119970][connect][PYTHON] Ignorar o doctest para a explicação do connect
  • [SPARK-41880] [SC-119959][connect][PYTHON] Permitir que a função from_json aceite um esquema não literal
  • [SPARK-41927] [SC-119952][connect][PYTHON] Adicione a lista sem suporte para GroupedData
  • [SPARK-41929] [SC-119949][connect][PYTHON] Adicionar função array_compact
  • [SPARK-41827] [SC-119841][connect][PYTHON] Fazer GroupBy aceitar a lista de colunas
  • [SPARK-41925] [SC-119905][sql] Habilitar spark.sql.orc.enableNestedColumnVectorizedReader por padrão
  • [SPARK-41831] [SC-119853][connect][PYTHON] Fazer DataFrame.select aceitar lista de colunas
  • [SPARK-41455] [SC-119858][connect][PYTHON] Fazer DataFrame.collect descartar as informações de fuso horário
  • [SPARK-41923] [SC-119861][connect][PYTHON] Adicionar DataFrame.writeTo à lista sem suporte
  • [SPARK-41912] [SC-119837][sql] Subconsulta não deve validar CTE
  • [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Tornar createDataFrame dar suporte a dataframe vazio
  • [SPARK-41905] [SC-119848][connect] Nome de suporte como cadeias de caracteres na fatia
  • [SPARK-41869] [SC-119845][connect] Rejeitar cadeia de caracteres única em dropDuplicates
  • [SPARK-41830] [SC-119840][connect][PYTHON] Fazer DataFrame.sample aceitar os mesmos parâmetros do PySpark
  • [SPARK-41849] [SC-119835][connect] Implementar DataFrameReader.text
  • [SPARK-41861] [SC-119834][sql] Fazer com que o método build() dos ScanBuilders v2 retorne uma verificação tipada
  • [SPARK-41825] [SC-119710][connect][PYTHON] Habilitar os doctests relacionados a DataFrame.show
  • [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] Fazer com que createDataFrame manipule None/NaN corretamente
  • [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] Fazer com que DataFrame.collect lide adequadamente com None/NaN/Array/Binary.
  • [SPARK-39318] [SC-119713][sql] Remover arquivos golden tpch-plan-stability com estatísticas
  • [SPARK-41791] [SC-119745] Adicionar novos tipos de colunas de metadados de origem de arquivo
  • [SPARK-41790] [SC-119729][sql] Definir o formato do leitor TRANSFORM e do gravador corretamente
  • [SPARK-41829] [SC-119725][connect][PYTHON] Adicione o parâmetro de ordenação ausente em Sort e sortWithinPartitions
  • [SPARK-41576] [SC-119718][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][connect][PYTHON] Corrigir teste de documento para DataFrame.describe
  • [SPARK-41871] [SC-119714][connect] O parâmetro de dica DataFrame pode ser str, float ou int
  • [SPARK-41720] [SC-119076][sql] Renomear UnresolvedFunc para UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][sql] Corrigir bug de precisão relacionado aos valores PADRÃO no leitor Orc
  • [SPARK-41582] [SC-119482][sc-118701][CORE][sql] Reutilizar INVALID_TYPED_LITERAL em vez de _LEGACY_ERROR_TEMP_0022

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 12.2.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • python: 3.9.21
  • R: 4.2.2
  • Delta Lake: 2.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
clique 8.0.4 criptografia 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0,11 entrypoints 0,4 em execução 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.8 numpy 1.21.5 empacotando 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
solicitações 2.27.1 requests-unixsocket 0.2.0 rope 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0,1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 11/11/2022. O instantâneo não está mais disponível.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.0 askpass 1,1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 sinal de interpolação 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-21 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credenciais 1.3.2 curl 4.3.3
data.table 1.14.4 conjuntos de dados 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 Genéricos 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 elemento gráfico 4.2.2 grDevices 4.2.2
grade 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 ciclo de vida 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1,3
MASS 7.3-58.2 Matriz 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0,42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1