Tempo de execução do Databricks 16.2

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.2, alimentado pelo Apache Spark 3.5.2.

A Databricks lançou esta versão em fevereiro de 2025.

Mudanças comportamentais

ANALYZE agora ignora colunas com tipos não suportados

ANALYZE TABLE não resulta mais em uma mensagem de erro quando executado em uma tabela com tipos sem suporte, como ARRAY ou MAP. As colunas sem suporte agora são ignoradas automaticamente. Os usuários que implementaram a lógica que espera esses erros devem atualizar seu código.

No Compartilhamento Delta, o histórico da tabela é habilitado por padrão

Os compartilhamentos criados usando o comando SQL ALTER SHARE <share> ADD TABLE <table> agora têm o compartilhamento de histórico (WITH HISTORY) habilitado por padrão. Consulte ALTER SHARE.

As instruções SQL de credenciais retornam um erro quando há uma incompatibilidade de tipo de credencial

Com esta versão, se o tipo de credencial especificado em uma instrução SQL de gerenciamento de credenciais não corresponder ao tipo do argumento de credencial, um erro será retornado e a instrução não será executada. Por exemplo, para a instrução DROP STORAGE CREDENTIAL 'credential-name', se credential-name não for uma credencial de armazenamento, a instrução falhará com um erro.

Essa alteração é feita para ajudar a evitar erros do usuário. Anteriormente, essas instruções eram executadas com êxito, mesmo que uma credencial que não correspondesse ao tipo de credencial especificado tivesse sido passada. Por exemplo, a seguinte instrução removeria com sucesso storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Esta alteração afeta as seguintes declarações:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT… ON… CREDENCIAL
• REVOKE… ON… CREDENCIAL
• SHOW GRANTS SOBRE... CREDENCIAL

Novos recursos e melhorias

• Crie aplicações com estado personalizadas com o transformWithState
• Autentique-se no armazenamento de objetos na nuvem com credenciais de serviço
• acesso controlado pelo Unity Catalog a serviços de nuvem externos usando credenciais de serviço agora é GA
• Os cadernos são suportados como ficheiros de espaço de trabalho
• Use o timestampdiff & timestampadd em expressões de coluna geradas
• Suporte para sintaxe de pipeline SQL
• Fazer solicitação HTTP usando a função http_request
• Atualização para DESCRIBE TABLE retorna metadados como JSON estruturado
• Colações insensíveis a espaços em branco à direita
• Converter tabelas Iceberg com particionamento de bucket em tabelas Delta não particionadas
• computação do modo de acesso padrão (anteriormente modo de acesso compartilhado) agora suporta os métodos Spark Scala foreach, foreachBatche flatMapGroupsWithState

Crie aplicativos com monitoração de estado personalizados com transformWithState

Agora pode usar o transformWithState e APIs relacionadas para implementar aplicações com estado personalizado como parte de consultas estruturadas de Streaming. Consulte Criar uma aplicação com estado personalizado.

Autenticar no armazenamento de objetos na nuvem com credenciais de serviço

Agora você pode usar as credenciais do serviço Databricks para autenticar no armazenamento de objetos na nuvem com o Auto Loader. Consulte O que é o modo de notificação de ficheiros do Auto Loader?.

O acesso a serviços de nuvem externos controlado pelo Unity Catalog usando credenciais de serviço agora está em Disponibilidade Geral (GA)

As credenciais de serviço permitem uma autenticação simples e segura com os serviços do seu locatário de nuvem do Azure Databricks. Com o Databricks Runtime 16.2, as credenciais de serviço estão geralmente disponíveis e agora suportam SDKs Scala, além do SDK Python que era suportado na Visualização Pública. Consulte Gerenciar o acesso a serviços de nuvem externos usando credenciais de serviço.

Os blocos de notas são suportados como ficheiros de espaço de trabalho

No Databricks Runtime 16.2 e superior, os blocos de anotações são suportados como arquivos de espaço de trabalho. Agora você pode interagir programaticamente com blocos de anotações de qualquer lugar onde o sistema de arquivos do espaço de trabalho esteja disponível, incluindo gravação, leitura e exclusão de blocos de anotações como qualquer outro arquivo. Para saber mais, consulte Blocos de Anotações como arquivos de espaço de trabalho.

Usar o timestampdiff & timestampadd em expressões de coluna geradas

No Databricks Runtime 16.2 e superior, você pode usar as funções timestampdiff e timestampadd em expressões de coluna geradas pelo Delta Lake. Consulte colunas geradas pelo Lago Delta.

Suporte para sintaxe de pipeline SQL

Nas versões do Databricks Runtime 16.2 e superiores, pode compor pipelines SQL. Um pipeline SQL estrutura uma consulta padrão, como SELECT c2 FROM T WHERE c1 = 5, em uma sequência passo a passo, conforme mostrado no exemplo a seguir:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Para saber mais sobre a sintaxe com suporte para pipelines SQL, consulte SQL Pipeline Syntax.

Para obter informações de base sobre esta extensão intersetorial, consulte SQL apresenta problemas. Podemos corrigi-los: Sintaxe de Pipe em SQL (por Google Research).

Fazer solicitação HTTP usando a função http_request

No Databricks Runtime 16.2 e superior, você pode criar conexões HTTP e, através delas, fazer solicitações HTTP usando a função http_request.

Atualização para DESCRIBE TABLE retorna metadados como JSON estruturado

No Databricks Runtime 16.2 e superior, você pode usar o comando DESCRIBE TABLE AS JSON para retornar metadados de tabela como um documento JSON. A saída JSON é mais estruturada do que o relatório padrão legível por humanos e pode ser usada para interpretar o esquema de uma tabela programaticamente. Para saber mais, consulte DESCRIBE TABLE AS JSON.

Agrupamentos insensíveis em branco à direita

O Databricks Runtime 16.2 adiciona suporte para agrupamentos que não consideram espaços em branco à direita, complementando o suporte de agrupamento adicionado no Databricks Runtime 16.1. Por exemplo, esses agrupamentos tratam 'Hello' e 'Hello ' como iguais. Para saber mais, consulte collation RTRIM.

Converter tabelas Iceberg com particionamento de bucket em tabelas Delta não particionadas

As instruções CONVERT TO DELTA e CREATE TABLE CLONE agora suportam a conversão de uma tabela Iceberg com particionamento de bucket em uma tabela Delta não particionada.

A computação do modo de acesso padrão (anteriormente modo de acesso compartilhado) agora suporta os métodos Spark Scala foreach, foreachBatche flatMapGroupsWithState

No Databricks Runtime 16.2 e superior, a computação do modo de acesso padrão agora suporta os métodos Scala DataStreamWriter.foreachBatch e KeyValueGroupedDataset.flatMapGroupsWithState. No Databricks Runtime 16.1 ou superior, o modo de acesso padrão de computação agora suporta o método Scala DataStreamWriter.foreach.

Correções de bugs

Processamento incremental de clones melhorado

Esta versão inclui uma correção para um caso limite em que um CLONE incremental pode voltar a copiar os ficheiros já copiados de uma tabela de origem para uma tabela de destino. Ver Clonar uma tabela no Azure Databricks.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • org.json4s.json4s-ast_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-core_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-jackson_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-scalap_2.12 de 3.7.0-M11 a 4.0.7

Apache Spark

O Databricks Runtime 16.2 inclui o Apache Spark 3.5.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.1, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-49966] Reverter "[SC-179501][sql] Use Invoke para implementar JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][sql] Corrigir a execução da consulta walker da expressão de agrupamento
• [SPARK-49666] [SQL] Habilitar testes de corte para expressão InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Alterar a assinatura da expressão TimestampAdd
• [SPARK-50795] [16.x][sc-186719][SQL] Armazenar o carimbo de data/hora como tipo long em describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Adicione o fuso horário ao converter para timestamp em V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Falha no ExecuteResponseObserver resulta em infinitas solicitações de reanexação
• [SPARK-50522] [SC-186500][sql] Suporte para agrupamento indeterminado
• [SPARK-50525] [SC-186058][sql] Definir a regra de otimização InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Expressões comuns duplicadas em diferentes cláusulas WITH devem ser selecionadas apenas uma vez
• [SPARK-50847] [SC-186916] [SQL] Negar a aplicação de ApplyCharTypePadding em expressões In específicas
• [SPARK-50714] [SC-186786][sql][SS] Ativar evolução do esquema para TransformWithState quando a codificação Avro for usada
• [SPARK-50795] [SC-186390][sql] Mostrar todas as datas em DESCRIBE AS JSON no formato ISO-8601 e exibir tipos como dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: Melhorar a coerção de tipo e a verificação de limites na função UNIFORM do SQL
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog suporta builtin valor mágico
• [SPARK-50831] [SC-186736][sql] Habilitar agrupamento de corte por padrão
• [SPARK-50263] [SC-186793][connect] Substitua System.currentTimeMillis por System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementar CreateSQLFunctionCommand para funções escalares e de tabela SQL
• [SPARK-50830] [SC-186718] [SQL] Retornar o resultado de uma única passagem como o resultado da análise de execução dupla
• [SPARK-50707] [SC-186098][sql] Ativar conversão para e de char/varchar
• [SPARK-49490] [SC-182137][sql] Adicionar benchmarks para initCap
• [SPARK-50529] [SC-184535][sql] Alterar o comportamento char/varchar na configuração spark.sql.preserveCharVarcharTypeInfo
• [SPARK-49632] [SC-184179][sql] Remova a sugestão de configuração ANSI no CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Corrigir bug onde passar Variantes nulas em createDataFrame faz com que ele falhe e adicione suporte a Variant em createDataFrame no Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Descontinuar pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Definir como analisado após falha na análise
• [SPARK-50824] [SC-186472][python] Evite importar pacotes Python opcionais para verificação
• [SPARK-50755] [SC-185521][sql] Exibição de plano bonito para InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] As entradas para agregações tipadas devem ser analisadas
• [SPARK-50791] [SC-185867][sc-186338][SQL] Corrigir NPE no tratamento de erros do State Store
• [SPARK-50801] [SC-186365] [SQL] Melhore PlanLogger.logPlanResolution para que mostre apenas planos resolvidos e não resolvidos
• [SPARK-50749] [SC-185925][sql] Corrigir bug de ordenação no método CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Canonicalize o nome e o layout do arquivo de resultados do criador de perfil JVM no DFS
• [SPARK-50790] [SC-186354][python] Implementar a análise de JSON no pyspark
• [SPARK-50738] [SC-184856][python] Atualizar black para 23.12.1
• [SPARK-50764] [SC-185930][python] Refinar o docstring de métodos relacionados ao xpath
• [SPARK-50798] [SC-186277][sql] Melhorar NormalizePlan
• [SPARK-49883] [SC-183787][ss] Estrutura de Checkpoint do Armazenamento de Estado V2: Integração com o RocksDB e o RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Adicionando flag de recurso para colações ao nível do objeto
• [SPARK-50778] [SC-186183][python] Adicionar metadataColumn ao PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: Melhore aliases de expressão gerados automaticamente com operadores SQL de pipe
• [SPARK-50541] [16.x][sc-184937] Descrever tabela como JSON
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: Manter aliases de tabela após SET, EXTEND, DROP operadores
• [SPARK-50769] [SC-185919][sql] Corrigir ClassCastException em HistogramNumeric
• [SPARK-49025] [SC-174667] Sincronizar diferença de código Delta com DBR
• [SPARK-50752] [SC-185547][python][SQL] Introduza configurações para ajustar Python UDF sem seta
• [SPARK-50705] [SC-185944][sql] Torne QueryPlan sem bloqueio
• [SPARK-50690] [16.x][sc-184640][SQL] Corrigir discrepância no DESCRIBE TABLE exibir colunas de saída de consulta citando citações
• [SPARK-50746] [SC-184932][sql] Substitua Either por VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder define as configurações em lote
• [SPARK-50480] [SC-183359][sql] Estender CharType e VarcharType a partir de StringType
• [SPARK-50675] [SC-184539][sql] Suporte a agrupamentos de nível de tabela e exibição
• [SPARK-50409] [SC-184516][sql] Corrigir instrução set para ignorar ; no final de SET;, SET -v; e SET key;
• [SPARK-50743] [SC-185528][sql] Normalizar IDs CTERelationDef e CTERelationRef
• [SPARK-50693] [SC-184684][connect] As entradas para TypedScalaUdf devem ser analisadas
• [SPARK-50744] [SC-184929][sql] Adicionar um caso de teste para precedência de resolução de nome de exibição/CTE
• [SPARK-50710] [SC-184767][connect] Adicionar suporte para reconexão de cliente opcional a sessões após o lançamento
• [SPARK-50703] [SC-184843][python] Refine o docstring de regexp_replace, regexp_substr e regexp_instr
• [SPARK-50716] [SC-184823][core] Corrigir a lógica de limpeza para links simbólicos no método JavaUtils.deleteRecursivelyUsingJavaIO
• [SPARK-50630] [SC-184443][sql] Corrija GROUP BY suporte ordinal para operadores de pipe SQL AGGREGATE
• [SPARK-50614] [SC-184729][sql] Adicionar suporte de trituração de variante para Parquet
• [SPARK-50661] [SASP-4936] Adicionar compatibilidade com versões anteriores para o cliente antigo FEB.
• [SPARK-50676] [SC-184641][sql] Remover private lazy val mapValueContainsNull não utilizados do ElementAt
• [SPARK-50515] [SC-183813][core] Adicionar interface somente leitura ao SparkConf
• [SPARK-50697] [SC-184702][sql] Ativar a recursão de cauda sempre que possível
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Corrija o esquema de estado para FlatMapGroupsWithState no Spark Connect quando não há estado inicial
• [SPARK-50701] [SC-184704][python] Faça com que o plotly exija a versão mínima do plotly
• [SPARK-50702] [SC-184727][python] Refine o docstring de regexp_count, regexp_extract e regexp_extract_all
• [SPARK-50499] [SC-184177][python] Expor métricas do BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Adicionar suporte a RPAD pushdown
• [SPARK-50682] [SC-184579][sql] Alias interno deve ser canonicalizado
• [SPARK-50699] [SC-184695][python] Analise e gere a cadeia de caracteres DDL com uma sessão especificada
• [SPARK-50573] [SC-184568][ss] Adicionando ID de esquema de estado a linhas de estado para evolução do esquema
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Fix Spark Connect Scala foreachBatch impl. para dar suporte ao Dataset[T].
• [SPARK-50689] [SC-184591][sql] Impor ordenação determinística em listas de projetos LCA
• [SPARK-50696] [SC-184667][python] Otimizar chamada Py4J para método de análise DDL
• [SPARK-49670] [SC-182902][sql] Habilitar agrupamento de corte para todas as expressões de passagem
• [SPARK-50673] [SC-184565][ml] Evitar percorrer os coeficientes do modelo duas vezes no construtor Word2VecModel
• [SPARK-50687] [SC-184588][python] Otimize a lógica para obter rastros da pilha para o DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Armazene em cache o esquema analisado para MapInXXX e ApplyInXXX
• [SPARK-50674] [SC-184589][python] Corrigir a verificação da existência do método 'terminate' na avaliação UDTF
• [SPARK-50684] [SC-184582][python] Melhorar o desempenho do Py4J em DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Adicionar suporte para nova versão de metadados de estado para TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Corrigir a transposição para mostrar uma mensagem de erro adequada quando colunas de índice inválidas são especificadas
• [SPARK-50650] [SC-184532][sql] Melhorar o logging no analisador de passagem única
• [SPARK-50665] [SC-184533][sql] Substitua LocalRelation por ComparableLocalRelation em NormalizePlan
• [SPARK-50644] [SC-184486][sql] Leia a estrutura variante no leitor Parquet.
• [SPARK-49636] [SC-184089][sql] Remova a sugestão relativa à configuração ANSI no INVALID_ARRAY_INDEX e INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Refatoração do cálculo de saída da União para reutilização no analisador de passagem única
• [SPARK-50659] [SC-184512][sql] Mover erros relacionados a Union para QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Corrigir cálculo de contexto de tipo de cadeia implícita incorreta
• [SPARK-50546] [SC-183807][sql] Adicionar suporte de transmissão de subconsulta à coerção do tipo de agrupamento
• [SPARK-50405] [SC-182889][sql] Gerir a coerção do tipo de ordenação de tipos de dados complexos corretamente
• [SPARK-50637] [SC-184434][sql] Corrigir estilo de código para o analisador de passagem única
• [SPARK-50638] [SC-184435][sql] Refatore a resolução de exibição no arquivo separado para reutilizá-la no analisador de passagem única
• [SPARK-50615] [SC-184298][sql] Introduza a variante na análise.
• [SPARK-50619] [SC-184210][sql] Refactor VariantGet.cast para empacotar os argumentos de elenco
• [SPARK-50599] [SC-184058][sql] Crie a característica DataEncoder que permite a codificação Avro e UnsafeRow
• [SPARK-50076] [SC-183809] Corrigir chaves de log
• [SPARK-50597] [SC-183972][sql] Refatorar a construção de lote no Optimizer.scala e SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Habilitar o changelog para armazenar informações de linhagem
• [SPARK-50526] [SC-183811][ss] Adicionar configuração de formato de codificação de armazenamento no registo de deslocamento e impedir que operadores com estado não suportados usem avro
• [SPARK-50540] [SC-183810][python][SS] Corrigir esquema de cadeia de caracteres para StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Usando SQLConf fornecido pelo SparkSession primeiro.
• [SPARK-48898] [SC-183793][sql] Definir a nulidade corretamente no esquema Variant
• [SPARK-50559] [SC-183814][sql] Armazenar os resultados de Exceto, Intersect e Union como valores preguiçosos
• [SPARK-48416] [SC-183643][sql] Suporte para expressão 'With' aninhada e correlacionada
• [SPARK-50428] [SC-183566][ss][PYTHON] Suporte TransformWithStateInPandas em consultas em lote
• [SPARK-50063] [SC-183350][sql][CONNECT] Adicionar suporte para Variant no cliente Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Implementar StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Corrigindo erros de compilação do Maven introduzidos pelo cache Guava no RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Corrigir bug onde blocos BEGIN END vazios lançam um erro
• [SPARK-50536] [SC-183443][core] Registar tamanhos de arquivos de arquivo baixados em SparkContext e Executor
• [SPARK-45891] [SC-183439][sql] Reconstruir variante binária a partir de dados triturados.
• [SPARK-49565] [SC-183465][sql] Adicionar sintaxe de pipe SQL para o operador FROM
• [SPARK-50497] [SC-183338][sql] Falhar as consultas com mensagem apropriada se MultiAlias contiver uma função que não é um gerador
• [SPARK-50460] [SC-183375][python][CONNECT] Generalizar e simplificar o tratamento de exceções do Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Corrigir opção de compactação que está sendo substituída no df.write.parquet
• [SPARK-50329] [SC-183358][sql] corrigir InSet$toString
• [SPARK-50524] [SC-183364][sql] Reduzir a mensagem de aviso de RowBasedKeyValueBatch.spill para o nível de depuração
• [SPARK-50528] [SC-183385][connect] Mover InvalidCommandInput para o módulo comum
• [SPARK-50017] [SC-182438][ss] Suporte à codificação Avro para o operador TransformWithState
• [SPARK-50463] [SC-182833][sql] Corrigir ConstantColumnVector com conversão de coluna para linha
• [SPARK-50235] [SC-180786][sql] Limpar recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Corrija o teste relacionado ao estado de inicialização para usar o StreamManualClock
• [SPARK-50478] [SC-183188][sql] Corrigir a correspondência de StringType
• [SPARK-50492] [SC-183177][ss] Corrigir java.util.NoSuchElementException quando a coluna de tempo de evento é descartada após dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Adicionar sintaxe de pipe SQL para o operador SET
• [SPARK-50449] [SC-183178][sql] Corrigir a gramática de scripting SQL para permitir corpos vazios em loops, IF e CASE
• [SPARK-50251] [SC-180970][python] Adicionar getSystemProperty à PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Corrigir a configuração de memória relacionada ao Executor incorreta quando múltiplos perfis de recursos estão ativos
• [SPARK-49461] [SC-179572][ss] ID de ponto de verificação persistente para confirmar logs e lê-los novamente
• [SPARK-50343] [SC-183119][spark-50344][SQL] Adicionar sintaxe de pipe SQL para os operadores DROP e AS
• [SPARK-50481] [SC-182880][core] Melhorar SortShuffleManager.unregisterShuffle para ignorar a lógica do ficheiro de soma de verificação se a soma de verificação estiver desativada
• [SPARK-50498] [SC-183090][python] Evite chamadas py4j desnecessárias no listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Corrigir auto-junção após applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres corrigir xor push-down

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixar ODBC, baixar JDBC).

Atualizações de manutenção

Consulte as atualizações de manutenção do Databricks Runtime 16.2 .

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.1 LTS
• Java : Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)