Partilhar via

Tempo de execução do Databricks 8.3 (EoS)

  • Artigo

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.3 e o Databricks Runtime 8.3 Photon, com tecnologia Apache Spark 3.1.1. A Databricks lançou esta versão em junho de 2021. Photon está em Visualização Pública.

Novos recursos e melhorias

Colunas geradas em tabelas Delta (Visualização pública)

Delta Lake agora suporta colunas geradas, que são um tipo especial de coluna cujos valores são gerados automaticamente com base em uma função especificada pelo usuário sobre outras colunas na tabela Delta. Você pode usar a maioria das funções SQL internas para gerar os valores dessas colunas geradas. Por exemplo, você pode gerar automaticamente uma coluna de data (para particionar a tabela por data) a partir da coluna de carimbo de data/hora; Todas as gravações na tabela precisam apenas especificar os dados para a coluna de carimbo de data/hora. Você pode criar tabelas Delta com colunas geradas usando APIs SQL, Scala, Java ou Python.

Para obter mais informações, consulte Colunas geradas pelo Delta Lake.

Recursos e melhorias do Auto Loader

Inferência de esquema para arquivos CSV no Auto Loader

O Auto Loader agora suporta inferência de esquema e evolução em arquivos CSV. O Auto Loader fornece os seguintes recursos sobre o analisador CSV existente no Apache Spark:

  • Mesclagem de esquemas: o Auto Loader pode ingerir arquivos CSV com esquema diferente (número diferente de colunas, ordenação diferente de colunas) entre arquivos.
  • Coluna de dados resgatados: você pode usar a coluna de dados resgatados para resgatar dados inesperados que podem aparecer em seus arquivos CSV. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas que têm um invólucro diferente ou valores nulos no cabeçalho ou colunas adicionais que não faziam parte do esquema esperado.

Para obter detalhes, consulte Configurar inferência e evolução de esquema no Auto Loader.

Tempo de arranque melhorado para fluxos do Auto Loader

Os fluxos do Auto Loader agora executam o backfill inicial para o fluxo de forma assíncrona ao iniciar pela primeira vez, levando a um tempo de inicialização muito mais rápido para o fluxo. Isso pode permitir que você itere rapidamente em seu código com dados de produção, especialmente quando você precisa ingerir dados de diretórios que contêm milhões ou bilhões de arquivos.

Além disso, o tempo de inicialização dos fluxos que estão reiniciando também são melhorados, porque paralelizamos o download e upload dos arquivos RocksDB que o Auto Loader aproveita para fornecer semântica exata uma vez.

Listagem de diretórios mais rápida no Auto Loader

Nós melhoramos muito a eficiência da listagem de diretórios no Auto Loader. Um efeito colateral dessa melhoria de desempenho é que o fluxo pode emitir mais solicitações de lista para o sistema de armazenamento quando não há novos dados para processar, o que pode levar a um aumento nas cobranças de solicitação de lista. Como prática recomendada geral, o Databricks recomenda que você defina um intervalo de gatilho razoável para pipelines de streaming de produção. Consulte Considerações sobre produção para Streaming estruturado.

Sobrecarga de armazenamento reduzida para pontos de verificação do carregador automático

Os fluxos do Auto Loader agora limpam automaticamente os arquivos obsoletos no diretório do ponto de verificação de forma assíncrona para evitar que o tamanho do diretório do ponto de verificação cresça indefinidamente e reduza os custos de armazenamento.

O Auto Loader inclui o caminho do arquivo na coluna de dados resgatados, quando disponível

A coluna de dados resgatados fornece automaticamente o caminho do arquivo dos dados resgatados quando aplicável em uma coluna chamada _file_ path. Isso pode ajudá-lo a rastrear a causa raiz dos problemas de qualidade de dados. A coluna não será incluída se o esquema de dados contiver uma coluna chamada _file_path. Você pode usar a configuração spark.databricks.sql.rescuedDataColumn.filePath.name SQL para renomear a coluna, se necessário.

O Auto Loader dá suporte a renomeações de arquivos no Azure Data Lake Storage Gen2 no modo de notificação de arquivo

O Auto Loader agora oferece suporte a eventos BlobRenamed para o Azure Data Lake Storage Gen2 quando executado no modo de notificação de arquivo. Para processar arquivos carregados em um contêiner do Azure Data Lake Storage Gen2 por meio de uma operação de renomeação com notificações de arquivo, inicie um novo fluxo com o Auto Loader usando o Databricks Runtime 8.3. Para garantir que um arquivo seja processado exatamente uma vez, certifique-se de que o diretório de origem do qual o arquivo está sendo renomeado não seja observado pelo Auto Loader.

Criar tabelas Delta com novas APIs programáticas (Visualização pública)

Agora você pode criar novas tabelas Delta programaticamente (usando Scala, Java e Python) sem usar APIs DataFrame. As APIs New DeltaTableBuilder e DeltaColumnBuilder permitem especificar todos os detalhes da tabela que você pode especificar usando o SQL CREATE TABLE.

Para obter mais informações, consulte Criar uma tabela.

Cálculo correto de tamanhos de tabela Delta em SQL ANALYZE

A lógica de análise existente calcula incorretamente o tamanho da tabela para tabelas Delta e atualiza o catálogo com tamanho incorreto. A correção é obter o tamanho de uma tabela Delta do log Delta.

Métricas detalhadas do desempenho do RocksDB ao usar o RocksDBStateStore

Se você configurou sua consulta de Streaming Estruturado para usar o RocksDB como o armazenamento de estado, agora você pode obter melhor visibilidade do desempenho do RocksDB, com métricas detalhadas sobre latências de obtenção/colocação, latências de compactação, acertos de cache e assim por diante. Essas métricas estão disponíveis por meio das StreamingQueryProgress APIs e StreamingQueryListener para monitorar uma consulta de streaming.

Para obter mais informações, consulte Configurar o armazenamento de estado do RocksDB no Azure Databricks.

Gravações otimizadas automáticas

Gravações otimizadas em tabelas Delta particionadas agora são ativadas automaticamente para atualizar e excluir consultas que contenham subconsultas.

Habilite junções em bucket se apenas um lado de junção for bucketed

Uma nova configuração spark.databricks.sql.minBucketsForBucketedJoin habilita uma junção bucketed se apenas um lado de junção for bucketed e o número de buckets não for menor que esse valor de configuração. Por padrão, esse valor de configuração é o mesmo que o número de partições aleatórias padrão (200).

Segurança melhorada ao definir UDFs do Spark (Pré-visualização Pública)

Funções current_user de informações do usuário e is_member não podem mais ser substituídas por funções temporárias, incluindo Python spark.udf.register ou SQL create or replace temp function.

Número reduzido de solicitações ao registro de esquema para consultas com from_avro

As consultas com from_avro suporte ao registro de esquema não geram mais tantas solicitações para o serviço de registro de esquema, economizando custos operacionais.

Vários resultados em R com ListResults (Visualização pública)

Os notebooks Databricks R agora suportam vários resultados em cada célula. Anteriormente, apenas um único resultado era renderizado para cada célula do notebook. Atualmente, os resultados de uma única célula em blocos de anotações R são exibidos na seguinte ordem:

  1. RShiny URL
  2. Desenho
  3. displaySaídas HTML
  4. Tabelas
  5. stdout

Atualizações da biblioteca

  • Biblioteca Python atualizada:
    • Koalas atualizado de 1.7.0 para 1.8.0.
    • Pandas atualizado de 1.1.3 para 1.1.5.
    • S3Transfer atualizado de 0.3.4 para 0.3.6.
  • Biblioteca R atualizada:
    • SparkR atualizado de 3.1.1 para 3.1.2.
  • Biblioteca Java atualizada:
    • mariadb-java-client de 2.1.2 a 2.2.5.
    • parquet-coluna de 1.10.1-databricks6 a 1.10.1-databricks9
    • parquet-comum de 1.10.1-databricks6 a 1.10.1-databricks9
    • Parquet-codificação de 1.10.1-databricks6 a 1.10.1-databricks9
    • Parquet-Hadoop de 1.10.1-databricks6 a 1.10.1-databricks9
    • Parquet-Jackson de 1.10.1-databricks6 a 1.10.1-databricks9

Faísca Apache

O Databricks Runtime 8.3 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-34614] [SQL] Modo ANSI: Casting String to Boolean deve lançar exceção no erro de análise
  • [FAÍSCA-34246] [ACOMPANHAMENTO] Altere a definição de 'findTightestCommonT...
  • [FAÍSCA-35213] [SQL] Mantenha a ordem correta das estruturas aninhadas em operações encadeadas withField
  • [FAÍSCA-35096] [SQL] O SchemaPruning deve aderir à configuração spark.sql.caseSensitive
  • [FAÍSCA-35227] [CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
  • [FAÍSCA-35224] [SQL] Corrigir estouro de buffer em MutableProjectionSuite
  • [FAÍSCA-34245] [CORE] Certifique-se de que o Mestre remove os executores que não conseguiram enviar o estado concluído
  • [FAÍSCA-34856] [SQL] Modo ANSI: permite a transmissão de tipos complexos como tipo de cadeia de caracteres
  • [FAÍSCA-34946] [SQL] Bloquear subconsulta escalar correlacionada não suportada no Aggregate
  • [FAÍSCA-35014] Corrigir o padrão PhysicalAggregation para não reescrever expressões dobráveis
  • [FAÍSCA-34769] [SQL] AnsiTypeCoercion: retorno mais próximo con...

Ambiente do sistema

  • Sistema Operacional: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (compilação 1.8.0_282-b08)
  • Escala: 2.12.10
  • Píton: 3.8.8
  • R: R versão 4.0.4 (2021-02-15)
  • Lago Delta 1.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Appdirs 1.4.4 asn1crypto 1.4.0 Backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 Brotlipia 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
criptografia 3.1.1 cycler 0.10.0 Quisto 0.29.21
decorador 4.4.2 Distlib 0.3.1 docutils 0.15.2
pontos de entrada 0.3 facetas-visão geral 1.0.0 filelock 3.0.12
idna 2.10 Ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
Joblib 0.17.0 jupyter-cliente 6.1.7 Jupyter-core 4.6.3
Kiwisolver 1.3.0 coalas 1.8.0 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 Parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 enredo 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 Meias PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 Pyzmq 19.0.2
pedidos 2.24.0 A tentar... 1.3.3 s3transferir 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 seis 1.15.0 statsmodels 0.12.0
ThreadPoolCtl 2.1.0 tornado 6.0.4 traços 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 largura de wc 0.2.5
roda 0.35.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 backports 1.2.1
base 4.0.4 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
arranque 1.3-27 brew 1.0-6 Brio 1.1.0
vassoura 0.7.2 Chamador 3.5.1 acento circunflexo 6.0-86
Cellranger 1.1.0 crono 2.3-56 classe 7.3-18
cli 2.2.0 Clipr 0.7.1 cluster 2.1.1
codetools 0.2-18 espaço em cores 2.0-0 marca comum 1.7
compilador 4.0.4 configuração 0.3 CoVR 3.5.1
CPP11 0.2.4 lápis de cor 1.3.4 credenciais 1.3.0
conversa cruzada 1.1.0.1 curl 4.3 data.table 1.13.4
conjuntos de dados 4.0.4 DBI 1.1.0 DBPlyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
resumo 0.6.27 dplyr 1.0.2 DT 0,16
reticências 0.3.1 evaluate 0.14 Fãsi 0.4.1
Farver 2.0.3 mapa rápido 1.0.1 FORCATS 0.5.0
foreach 1.5.1 externa 0.8-81 forjar 0.2.0
FS 1.5.0 Futuro 1.21.0 Genéricos 0.1.0
Gert 1.0.2 ggplot2 3.3.2 GH 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globais 0.14.0
colar 1.4.2 gower 0.2.2 gráficos 4.0.4
grDevices 4.0.4 grelha 4.0.4 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 Refúgio 2.3.1
mais alto 0.8 HMS 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 Isoband 0.2.3 iteradores 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 Knitr 1.30
etiquetagem 0.4.2 mais tarde 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 ciclo de vida 0.2.0
ouvirv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Marcação 1.1 MASSA 7.3-53.1 Matriz 1.3-2
memoise 1.1.0 métodos 4.0.4 mgcv 1.8-33
mime 0,9 ModelMetrics 1.2.2.2 Modelador 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 paralelo 4.0.4
Paralelamente 1.22.0 pilar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 elogiar 1.0.0 unidades bonitas 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Progresso 1.2.2 promessas 1.1.1 proto 1.0.0
PS 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
Leitor 1.4.0 ReadXL 1.3.1 receitas 0.1.15
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.2.0
Reprex 0.3.0 remodelar2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversões 2.0.2 Rvest 0.3.6 escalas 1.1.1
seletor 0.4-2 sessioninfo 1.1.1 forma 1.4.5
brilhante 1.5.0 ferramentas de origem 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 espacial 7.3-11 splines 4.0.4
sqldf 0.4-11 QUADRADO 2020.5 estatísticas 4.0.4
stats4 4.0.4 stringi 1.5.3 stringr 1.4.0
sobrevivência 3.2-7 sys 3.4 tcltk 4.0.4
TeachingDemos 2.10 testeatat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 Tidyverse 1.3.0
timeDate 3043.102 Tinytex 0.28 ferramentas 4.0.4
usethis 2.0.0 UTF8 1.1.4 utilitários 4.0.4
uuid 0.1-4 VCTRS 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben ZSTD-JNI 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
colmeia-2.3__hadoop-2,7 JETS3T-0,7 liball_deps_2.12
colmeia-2.3__hadoop-2,7 Zookeeper-3,4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-árvores colmeia-2.3__hadoop-2,7 liball_deps_2.12
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.3
net.floco de neve faísca-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-núcleo 2.0.0
org.apache.arrow seta-memória-netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curator curador-cliente 2.7.1
org.apache.curator curador-framework 2.7.1
org.apache.curator curador-receitas 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive colmeia-comum 2.3.7
org.apache.hive colmeia-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-cliente 2.3.7
org.apache.hive colmeia-lamp-comum 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive Colmeia-Serde 2.3.7
org.apache.hive colmeias-calços 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims colmeia-calços-0,23 2.3.7
org.apache.hive.shims colmeia-calços-comum 2.3.7
org.apache.hive.shims colmeia-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.4.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc Orc-calços 1.5.12
org.apache.parquet parquet-column 1.10.1-DATABRICKS9
org.apache.parquet parquet-common 1.10.1-DATABRICKS9
org.apache.parquet parquet-encoding 1.10.1-DATABRICKS9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-DATABRICKS9
org.apache.parquet parquet-jackson 1.10.1-DATABRICKS9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocidade 1.5
org.apache.xbean xbean-asm7-sombreado 4.15
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty cais-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core servidor de jersey 2.30
org.glassfish.jersey.inject Jersey-HK2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M5
org.json4s JSON4S-core_2.12 3.7.0-M5
org.json4s JSON4S-jackson_2,12 3.7.0-M5
org.json4s JSON4S-scalap_2.12 3.7.0-M5
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap calços 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.10
org.scala-lang Escala-library_2.12 2.12.10
org.scala-lang Escala-reflect_2,12 2.12.10
org.scala-lang.modules scala-coleção-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0,17,0-m1
org.typelevel torre-platform_2.12 0,17,0-m1
org.typelevel torre-util_2.12 0,17,0-m1
org.typelevel spire_2.12 0,17,0-m1
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52