Tempo de execução do Databricks 8.2 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em abril de 2021.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.2, alimentado pelo Apache Spark 3.1.1.
Novos recursos e melhorias
- Novas opções do *Auto Loader* permitem uma mais fácil evolução schema
-
Ver
VACUUMmétricas (Pré-visualização Pública) - Compreenda facilmente a quantidade de dados do Delta Lake que foram clonados ou recuperados
- Ajuste o tamanho dos arquivos no Delta tables para atender às necessidades de suas cargas de trabalho
- Ingerir atualizações e exclusões incrementalmente no Delta tables usando um feed de dados de alteração (Visualização pública)
- Extrair dados de cadeias de caracteres JSON usando operadores SQL (GA)
Novas opções do Auto Loader permitem uma evolução schema mais fácil
O Auto Loader já não requer que defina uma entrada de schema para que get seja iniciada ao ingerir dados JSON. Além disso, o Auto Loader pode detetar a introdução de novos columns nos seus dados e reiniciar, garantindo que nunca mais percas dados. O Auto Loader também "resgatará" dados que foram inesperados (por exemplo, de diferentes tipos de dados) em um blob JSON column, que você pode optar por acessar mais tarde usando as APIs de acesso a dados semiestruturados . Consulte Configurar schema inferência e evolução no Auto Loader.
Ver VACUUM métricas (Pré-visualização Pública)
VACUUM commits para o log de transações Delta agora contêm informações sobre arquivos removidos e diretórios aspirados. Consulte Informações de auditoria e Reveja os detalhes do Delta Lake table usando a função de descrição detalhada.
Compreenda facilmente a quantidade de dados do Delta Lake que foram clonados ou recuperados
Os comandos Delta Lake CLONE e RESTORE agora retornam métricas quando são concluídos, para que você possa entender facilmente quantos dados foram clonados ou recuperados como resultado dessas operações. Consulte as métricas de Clonar e as métricas de Restore.
Ajuste o tamanho dos arquivos no Delta tables para atender às necessidades de suas cargas de trabalho
Agora você pode set uma propriedade table para instruir o Delta Lake a select tamanhos de arquivo adequados para tables com operações de MERGE frequentes (por exemplo, atualização de dados de alteração para tables). O tempo de execução também pode detetar quando tables são intensivos em MERGE e ajustar automaticamente os tamanhos dos ficheiros.
Para um ajuste mais refinado, você pode set o tamanho do destino como uma propriedade, e todas as operações de otimização de layout de dados (por exemplo, Optimize, Gravações otimizadas e Compactação automática) farão o possível para generate arquivos desse tamanho.
Consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.
Ingerir atualizações e eliminações de forma incremental no Delta tables usando um feed de dados de alteração (Pré-visualização pública)
O fluxo de dados de mudanças de um table Delta representa as alterações ao nível de linha entre diferentes versões do table. Quando ativado, o sistema registra informações adicionais sobre alterações a nível de linha para cada operação de gravação no table. Você pode consultar essas alterações por meio de leitores SQL e DataFrame e DataStream. O feed permite:
- Consumo eficiente a jusante de mesclagem, atualizações e exclusões. Obter linhas que foram atualizadas, inseridas ou excluídas melhora muito o desempenho do trabalho downstream que consome a saída da mesclagem, pois arquivos inteiros não precisam ser processados e desduplicados agora.
- Manter sync entre réplicas de dois tables diferentes que representam os mesmos dados. É uma prática comum manter duas versões da mesma table uma table estreita como fonte da verdade e uma table mais ampla com dados adicionais. As alterações podem ser aplicadas de forma eficiente desde a table estreita até à tablemais ampla.
Para obter detalhes, consulte Usar o feed de dados de alteração do Delta Lake no Azure Databricks.
Extrair dados de cadeias de caracteres JSON usando operadores SQL (GA)
Os operadores SQL —:: e :— que permitem extrair facilmente dados de cadeias de caracteres JSON agora estão geralmente disponíveis. Consulte Consultar cadeias de caracteres JSON.
Atualizações da biblioteca
- Biblioteca Python atualizada:
- Koalas atualizado de 1.6.0 para 1.7.0.
- Biblioteca Java atualizada:
- univocity-parsers de 2.9.0 a 2.9.1.
Faísca Apache
O Databricks Runtime 8.2 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-34614] [SQL] Modo ANSI: Casting String to Boolean deve lançar exceção no erro de análise
- [FAÍSCA-33794] [SQL] NextDay expression throw runtime IllegalArgumentException ao receber entrada inválida no modo ANSI
- [FAÍSCA-34833] [SQL] Manipule referências externas em todos os lugares
- [FAÍSCA-34742] [SQL] Modo ANSI: Abs lança exceção se a entrada estiver fora do intervalo
- [FAÍSCA-34833] [SQL] Aplicar preenchimento à direita corretamente para subconsultas correlacionadas
- [SPARK-34719] [SQL] Resolver corretamente a consulta de exibição com nomes de column duplicados
- [FAÍSCA-34392] [SQL] Suporte ZoneOffset +h:mm em DateTimeUtils. getZoneId
- [FAÍSCA-34436] [SQL] Suporte DPP LIKE ANY/ALL expressão
- [SPARK-34497] [SQL] Corrija providers de conexão JDBC interna para restore alterações de contexto de segurança da JVM
-
[SPARK-34543] [SQL] Respeitar a configuração
spark.sql.caseSensitiveao resolver a especificação partition na v1SET LOCATION - [FAÍSCA-34550] [SQL] Ignorar valor nulo InSet durante o filtro push para o metastore do Hive
- [SPARK-34531] [CORE] Remove etiqueta de API experimental no PrometheusServlet
- [FAÍSCA-34515] [SQL] Corrija o NPE se InSet contiver valor nulo durante getPartitionsByFilter
- [SPARK-34490]table pode ser considerado como uma visualização se o table for descartado
- [FAÍSCA-34613] A visualização de correção não captura a configuração de dica de desativação
-
[SPARK-34504] Evite a resolução desnecessária da vista e remove o sinalizador
performCheck - [FAÍSCA-34373] [SQL] HiveThriftServer2 startWithContext pode travar com um problema de corrida
- [SPARK-34421] [SQL] Resolva funções temporárias e views em views com CTEs
- [FAÍSCA-34713] [SQL] Corrigir grupo por CreateStruct com ExtractValue
- [FAÍSCA-34770] [SQL] InMemoryCatalog.tableExists não deve falhar se o banco de dados não existir
- [SPARK-34681] [SQL] Corrigir bug para join de hash embaralhado externo completo ao construir o lado esquerdo com condição não igual
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 8.2.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (compilação 1.8.0_282-b08)
- Escala: 2.12.10
- Python: 3.8.8 (atualizado de 3.8.6 em 26 de maio de 2021 updatede manutenção )
- R: R versão 4.0.4 (2021-02-15)
- Lago Delta 0.8.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| Appdirs | 1.4.4 | asn1crypto | 1.4.0 | Backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | Brotlipia | 0.7.0 |
| certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| criptografia | 3.1.1 | cycler | 0.10.0 | Quisto | 0.29.21 |
| decorador | 4.4.2 | Distlib | 0.3.1 | docutils | 0.15.2 |
| pontos de entrada | 0.3 | filelock | 3.0.12 | idna | 2.10 |
| Ipykernel | 5.3.4 | ipython | 7.19.0 | ipython-genutils | 0.2.0 |
| Jedi | 0.17.2 | jmespath | 0.10.0 | Joblib | 0.17.0 |
| jupyter-cliente | 6.1.7 | Jupyter-core | 4.6.3 | Kiwisolver | 1.3.0 |
| coalas | 1.7.0 | matplotlib | 3.2.2 | numpy | 1.19.2 |
| pandas | 1.1.3 | Parso | 0.7.0 | patsy | 0.5.1 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | pip | 20.2.4 |
| enredo | 4.14.3 | prompt-toolkit | 3.0.8 | psycopg2 | 2.8.5 |
| ptyprocess | 0.6.0 | pyarrow | 1.0.1 | pycparser | 2,20 |
| Pygments | 2.7.2 | pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 |
| Meias PySocks | 1.7.1 | python-dateutil | 2.8.1 | pytz | 2020.5 |
| Pyzmq | 19.0.2 | pedidos | 2.24.0 | A tentar... | 1.3.3 |
| s3transferir | 0.3.4 | scikit-learn | 0.23.2 | scipy | 1.5.2 |
| seaborn | 0.10.0 | setuptools | 50.3.1 | seis | 1.15.0 |
| statsmodels | 0.12.0 | ThreadPoolCtl | 2.1.0 | tornado | 6.0.4 |
| traços | 5.0.5 | urllib3 | 1.25.11 | virtualenv | 20.2.1 |
| largura de wc | 0.2.5 | roda | 0.35.1 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | backports | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| arranque | 1.3-27 | brew | 1.0-6 | Brio | 1.1.0 |
| vassoura | 0.7.2 | Chamador | 3.5.1 | acento circunflexo | 6.0-86 |
| Cellranger | 1.1.0 | crono | 2.3-56 | classe | 7.3-18 |
| cli | 2.2.0 | Clipr | 0.7.1 | cluster | 2.1.1 |
| codetools | 0.2-18 | espaço em cores | 2.0-0 | marca comum | 1.7 |
| compilador | 4.0.4 | configuração | 0.3 | CoVR | 3.5.1 |
| CPP11 | 0.2.4 | lápis de cor | 1.3.4 | credentials | 1.3.0 |
| conversa cruzada | 1.1.0.1 | curl | 4.3 | dados.table | 1.13.4 |
| conjuntos de dados | 4.0.4 | DBI | 1.1.0 | DBPlyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| resumo | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| reticências | 0.3.1 | evaluate | 0.14 | Fãsi | 0.4.1 |
| Farver | 2.0.3 | mapa rápido | 1.0.1 | FORCATS | 0.5.0 |
| foreach | 1.5.1 | externa | 0.8-81 | forjar | 0.2.0 |
| FS | 1.5.0 | Futuro | 1.21.0 | Genéricos | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | GH | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globais | 0.14.0 |
| colar | 1.4.2 | gower | 0.2.2 | gráficos | 4.0.4 |
| grDevices | 4.0.4 | grelha | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.3 | iteradores | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | Knitr | 1.30 |
| etiquetagem | 0.4.2 | mais tarde | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| ouvirv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Marcação | 1.1 | MASSA | 7.3-53.1 | Matriz | 1.3-2 |
| memoise | 1.1.0 | métodos | 4.0.4 | mgcv | 1.8-33 |
| mime | 0,9 | ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | paralelo | 4.0.4 |
| Paralelamente | 1.22.0 | pilar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | elogiar | 1.0.0 | unidades bonitas | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Progresso | 1.2.2 | promessas | 1.1.1 | proto | 1.0.0 |
| PS | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| Leitor | 1.4.0 | ReadXL | 1.3.1 | receitas | 0.1.15 |
| revanche | 1.0.1 | revanche2 | 2.1.2 | Controles remotos | 2.2.0 |
| Reprex | 0.3.0 | remodelar2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversões | 2.0.2 | Rvest | 0.3.6 | escalas | 1.1.1 |
| seletor | 0.4-2 | sessioninfo | 1.1.1 | forma | 1.4.5 |
| brilhante | 1.5.0 | ferramentas de origem | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | espacial | 7.3-11 | splines | 4.0.4 |
| sqldf | 0.4-11 | QUADRADO | 2020.5 | estatísticas | 4.0.4 |
| stats4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| sobrevivência | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testeatat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | Tidyverse | 1.3.0 |
| timeDate | 3043.102 | Tinytex | 0.28 | ferramentas | 4.0.4 |
| usethis | 2.0.0 | UTF8 | 1.1.4 | utilitários | 4.0.4 |
| uuid | 0.1-4 | VCTRS | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recoletor | 0.12.0 |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.8 |
| net.floco de neve | faísca-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 2.0.0 |
| org.apache.arrow | seta-memória-núcleo | 2.0.0 |
| org.apache.arrow | seta-memória-netty | 2.0.0 |
| org.apache.arrow | vetor de seta | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | colmeia-comum | 2.3.7 |
| org.apache.hive | colmeia-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.mesos | mesos-sombreado-protobuf | 1.4.0 |
| org.apache.orc | orc-núcleo | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | Orc-calços | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-common | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-encoding | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-jackson | 1.10.1-DATABRICKS6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | cais-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-core_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-jackson_2,12 | 3.7.0-M5 |
| org.json4s | JSON4S-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | calços | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2.12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0,17,0-m1 |
| org.typelevel | torre-platform_2.12 | 0,17,0-m1 |
| org.typelevel | torre-util_2.12 | 0,17,0-m1 |
| org.typelevel | spire_2.12 | 0,17,0-m1 |
| org.wildfly.openssl | mosca-selvagem-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |