Tempo de execução do Databricks 6.6 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em maio de 2020.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.6, alimentado pelo Apache Spark.
Novas funcionalidades
Delta Lake
- Agora você pode evoluir automaticamente o esquema da tabela com a operação
merge. Isso é útil em cenários em que você deseja atualizar dados de alteração em uma tabela e o esquema dos dados muda ao longo do tempo. Em vez de detetar e aplicar alterações de esquema antes de atualizar,mergepode simultaneamente evoluir o esquema e atualizar as alterações. Isso se aplica apenas para colunas de nível superior na tabela (não colunas aninhadas). Consulte a evolução automática do esquema no Delta Lake para mesclagem. - O desempenho das operações de fusão que apenas corresponderam a cláusulas, ou seja, que têm apenas
updateedeleteações e nenhumainsertação, foi melhorado. - As tabelas de parquet referenciadas no metastore do Hive agora podem ser convertidas para Delta Lake através dos seus identificadores de tabela usando
CONVERT TO DELTA. Embora esse recurso tenha sido anunciado anteriormente no Databricks Runtime 6.1, o suporte total foi adiado para o Databricks Runtime 6.6.
Melhorias
Java atualizado para 1.8.0_252
Bibliotecas R atualizadas
Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
- Sparklyr atualizado de 1.1.0 para 1.2.0.
Bibliotecas Python atualizadas
- Kiwisolver atualizado de 1.1.0 para 1.2.0.
- Pyparsing atualizado de 2.4.6 para 2.4.7.
Apache Spark
O Databricks Runtime 6.6 inclui o Apache Spark 2.4.5. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.5 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-30361] [DESCANSO] URL de monitoramento não redigem informações sobre o ambiente
- [FAÍSCA-31503] [SQL] corrige a cadeia de caracteres SQL das funções TRIM
- [SPARK-31256] [SQL] DataFrameNaFunctions.drop deve funcionar para colunas aninhadas
- [FAÍSCA-31234] [SQL] ResetCommand não deve afetar a configuração estática do SQL
- [FAÍSCA-31420] [WEBUI] Tornar a localidade da visualização da linha do tempo 'en'
- [SPARK-31441] [PYSPARK][SQL] Suporta nomes de colunas duplicadas para toPandas com execução de seta
- [SPARK-31186] [PYSPARK][SQL] toPandas não deve falhar em nomes de colunas duplicados
- [FAÍSCA-31420] [WEBUI] Redesenho infinito da linha do tempo na página de detalhes do trabalho
- [FAÍSCA-31422] [CORE] Corrigir um erro de compilação de caso de teste
- [FAÍSCA-31422] [CORE] Corrigir NPE quando BlockManagerSource é usado após BlockManagerMaster parar
- [FAÍSCA-31312] [SQL] Instância de classe de cache para a instância UDF em HiveFunctionWrapper
- [FAÍSCA-31101] [CONSTRUIR] Atualize Janino para 3.0.16
-
[FAÍSCA-31261] [SQL] Evite npe ao ler entrada csv incorreta com
columnNameCorruptRecordespecificado - [FAÍSCA-30494] [SQL] Corrigir fugas de dados em cache durante a substituição de uma vista existente
- [SPARK-26293] [SQL] Exceção de Elenco ao usar UDF em python na subconsulta
- [SPARK-31164] [SQL] Particionamento rdd e de saída inconsistente para tabela de bucket quando a saída não contém todas as colunas de bucket
- [FAÍSCA-31163] [SQL] TruncateTableCommand com acl/permission deve manipular caminho inexistente
- [FAÍSCA-31144] [SQL] Erro de encapsulamento com QueryExecutionException para notificar QueryExecutionListener
- [FAÍSCA-31095] [CONSTRUIR] Atualize netty-all para 4.1.47.Final
- [SPARK-31061] [SQL] Fornecer a capacidade de alterar o provedor de uma tabela
- [FAÍSCA-30941] [PYSPARK] Adicione uma nota ao asDict para documentar seu comportamento quando houver campos duplicados
- [FAÍSCA-30759] [SC-29843][SQL] Corrigir inicialização de cache em StringRegexExpression
- [SPARK-30998] [SQL] ClassCastException quando um gerador com geradores internos aninhados
- [FAÍSCA-30993] [SQL] Use seu tipo sql para UDT ao verificar o tipo de comprimento (fixo/var) ou mutável
- [FAÍSCA-30813] [ML] Corrigir comentários Matrices.sprand
- [FAÍSCA-29419] [SQL] Corrigir bug de segurança de thread do codificador em createDataset(Seq)
- [FAÍSCA-30759] [SQL] Corrigir inicialização de cache em StringRegexExpression
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 6.6.
Ambiente do sistema
- Sistema Operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Escala: 2.11.12
- Píton: 3.7.3
- R: R versão 3.6.3 (2020-02-29)
- Lago Delta: 0.6.1
Nota
Embora o Scala 2.12 esteja disponível como um recurso experimental no Apache Spark 2.4, ele não é suportado no Databricks Runtime 6.6.
Nesta secção:
- Bibliotecas Python instaladas
- Bibliotecas R instaladas
- Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | Backcall | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | certifi | 2019.3.9 |
| cffi | 1.12.2 | chardet | 3.0.4 | criptografia | 2.6.1 |
| cycler | 0.10.0 | Quisto | 0.29.6 | decorador | 4.4.0 |
| docutils | 0.14 | idna | 2.8 | Ipykernel | 5.1.0 |
| ipython | 7.4.0 | ipython-genutils | 0.2.0 | Jedi | 0.13.3 |
| jmespath | 0.9.4 | jupyter-cliente | 5.2.4 | Jupyter-core | 4.4.0 |
| Kiwisolver | 1.2.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| pandas | 0.24.2 | Parso | 0.3.4 | patsy | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | pip | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | Pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.7 | Meias PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.8 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | Pyzmq | 18.0.0 |
| pedidos | 2.21.0 | s3transferir | 0.2.1 | scikit-learn | 0.20.3 |
| scipy | 1.2.1 | seaborn | 0.9.0 | setuptools | 40.8.0 |
| seis | 1.12.0 | ssh-import-id | 5,5 | statsmodels | 0.9.0 |
| tornado | 6.0.2 | traços | 4.3.2 | Upgrades autônomos | 0.1 |
| urllib3 | 1.24.1 | virtualenv | 16.4.1 | largura de wc | 0.1.7 |
| roda | 0.33.1 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2020-04-22.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | AskPass | 1.1 | asserçãoat | 0.2.1 |
| backports | 1.1.6 | base | 3.6.3 | base64enc | 0.1-3 |
| BH | 1.72.0-3 | bit | 1.1-15.2 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.2.1 | arranque | 1.3-23 |
| brew | 1.0-6 | Chamador | 3.4.3 | carro | 3.0-7 |
| carData | 3.0-3 | acento circunflexo | 6.0-86 | Cellranger | 1.1.0 |
| crono | 2.3-55 | classe | 7.3-16 | cli | 2.0.2 |
| Clipr | 0.7.0 | cluster | 2.1.0 | codetools | 0.2-16 |
| espaço em cores | 1.4-1 | marca comum | 1.7 | compilador | 3.6.3 |
| configuração | 0.3 | CoVR | 3.5.0 | lápis de cor | 1.3.4 |
| conversa cruzada | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| conjuntos de dados | 3.6.3 | DBI | 1.1.0 | DBPlyr | 1.4.3 |
| desc | 1.2.0 | devtools | 2.3.0 | resumo | 0.6.25 |
| doMC | 1.3.6 | dplyr | 0.8.5 | DT | 0,13 |
| reticências | 0.3.0 | evaluate | 0.14 | Fãsi | 0.4.1 |
| Farver | 2.0.3 | mapa rápido | 1.0.1 | FORCATS | 0.5.0 |
| foreach | 1.5.0 | externa | 0.8-75 | forjar | 0.2.0 |
| FS | 1.4.1 | gbm | 2.1.5 | Genéricos | 0.0.2 |
| ggplot2 | 3.3.0 | GH | 1.1.0 | git2r | 0.26.1 |
| glmnet | 3.0-2 | Globais | 0.12.5 | colar | 1.4.0 |
| gower | 0.2.1 | gráficos | 3.6.3 | grDevices | 3.6.3 |
| grelha | 3.6.3 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | h2o | 3.30.0.1 | Refúgio | 2.2.0 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.4.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.2 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.1 | iteradores | 1.0.12 |
| jsonlite | 1.6.1 | KernSmooth | 2.23-16 | Knitr | 1.28 |
| etiquetagem | 0.3 | mais tarde | 1.0.0 | lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| littler | 0.3.9 | lme4 | 1.1-23 | lubridate | 1.7.8 |
| magrittr | 1.5 | mapproj | 1.2.7 | mapas | 3.3.0 |
| Ferramentas de mapa | 0.9-9 | Marcação | 1.1 | MASSA | 7.3-51.5 |
| Matriz | 1.2-18 | MatrizModels | 0.4-1 | memoise | 1.1.0 |
| métodos | 3.6.3 | mgcv | 1.8-31 | mime | 0,9 |
| minqa | 1.2.4 | ModelMetrics | 1.2.2.2 | munsell | 0.5.0 |
| mvtnorm | 1.1-0 | nlme | 3.1-147 | nloptr | 1.2.2.1 |
| nnet | 7.3-13 | numDeriv | 2016.8-1.1 | openssl | 1.4.1 |
| OpenXLSX | 4.1.4 | paralelo | 3.6.3 | pbkrtest | 0.4-8.6 |
| pilar | 1.4.3 | pkgbuild | 1.0.6 | pkgconfig | 2.0.3 |
| pkgKitten | 0.1.5 | pkgload | 1.0.2 | plogr | 0.2.0 |
| plyr | 1.8.6 | elogiar | 1.0.0 | unidades bonitas | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.2 | prodlim | 2019.11.13 |
| Progresso | 1.2.2 | promessas | 1.1.0 | proto | 1.0.0 |
| PS | 1.3.2 | purrr | 0.3.4 | quantreg | 5.55 |
| R.methodsS3 | 1.8.0 | R.oo | 1.23.0 | R.utils | 2.9.2 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.4.6 | RcppEigen | 0.3.3.7.0 | RCurl | 1.98-1.2 |
| Leitor | 1.3.1 | ReadXL | 1.3.1 | receitas | 0.1.10 |
| revanche | 1.0.1 | revanche2 | 2.1.1 | Controles remotos | 2.1.1 |
| remodelar2 | 1.4.4 | Rex | 1.2.0 | Rio | 0.5.16 |
| RJSON | 0.2.20 | rlang | 0.4.5 | RODBC | 1.3-16 |
| roxygen2 | 7.1.0 | rpart | 4.1-15 | rprojroot | 1.3-2 |
| Rserve | 1.8-6 | RSQLite | 2.2.0 | rstudioapi | 0,11 |
| rversões | 2.0.1 | escalas | 1.1.0 | sessioninfo | 1.1.1 |
| forma | 1.4.4 | brilhante | 1.4.0.2 | ferramentas de origem | 0.1.7 |
| sp | 1.4-1 | sparklyr | 1.2.0 | SparkR | 2.4.5 |
| Disperso | 1.78 | espacial | 7.3-11 | splines | 3.6.3 |
| sqldf | 0.4-11 | QUADRADO | 2020.2 | estatmod | 1.4.34 |
| estatísticas | 3.6.3 | stats4 | 3.6.3 | stringi | 1.4.6 |
| stringr | 1.4.0 | sobrevivência | 2.44-1.1 | sys | 3.3 |
| tcltk | 3.6.3 | TeachingDemos | 2.10 | testeatat | 2.3.2 |
| tibble | 3.0.1 | tidyr | 1.0.2 | tidyselect | 1.0.0 |
| timeDate | 3043.102 | ferramentas | 3.6.3 | usethis | 1.6.0 |
| UTF8 | 1.1.4 | utilitários | 3.6.3 | VCTRS | 0.2.4 |
| viridisLite | 0.3.0 | whisker | 0.4 | withr | 2.2.0 |
| xfun | 0,13 | xml2 | 1.3.1 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.0.4 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | aws-java-sdk-support | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | transmissão em fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-faísca2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-faísca2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.0.0 |
| com.fasterxml.jackson.core | jackson-anotações | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | ZSTD-JNI | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2,7 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.launchdarkly | launchdarkly-java-server-sdk | 4.6.5 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | armazenamento-do-azure | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.JRE8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.47.Final |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| JUNIT | JUNIT | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.0 |
| net.floco de neve | faísca-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.10.0 |
| org.apache.arrow | seta-memória | 0.10.0 |
| org.apache.arrow | vetor de seta | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0 incubação |
| org.apache.calcite | calcite-core | 1.2.0 incubação |
| org.apache.calcite | calcite-linq4j | 1.2.0 incubação |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | Orc-calços | 1.5.5 |
| org.apache.parquet | parquet-coluna | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-common | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-encoding | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-DATABRICKS4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-sombreado | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-continuation | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | localizador hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | servidor de jersey | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | núcleo de hamcreste | 1.3 |
| org.hamcrest | hamcrest-biblioteca | 1.3 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | JSON4S-scalap_2.11 | 3.5.3 |
| org.lz4 | LZ4-Java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-núcleo | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |