Ler em inglês

Compartilhar via

Databricks Runtime 5.3 (EoS)

  • Artigo

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

O Databricks lançou essa versão em abril de 2019.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 5.3 da plataforma Apache Spark.

Novos recursos

Delta do Databricks

GA de viagem no tempo

A viagem no tempo Delta foi graduada para a disponibilidade geral. Ela adiciona a capacidade de consultar um instantâneo de uma tabela usando uma cadeia de caracteres de carimbo de data/hora ou uma versão, usando sintaxe SQL, além de opções DataFrameReader para expressões de carimbo de data/hora.

SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

A viagem no tempo tem muitos casos de uso, incluindo:

  • A recriação de análises, relatórios ou saídas (por exemplo, a saída de um modelo de aprendizado de máquina), que é útil para depuração ou auditoria, especialmente em setores regulamentados.
  • Escrevendo consultas temporais complexas.
  • Corrigindo erros nos seus dados.
  • Fornecimento de isolamento de instantâneos para um conjunto de consultas de tabelas que são alteradas rapidamente.

Viagem no tempo do Delta

Confira Trabalhar com o histórico de tabelas do Delta Lake.

Replicação de tabela do MySQL para a visualização pública do Delta

Faça a transmissão de dados de uma tabela do MySQL diretamente para o Delta para consumo de downstream em fluxos de trabalho de análise do Spark ou da ciência de dados. Aproveitando a mesma estratégia que o MySQL usa para replicação em outras instâncias, o binlog é usado para identificar as atualizações que são processadas e transmitidas para o Databricks da seguinte maneira:

  • Lendo os eventos de alteração no registro do banco de dados.
  • Transmitindo os eventos para o Databricks.
  • Gravando na mesma ordem em uma tabela Delta.
  • Mantendo o estado no caso de desconexão da origem.

Recursos de versões prévias

Esta versão contém os seguintes recursos de versão prévia privada para o Delta Lake:

  • Um comando experimental adicional que permite ao Presto consultar diretamente tabelas Delta.
  • A otimização automática melhora o layout do arquivo durante gravações individuais em uma tabela Delta e impede que arquivos pequenos sejam acumulados em suas tabelas Delta para manter o desempenho da consulta na velocidade de um raio. Além disso, as gravações e upserts em tabelas Delta particionadas podem aproveitar grandes aumentos de velocidade graças a uma ordem aleatória adaptável introduzida nas gravações.

Se você quiser participar de qualquer versão prévia, entre em contato com sua equipe de conta do Databricks.

Pasta FUSE do DBFS otimizada para cargas de trabalho de aprendizado profundo

O Azure Databricks agora oferece uma montagem otimizada da FUSE. Você pode ter acesso a dados de alto desempenho durante o treinamento e a inferência sem aplicar scripts de inicialização. Os dados armazenados em dbfs:/ml e acessíveis localmente no file:/dbfs/ml agora são apoiados por essa montagem otimizada da FUSE. Confira Carregar dados para aprendizado de máquina e aprendizado profundo.

Aprimoramentos

  • Bibliotecas no escopo do notebook:

    • Suporte para Extras em dbutils.library.installPyPI.
    • Suporte para a instalação da biblioteca no escopo do notebook para bibliotecas no sistema de arquivos do Azure, incluindo wasbs, adls e abfss.
    • Mensagens de erro aprimoradas para bibliotecas no escopo do notebook em destinos sem suporte. Por exemplo: "utilitários de biblioteca indisponíveis no Databricks Runtime para Machine Learning".

  • Conectar ao Azure Data Lake Storage Gen2 (ADLS Gen2) sem ter que conceder uma função RBAC de toda a conta de "colaborador de dados de Blob Armazenamento" para a entidade de serviço.

  • O Assistente do Databricks tem dicas adicionais para melhorar o desempenho das consultas:

    • Quando há muitos arquivos pequenos por partição - > converta a tabela para o Delta e execute OPTIMIZE.
    • Quando há um filtro altamente seletivo - > converta para o Delta e use ZORDER BY.
    • Quando a busca de metadados do Hive se tornar um gargalo, > converta sua tabela para o Delta.

  • Atualizado o Ubuntu de 16.04.5 LTS para 16.04.6 LTS.

  • Atualizado o Scala 2.11 de 2.11.8 para 2.11.12.

  • Atualizou algumas bibliotecas do Python instaladas:

    • pip: 18.1 para 19.0.3.
    • setuptools: 40.6.3 para 40.8.0
    • wheel: 0.32.3 para 0.33.1

  • Atualizado o R de 3.4.4 para 3.5.2.

  • Atualização de várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.

Reprovação

  • Não há mais suporte para o conector Apache Kafka 0.8 para fluxo estruturado. Ele está incluído no Databricks Runtime 5.3, mas será removido de uma versão futura do Databricks Runtime.
  • A exportação do modelo de ML do Databricks foi preterida e será removida no Databricks Runtime 6.0. A partir de agora, use MLeap para importar e exportar modelos.
  • Removido spark.databricks.pyspark.enableExecutorFsPerms como uma opção de configuração.

Correções de bug

  • Correção da instalação da biblioteca de Eggs do Python em todo o cluster para clusters habilitados para ACLs de tabela.
  • Cancelamento de comando do Python melhorado corrigindo a situação em que o cancelamento é chamado antes da execução do comando.
  • Correção de um bug nas ACLs de tabela: agora, ao listar objetos em um banco de dados ou catálogo, você verá apenas os objetos que você tem permissão para ver.

Apache Spark

O Databricks Runtime 5.3 inclui o Apache Spark 2.4.0. Essa versão inclui todas as correções e aprimoramentos do Spark incluídas no Databricks Runtime 5.2 (EoS), além das seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-27134][SQL] A função array_distinct não funciona corretamente com colunas que contêm matriz de matriz
  • [SPARK-24669][SQL] Invalida tabelas no caso de SOLTAR BANCO DE DADOS EM CASCATA
  • [SPARK-26572][SQL] Corrige a avaliação do resultado de codegen agregado
  • [SPARK-27046][DSTREAMS] remove referências relacionadas ao SPARK-19185 da documentação
  • [SPARK-26449][PYTHON] Adiciona método de transformação à API do DataFrame
  • [SPARK-26740][SQL] lê as stats da coluna de carimbo de data/hora gravados pelo Spark 3.0
  • [SPARK-26909][SQL] usa a unsafeRow.hashCode() como valor de hash em HashAggregate
  • [SPARK-26990][SQL] FileIndex: usa nomes de campo especificados pelo usuário, se possível
  • [SPARK-26851][SQL] Corrige bloqueio com verificação dupla no CachedRDDBuilder
  • [SPARK-26864][SQL] A consulta pode retornar resultado incorreto quando a UDF do Python é usada como uma condição de semijunção à esquerda
  • [SPARK-26887][SQL][PYTHON] Cria datetime.date diretamente em vez de criar datetime64 como dados intermediários.
  • [SPARK-26859][SQL] corrigir o bug do índice do gravador de campo no desserializador de ORC não vetorizado
  • [SPARK-26864][SQL] A consulta pode retornar resultado incorreto quando o UDF do Python é usado como uma condição de junção e o UDF usa atributos de ambas os segmentos da semijunção à esquerda
  • [SPARK-24360][SPARK-26091][BACKPORT][SQL] Dá suporte para o Hive 3.1 metastore
  • [SPARK-26873][SQL] usa um carimbo de data/hora consistente para criar IDs de trabalho do Hadoop.
  • [SPARK-26734][STREAMING] Corrige StackOverflowError com fila de bloqueio grande
  • [SPARK-26758][CORE] Executores ociosos não estão sendo encerrados após o valor spark.dynamiAllocation.executorIdleTimeout
  • [SPARK-26751][SQL] Corrige a perda de memória quando a instrução é executada em segundo plano e gera exceção que não é HiveSQLException
  • [SPARK-26806][SS] EventTimeStats.merge deve identificar zeros corretamente
  • [SPARK-26745][SPARK-24959][SQL] Reverte a otimização de contagem na fonte de dados JSON por
  • [SPARK-26757][GRAPHX] Retorna 0 para a contagem em RDDs Edge/Vertex vazios
  • [SPARK-26726] Sincroniza a quantidade de memória usada pela variável de difusão para a exibição da interface do usuário
  • [SPARK-26718][SS] Estouro de inteiro corrigido no cálculo de RATELIMIT do SS Kafka
  • [SPARK-26708][SQL] Resultado incorreto causado pela inconsistência entre o RDD em cache de um cache SQL e seu plano físico
  • [SPARK-26735][SQL] verifica a integridade do plano para expressões especiais
  • [SPARK-26619][SQL] remove os serializadores não utilizados de SerializeFromObject
  • [SPARK-26379][SS] usar TimeZoneID fictício para evitar UnresolvedException em CurrentBatchTimestamp
  • [SPARK-26495][SQL] simplifica o extrator SelectedField
  • [SPARK-26379][SS] Corrige o problema ao adicionar current_timestamp/current_date à consulta de fluxo
  • [SPARK-26709][SQL] O OptimizeMetadataOnlyQuery não identifica corretamente registros vazios
  • [SPARK-26680][SQL] Cria precipitadamente inputVars enquanto as condições são apropriadas
  • [SPARK-26682][SQL] Usa taskAttemptID em vez de attemptNumber para Hadoop.
  • [SPARK-26706][SQL] Corrige illegalNumericPrecedence para ByteType
  • [SPARK-26228][MLLIB] Problema de OOM encontrado ao calcular a matriz Gramian
  • [SPARK-26665][CORE] Corrige um bug em que o BlockTransferService.fetchBlockSync fica esperando para sempre
  • [SPARK-26549][PYSPARK] Correção para reutilização de trabalho do Python não tem nenhum efeito para paralelizar intervalo iterável lento
  • [SPARK-26351][MLLIB] Atualiza documento e correção secundária nas métricas de avaliação do MLlib
  • [SPARK-26450] Evite recriar o mapa de esquema para cada coluna em uma projeção
  • [SPARK-26638][PYSPARK][ML] Classes de vetor Pyspark sempre retornam erro para negação unária
  • [SPARK-26633][REPL] Adiciona ExecutorClassLoader.getResourceAsStream
  • [SPARK-26629][SS] Correção de erro com vários fluxos de arquivos em uma consulta + reinicialização em um lote que não tem dados para um fluxo de arquivos
  • [SPARK-25992][PYTHON] O documento SparkContext não pode ser compartilhado para multiprocessamento
  • [SPARK-26615][CORE] Corrigindo vazamentos de recursos do cliente/servidor de transporte nos testes de unidade principais
  • [SPARK-26350][SS] Permite a substituição da ID do grupo do consumidor do Kafka
  • [SPARK-26538][SQL] Define precisão e escala padrão para elementos da matriz numérica postgres
  • [SPARK-26586][SS] Corrigir a condição de corrida que faz com que os fluxos executem com configurações inesperadas
  • [SPARK-26551][SQL] Corrige o erro de remoção de esquema ao selecionar um campo complexo e ter não é predicado nulo em outro
  • [SPARK-26576][SQL] Dica de difusão não aplicada à tabela particionada
  • [SPARK-26571][SQL] Atualiza o mapeamento de Serde do Hive com o nome canônico de Parquet e FileFormat Orc
  • [SPARK-26267][SS] Tenta novamente ao detectar deslocamentos incorretos do Kafka (2.4)
  • [SPARK-26559][ML][PYSPARK] A imagem ML não pode funcionar com versões numpy anteriores à 1.9
  • [SPARK-26078][SQL] Dedup de atributos de autojunção em subconsultas IN

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 5.3.

Ambiente do sistema

  • Sistema operacional: Ubuntu 16.04.6 LTS
  • Java: 1.8.0_191
  • Scala: 2.11.12
  • Python: 2.7.12 para os clusters do Python 2 e 3.5.2 para os clusters do Python 3.
  • R: versão do R 3.5.2 (20/12/2018)
  • Clusters da GPU: as seguintes bibliotecas GPU da NVIDIA estão instaladas:
    • Driver Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Observação

Embora o Scala 2.12 obtenha suporte do Apache Spark 2.4, ele não tem suporte no Databricks Runtime 5.3.

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografia 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1,2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 19.0.3 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
solicitações 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 40.8.0 simplejson 3.8.2 simples3 1,0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 wheel 0.33.1
wsgiref 0.1.2

Bibliotecas R instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
abind 1.4-5 askpass 1,1 assertthat 0.2.0
backports 1.1.3 base 3.5.2 base64enc 0.1-3
BH 1.69.0-1 bit 1.1-14 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 callr 3.1.1 carro 3.0-2
carData 3.0-2 sinal de interpolação 6.0-81 cellranger 1.1.0
chron 2.3-53 classe 7.3-15 cli 1.0.1
clipr 0.5.0 clisymbols 1.2.0 cluster 2.0.7-1
codetools 0.2-16 colorspace 1.4-0 commonmark 1,7
compiler 3.5.2 config 0.3 crayon 1.3.4
curl 3.3 data.table 1.12.0 conjuntos de dados 3.5.2
DBI 1.0.0 dbplyr 1.3.0 desc 1.2.0
devtools 2.0.1 digest 0.6.18 doMC 1.3.5
dplyr 0.8.0.1 ellipsis 0.1.0 fansi 0.4.0
forcats 0.4.0 foreach 1.4.4 foreign 0.8-71
forge 0.2.0 fs 1.2.6 gbm 2.1.5
Genéricos 0.0.2 ggplot2 3.1.0 gh 1.0.1
git2r 0.24.0 glmnet 2.0-16 glue 1.3.0
gower 0.1.2 elemento gráfico 3.5.2 grDevices 3.5.2
grade 3.5.2 gridExtra 2.3 gsubfn 0.7
gtable 0.2.0 h2o 3.22.1.1 haven 2.1.0
hms 0.4.2 htmltools 0.3.6 htmlwidgets 1,3
httr 1.4.0 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 iterators 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 labeling 0.3
lattice 0.20-38 lava 1.6.5 lazyeval 0.2.1
littler 0.3.6 lme4 1.1-20 lubridate 1.7.4
magrittr 1.5 mapproj 1.2.6 mapas 3.3.0
maptools 0.9-5 MASS 7.3-51.1 Matriz 1.2-15
MatrixModels 0.4-1 memoise 1.1.0 methods 3.5.2
mgcv 1.8-27 mime 0.6 minqa 1.2.4
ModelMetrics 1.2.2 munsell 0.5.0 mvtnorm 1.0-9
nlme 3.1-137 nloptr 1.2.1 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.2.2 openxlsx 4.1.0
parallel 3.5.2 pbkrtest 0.4-7 pillar 1.3.1
pkgbuild 1.0.2 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 plogr 0.2.0 plyr 1.8.4
praise 1.0.0 prettyunits 1.0.2 pROC 1.13.0
processx 3.2.1 prodlim 2018.04.18 progress 1.2.0
proto 1.0.0 ps 1.3.0 purrr 0.3.0
quantreg 5.38 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
randomForest 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.0 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr 1.3.1
readxl 1.3.0 recipes 0.1.4 rematch 1.0.1
remotes 2.0.2 reshape2 1.4.3 rio 0.5.16
rlang 0.3.1 RODBC 1.3-15 roxygen2 6.1.1
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.1 rstudioapi 0.9.0 scales 1.0.0
sessioninfo 1.1.1 sp 1.3-1 sparklyr 1.0.0
SparkR 2.4.2 SparseM 1.77 spatial 7.3-11
splines 3.5.2 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.30 stats 3.5.2 stats4 3.5.2
stringi 1.3.1 stringr 1.4.0 survival 2.43-3
sys 3.0 tcltk 3.5.2 TeachingDemos 2,10
testthat 2.0.1 tibble 2.0.1 tidyr 0.8.3
tidyselect 0.2.5 timeDate 3043.102 tools 3.5.2
usethis 1.4.0 utf8 1.1.4 utils 3.5.2
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 xopen 1.0.0 yaml 2.2.0
zip 2.0.0

Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics fluxo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.azure azure-storage 5.2.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-app_2.11 6.23.0
com.twitter util-app_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx coletor 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1,2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.5
net.snowflake snowflake-jdbc 3.6.15
net.snowflake spark-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1.1-databricks3
org.apache.parquet parquet-common 1.10.1.1-databricks3
org.apache.parquet parquet-encoding 1.10.1.1-databricks3
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.1-databricks3
org.apache.parquet parquet-jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52