Bagikan melalui

Databricks Runtime 5.3 (EoS)

  • Artikel

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Databricks merilis versi ini pada Bulan April 2019.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 5.3, yang didukung oleh Apache Spark.

Fitur baru

Databricks Delta

Perjalanan waktu GA

Perjalanan waktu Delta telah tersedia secara umum. Ini menambahkan kemampuan untuk mengkueri rekam jepret tabel menggunakan string tanda waktu atau versi, menggunakan sintaks SQL serta opsi DataFrameReader untuk ekspresi tanda waktu.

SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

Perjalanan waktu memiliki banyak kasus penggunaan, termasuk:

  • Membuat ulang analisis, laporan, atau output (misalnya, output dari model pembelajaran mesin), yang berguna untuk penelusuran kesalahan atau audit, terutama di industri yang diatur.
  • Menulis pertanyaan temporal yang kompleks.
  • Memperbaiki kesalahan dalam data Anda.
  • Menyediakan isolasi snapshot untuk sekumpulan kueri pada tabel yang berubah dengan cepat.

Perjalanan waktu delta

Silakan lihat Bekerja dengan riwayat tabel Delta Lake.

Replikasi tabel MySQL ke Pratinjau Publik Delta

Streaming data dari tabel MySQL langsung ke Delta untuk konsumsi hilir dalam analitik Spark atau alur kerja ilmu data. Memanfaatkan strategi yang sama yang digunakan MySQL untuk replikasi ke instans lain, binlog digunakan untuk mengidentifikasi pembaruan yang kemudian diproses dan dialirkan ke Databricks sebagai berikut:

  • Membaca perubahan peristiwa dari log database.
  • Mengalirkan kejadian ke Databricks.
  • Menuliskan dalam urutan yang sama pada tabel Delta.
  • Mempertahankan status jika terjadi pemutusan dari sumber.

Fitur pratinjau pribadi

Rilis ini berisi fitur pratinjau pribadi berikut untuk Delta Lake:

  • Menambahkan perintah eksperimental yang memungkinkan Presto untuk langsung mengkueri tabel Delta.
  • Pengoptimalan Otomatis mengoptimalkan tata letak file selama penulisan individual ke tabel Delta dan mencegah file kecil terakumulasi dalam tabel Delta Anda agar performa kueri tetap cepat kilat. Selain itu, penulisan dan pembaruan ke dalam tabel Delta yang dipartisi dapat menikmati peningkatan kecepatan yang signifikan berkat pengacakan adaptif yang diperkenalkan dalam proses penulisan.

Jika Anda ingin berpartisipasi dalam salah satu pratinjau, hubungi tim akun Databricks Anda.

Folder DBFS FUSE yang dioptimalkan untuk beban kerja pembelajaran mendalam

Azure Databricks sekarang menawarkan pemasangan FUSE yang dioptimalkan. Anda dapat memiliki akses data berperforma tinggi selama pelatihan dan inferensi tanpa menerapkan skrip init. Data yang disimpan pada dbfs:/ml dan dapat diakses secara lokal di file:/dbfs/ml kini didukung oleh pemasangan FUSE yang dioptimalkan ini. Lihat Memuat data untuk pembelajaran mesin dan pembelajaran mendalam.

Penyempurnaan

  • Pustaka dengan cakupan buku catatan:

    • Dukungan untuk Ekstra di dbutils.library.installPyPI.
    • Dukungan untuk penginstalan pustaka cakupan notebook untuk pustaka di sistem file Azure, termasuk wasbs, adls, dan abfss.
    • Pesan kesalahan yang ditingkatkan untuk pustaka cakupan notebook pada target yang tidak didukung. Misalnya: "Utilitas pustaka tidak tersedia di Databricks Runtime untuk Pembelajaran Mesin."

  • Sambungkan ke Azure Data Lake Storage Gen2 (ADLS Gen2) tanpa harus memberikan peran RBAC "Kontributor Data Blob Penyimpanan" untuk seluruh akun kepada Perwakilan Layanan.

  • Databricks Advisor memiliki petunjuk tambahan untuk meningkatkan performa kueri:

    • Ketika ada banyak file kecil per partisi -> Konversi tabel ke Delta dan jalankan OPTIMIZE.
    • Ketika ada filter yang sangat selektif -> Konversikan ke Delta dan gunakan ZORDER BY.
    • Ketika pengambilan metadata dari Apache Hive menjadi hambatan -> Ubah tabel Anda ke Delta.

  • Ubuntu yang ditingkatkan dari 16.04.5 LTS ke 16.04.6 LTS.

  • Scala 2.11 yang ditingkatkan dari 2.11.8 menjadi 2.11.12.

  • Memutakhirkan beberapa pustaka Python yang diinstal:

    • pip: 18.1 hingga 19.0.3.
    • setuptools: 40.6.3 hingga 40.8.0
    • wheel: 0.32.3 hingga 0.33.1

  • R ditingkatkan dari 3.4.4 ke 3.5.2.

  • Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Diinstal.

Penghentian

  • Konektor Apache Kafka 0.8 untuk Aliran Terstruktur tidak lagi didukung. Ini termasuk dalam Databricks Runtime 5.3 tetapi akan dihapus dari rilis Databricks Runtime di masa mendatang.
  • Ekspor Model ML Databricks tidak digunakan lagi dan akan dihapus di Databricks Runtime 6.0. Gunakan MLeap untuk mengimpor dan mengekspor model sebagai gantinya.
  • spark.databricks.pyspark.enableExecutorFsPerms yang dihapus sebagai opsi konfigurasi.

Perbaikan bug

  • Memperbaiki penginstalan pustaka Python Egg di seluruh kluster untuk kluster yang diaktifkan untuk ACL tabel.
  • Peningkatan pembatalan perintah Python dengan memperbaiki situasi di mana pembatalan dipanggil sebelum perintah dijalankan.
  • Memperbaiki bug dalam ACL tabel: sekarang saat Anda mencantumkan objek dalam database atau katalog, Anda hanya melihat objek yang memiliki izin untuk dilihat.

Apache Spark

Databricks Runtime 5.3 menyertakan Apache Spark 2.4.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 5.2 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-27134][SQL] fungsi array_distinct tidak berfungsi dengan benar dengan kolom yang berisi array dari array
  • [SPARK-24669][SQL] Membatalkan tabel jika DROP DATABASE CASCADE
  • [SPARK-26572][SQL] memperbaiki evaluasi hasil codegen agregat.
  • [SPARK-27046][DSTREAMS] Hapus referensi terkait SPARK-19185 dari dokumentasi
  • [SPARK-26449][PYTHON] Menambahkan metode transformasi ke API DataFrame
  • [SPARK-26740][SQL] Membaca statistik kolom tanda waktu/tanggal yang ditulis oleh Spark 3.0
  • [SPARK-26909][SQL] menggunakan unsafeRow.hashCode() sebagai nilai hash di HashAggregate
  • [SPARK-26990][SQL] FileIndex: menggunakan nama bidang yang ditentukan pengguna jika memungkinkan
  • [SPARK-26851][SQL] Memperbaiki penguncian yang diperiksa dua kali di CachedRDDBuilder
  • [SPARK-26864][SQL] Query dapat mengembalikan hasil yang salah ketika Python UDF digunakan sebagai kondisi join semi kiri
  • [SPARK-26887][SQL][PYTHON] Membuat datetime.date secara langsung alih-alih membuat datetime64 sebagai data perantara.
  • [SPARK-26859][SQL] Memperbaiki bug indeks penulis bidang di deserializer ORC yang tidak divektorkan
  • [SPARK-26864][SQL] Query dapat mengembalikan hasil yang salah ketika Python UDF digunakan sebagai kondisi join dan UDF menggunakan atribut dari kedua sisi kiri semi join
  • [SPARK-24360][SPARK-26091][BACKPORT][SQL] Mendukung metastore Apache Hive 3.1
  • [SPARK-26873][SQL] Menggunakan stempel waktu yang konsisten untuk membuat ID Pekerjaan Hadoop.
  • [SPARK-26734][STREAMING] Memperbaiki StackOverflowError dengan antrean blok besar
  • [SPARK-26758][CORE] Idle Executors tidak diakhiri setelah nilai spark.dynamiAllocation.executorIdleTimeout
  • [SPARK-26751][SQL] Memperbaiki kebocoran memori saat pernyataan dijalankan di latar belakang dan memberikan pengecualian yang bukan HiveSQLException
  • [SPARK-26806][SS] EventTimeStats.merge harus menangani angka nol dengan benar
  • [SPARK-26745][SPARK-24959][SQL] Mengembalikan pengoptimalan jumlah di sumber data JSON dengan
  • [SPARK-26757][GRAPHX] Mengembalikan 0 untuk hitungan pada RDD Edge/Vertex yang kosong
  • [SPARK-26726] Menyinkronkan jumlah memori yang digunakan oleh variabel siaran ke tampilan UI
  • [SPARK-26718][SS] Kelebihan bilangan bulat tetap dalam perhitungan kafka rateLimit SS
  • [SPARK-26708][SQL] Hasil salah disebabkan oleh inkonsistensi antara RDD cache SQL cache dan paket fisiknya
  • [SPARK-26735][SQL] Memverifikasi integritas paket untuk ekspresi khusus
  • [SPARK-26619][SQL] Memangkas pembuat serial yang tidak digunakan dari SerializeFromObject
  • [SPARK-26379][SS] Menggunakan TimeZoneId dummy untuk menghindari UnresolvedException di CurrentBatchTimestamp
  • [SPARK-26495][SQL] Menyederhanakan ekstraktor SelectedField
  • [SPARK-26379][SS] Memperbaiki masalah saat menambahkan current_timestamp/current_date ke kueri streaming
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery tidak menangani catatan kosong dengan benar
  • [SPARK-26680][SQL] Membuat inputVars saat kondisinya sesuai
  • [SPARK-26682][SQL] Menggunakan taskAttemptID alih-alih attemptNumber untuk Hadoop.
  • [SPARK-26706][SQL] Memperbaiki illegalNumericPrecedence untuk ByteType
  • [SPARK-26228][MLLIB] Masalah OOM ditemukan saat menghitung matriks Gramian
  • [SPARK-26665][CORE] Memperbaiki bug yang dapat membuat BlockTransferService.fetchBlockSync hang selamanya
  • [SPARK-26549][PYSPARK] Perbaikan untuk penggunaan kembali pekerja python tidak berpengaruh untuk paralelisasi rentang malas yang dapat disejajarkan
  • [SPARK-26351][MLLIB] Memperbarui dokumen dan koreksi kecil dalam metrik evaluasi mllib
  • [SPARK-26450]Hindari membangun kembali peta skema untuk setiap kolom dalam proyeksi
  • [SPARK-26638][PYSPARK][ML] Kelas vektor Pyspark selalu mengembalikan kesalahan untuk negasi unary
  • [SPARK-26633][REPL] Menambahkan ExecutorClassLoader.getResourceAsStream
  • [SPARK-26629][SS] Memperbaiki kesalahan dengan beberapa aliran file dalam kueri + mulai ulang pada kumpulan yang tidak memiliki data untuk satu aliran file
  • [SPARK-25992][PYTHON] Dokumen SparkContext tidak dapat dibagikan untuk multiproses
  • [SPARK-26615][CORE] Memperbaiki kebocoran sumber daya server/klien transportasi di unittests inti
  • [SPARK-26350][SS] Mengizinkan untuk mengganti id grup konsumen Kafka
  • [SPARK-26538][SQL] Atur presisi dan skala default untuk elemen array numerik postgres
  • [SPARK-26586][SS] Memperbaiki kondisi balapan yang menyebabkan aliran berjalan dengan konfigurasi yang tidak terduga
  • [SPARK-26551][SQL] Memperbaiki kesalahan pemangkasan skema saat memilih satu bidang kompleks dan tidak memiliki predikat null pada bidang lain
  • [SPARK-26576][SQL] Petunjuk siaran tidak diterapkan ke tabel yang dipartisi
  • [SPARK-26571][SQL] Perbarui pemetaan Hive Serde dengan nama kanonis dari Parquet dan Orc FileFormat
  • [SPARK-26267][SS] Coba lagi saat mendeteksi offset yang salah dari Kafka (2.4)
  • [SPARK-26559][ML][PYSPARK] Citra ML tidak dapat bekerja dengan versi numpy sebelum 1.9
  • [SPARK-26078][SQL] Dedup atribut gabungan mandiri pada subkueri IN

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Runtime Databricks 5.3.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 16.04.6 LTS
  • Java: 1.8.0_191
  • Scala: 2.11.12
  • Python: 2.7.12 untuk kluster Python 2 dan 3.5.2 untuk kluster Python 3.
  • R: R versi 3.5.2 (2018-12-20)
  • Kluster GPU: Pustaka GPU NVIDIA berikut diinstal:
    • Driver Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Catatan

Meskipun Scala 2.12 didukung di Apache Spark 2.4, itu tidak didukung di Databricks Runtime 5.3.

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptography 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect=4.8.0 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 19.0.3 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
permintaan 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 40.8.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets=5.0.5 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 wheel 0.33.1
wsgiref 0.1.2

Pustaka R yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
abind 1.4-5 askpass 1.1 assertthat 0.2.0
backports 1.1.3 dasar 3.5.2 base64enc 0.1-3
BH 1.69.0-1 bit 1.1-14 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 callr 3.1.1 car 3.0-2
carData 3.0-2 caret 6.0-81 cellranger 1.1.0
chron 2.3-53 kelas 7.3-15 cli 1.0.1
clipr 0.5.0 clisymbols 1.2.0 klaster 2.0.7-1
codetools 0.2-16 colorspace 1.4-0 commonmark 1.7
compiler 3.5.2 config 0,3 crayon 1.3.4
curl 3.3 data.table 1.12.0 datasets 3.5.2
DBI 1.0.0 dbplyr 1.3.0 desc 1.2.0
devtools 2.0.1 digest 0.6.18 doMC 1.3.5
dplyr 0.8.0.1 ellipsis 0.1.0 fansi 0.4.0
forcats 0.4.0 foreach 1.4.4 foreign 0.8-71
forge 0.2.0 fs 1.2.6 gbm 2.1.5
generics 0.0.2 ggplot2 3.1.0 GH 1.0.1
git2r 0.24.0 glmnet 2.0-16 glue 1.3.0
gower 0.1.2 graphics 3.5.2 grDevices 3.5.2
grid 3.5.2 gridExtra 2.3 gsubfn 0,7
gtable 0.2.0 h2o 3.22.1.1 haven 2.1.0
hms 0.4.2 htmltools 0.3.6 htmlwidgets 1.3
httr 1.4.0 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 iterators 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 labeling 0,3
lattice 0.20-38 lava 1.6.5 lazyeval 0.2.1
littler 0.3.6 lme4 1.1-20 lubridate 1.7.4
magrittr 1.5 mapproj 1.2.6 Peta 3.3.0
maptools 0.9-5 MASS 7.3-51.1 Matrix 1.2-15
MatrixModels 0.4-1 memoise 1.1.0 methods 3.5.2
mgcv 1.8-27 mime 0,6 minqa 1.2.4
ModelMetrics 1.2.2 munsell 0.5.0 mvtnorm 1.0-9
nlme 3.1-137 nloptr 1.2.1 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.2.2 openxlsx 4.1.0
parallel 3.5.2 pbkrtest 0.4-7 pillar 1.3.1
pkgbuild 1.0.2 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 plogr 0.2.0 plyr 1.8.4
praise 1.0.0 prettyunits 1.0.2 pROC 1.13.0
processx 3.2.1 prodlim 2018.04.18 kemajuan 1.2.0
proto 1.0.0 ps 1.3.0 purrr 0.3.0
quantreg 5.38 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
randomForest 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.0 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr 1.3.1
readxl 1.3.0 recipes 0.1.4 rematch 1.0.1
remotes 2.0.2 reshape2 1.4.3 rio 0.5.16
rlang 0.3.1 RODBC 1.3-15 roxygen2 6.1.1
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.1 rstudioapi 0.9.0 scales 1.0.0
sessioninfo 1.1.1 sp 1.3-1 sparklyr 1.0.0
SparkR 2.4.2 SparseM 1.77 spatial 7.3-11
splines 3.5.2 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.30 stats 3.5.2 stats4 3.5.2
stringi 1.3.1 stringr 1.4.0 survival 2.43-3
sys 3.0 tcltk 3.5.2 TeachingDemos 2.10
testthat 2.0.1 tibble 2.0.1 tidyr 0.8.3
tidyselect 0.2.5 timeDate 3043.102 alat 3.5.2
usethis 1.4.0 utf8 1.1.4 utils 3.5.2
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 xopen 1.0.0 yaml 2.2.0
zip 2.0.0

Pustaka Java dan Scala yang dipasang(versi kluster Scala 2.11)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.azure azure-storage 5.2.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx collector 0,7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.5
net.snowflake snowflake-jdbc 3.6.15
net.snowflake spark-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1.1-databricks3
org.apache.parquet parquet-common 1.10.1.1-databricks3
org.apache.parquet parquet-encoding 1.10.1.1-databricks3
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.1-databricks3
org.apache.parquet parquet-jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark tidak digunakan 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52