Databricks Runtime 5.0 (EoS)
Catatan
Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.
Databricks merilis versi ini pada November 2018.
Catatan rilis berikut memberikan informasi tentang Databricks Runtime 5.0, yang didukung oleh Apache Spark.
Fitur baru
Delta Lake
- Subkueri sekarang didukung dalam klausul
WHEREuntuk dukungan untuk perintahDELETEdanUPDATE. - Implementasi baru yang dapat diskalakan untuk perintah
MERGE.- Tidak ada batasan jumlah sisipan dan pembaruan.
- Dapat digunakan untuk kueri SCD Type 1 dan Type 2.
- Bisa untuk melakukan upsert dari kueri streaming dalam mode “perbarui” (misalnya, tulis output agregasi streaming ke tabel Delta). Lihat contoh Menulis agregat streaming ke Databricks Delta Menggunakan MERGE dan foreachBatch notebook.
- Subkueri sekarang didukung dalam klausul
Streaming Terstruktur
- Sumber streaming berbasis pemberitahuan file penyimpanan Azure Blob. Ini dapat secara signifikan mengurangi biaya daftar saat menjalankan kueri Structured Streaming pada file di penyimpanan Azure Blob. Alih-alih menggunakan daftar untuk menemukan file baru untuk diproses, sumber streaming ini dapat langsung membaca pemberitahuan peristiwa file untuk menemukan file baru. Lihat Sumber file penyimpanan Azure Blob dengan Azure Queue Storage (warisan).
Dukungan tambahan untuk TensorBoard untuk memantau pekerjaan pembelajaran mendalam. Lihat TensorBoard.
Penyempurnaan
- Danau Delta
-
OPTIMIZEperforma dan stabilitas.- Perintah
OPTIMIZEmelakukan batch sesegera mungkin, bukan di akhir. - Mengurangi jumlah default thread berjalan
OPTIMIZEsecara paralel. Ini adalah peningkatan performa yang ketat untuk tabel besar. - Mempercepat penulisan
OPTIMIZEdengan menghindari data penyortiran yang tidak perlu saat menulis ke tabel yang dipartisi. - Mempercepat
OPTIMIZE ZORDER BYmembuatnya bertahap. Ini berarti perintah sekarang menghindari penulisan ulang file data yang sudah Z-order menurut kolom yang sama. Lihat Melewatkan data untuk Delta Lake.
- Perintah
- Snapshot isolasi saat mengkueri tabel Delta. Kueri apa pun dengan beberapa referensi ke tabel Delta (misalnya, self-join) dibaca dari snapshot tabel yang sama meskipun ada pembaruan bersamaan ke tabel.
- Peningkatan latensi kueri saat membaca dari tabel Delta kecil (< 2000 file) dengan penembolokan metadata pada driver.
-
- Peningkatan performa regresi logistik MLlib.
- Peningkatan performa algoritma pohon MLlib.
- Meningkatkan beberapa pustaka Java dan Scala. Lihat Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.11).
- Meningkatkan beberapa pustaka Python yang terinstal:
- pip: 10.0.1 hingga 18.0
- setuptools: 39.2.0 hingga 40.4.1
- tornado: 5.0.2 hingga 5.1.1
- Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Diinstal.
Perbaikan Bug
- Danau Delta
- Konfigurasi yang diatur dalam SQL conf sekarang berlaku dengan benar ke operasi Delta Lake yang pertama kali dimuat di notebook yang berbeda.
- Memperbaiki bug di perintah
DELETEyang keliru menghapus baris tempat kondisi dievaluasi menjadi nol. - Stream yang membutuhkan waktu lebih dari dua hari untuk memproses batch awal (yaitu, data yang ada di tabel ketika stream dimulai) tidak lagi gagal dengan
FileNotFoundExceptionketika mencoba untuk pulih dari titik pemeriksaan. - Menghindari kondisi race yang mengarah ke
NoClassDefErrorsaat memuat tabel baru. - Perbaiki untuk
VACUUMdi mana operasi mungkin gagal dengan AssertionError yang menyatakan: “Seharusnya tidak memiliki jalur absolut untuk penghapusan di sini.” - Perintah
SHOW CREATE TABLEtetap untuk tidak menyertakan properti penyimpanan yang dibuat Hive.
- Pelaksana yang membuang banyak kesalahan
NoClassDefFoundErroruntuk kelas Spark internal sekarang secara otomatis dimulai ulang untuk memperbaiki masalah.
Masalah Umum
- Nama kolom yang ditentukan dalam opsi
replaceWhereuntuk modeoverwritedi Delta Lake peka huruf besar/kecil bahkan jika ketidakpekaan huruf diaktifkan (yang merupakan default). - Konektor Snowflake untuk Databricks Runtime 5.0 ada di Pratinjau.
- Setelah Anda membatalkan sel streaming yang sedang berjalan di notebook yang dilampirkan ke kluster Databricks Runtime 5.0, Anda tidak dapat menjalankan perintah berikutnya di notebook kecuali Anda membersihkan status notebook atau memulai ulang kluster. Untuk solusinya, lihat Pangkalan Pengetahuan.
Apache Spark
Databricks Runtime 5.0 menyertakan Apache Spark 2.4.0.
Core dan Spark SQL
Catatan
Artikel ini berisi referensi mengenai istilah slave, suatu istilah yang tidak lagi digunakan oleh Azure Databricks. Ketika istilah ini dihapus dari perangkat lunak, kami akan menghapusnya dari artikel ini.
Fitur Utama
- Barrier Execution Mode: [SPARK-24374] Mendukung Barrier Execution Mode di penjadwal, untuk mengintegrasi lebih baik dengan kerangka kerja pembelajaran mendalam.
- Dukungan Scala 2.12: [SPARK-14220] Tambahkan dukungan Scala 2.12 eksperimental. Sekarang Anda dapat membangun Spark dengan Scala 2.12 dan menulis aplikasi Spark di Scala 2.12.
- Fungsi tingkat tinggi: [SPARK-23899] Tambahkan banyak fungsi bawaan baru, termasuk fungsi tingkat tinggi, untuk mempermudah bekerja dengan jenis data yang kompleks. Lihat fungsi bawaan Apache Spark.
- Sumber data Avro bawaan: [SPARK-24768] Paket inline Spark-Avro dengan dukungan jenis logis, performa dan ketergunaan yang lebih baik.
API
- [SPARK-24035] Sintaks SQL untuk Pivot
- [SPARK-24940] Petunjuk Gabungan dan Repartisi untuk Kueri SQL
- [SPARK-19602] Dukung resolusi kolom nama kolom yang sepenuhnya memenuhi syarat
- [SPARK-21274] Terapkan EXCEPT ALL dan INTERSECT ALL
Performa dan Stabilitas
- [SPARK-16406] Resolusi referensi untuk sejumlah besar kolom harus lebih cepat
- [SPARK-23486] Cache nama fungsi dari katalog eksternal untuk lookupFunctions
- [SPARK-23803] Dukung Bucket Pruning
- [SPARK-24802] Optimization Rule Exclusion
- [SPARK-4502] Pemangkasan skema berlapis untuk tabel Parquet
- [SPARK-24296] Dukung replikasi blok yang lebih besar dari 2 GB
- [SPARK-24307] Dukung pengiriman pesan lebih dari 2GB dari memori
- [SPARK-23243] Shuffle+Repartition pada RDD dapat menyebabkan jawaban yang salah
- [SPARK-25181] Membatasi ukuran master BlockManager dan kumpulan thread slave, menurunkan overhead memori saat jaringan lambat
Konektor
- [SPARK-23972] Perbarui Parquet dari 1.8.2 ke 1.10.0
- [SPARK-25419] Peningkatan pushdown predikat Parquet
- [SPARK-23456] Pembaca ORC native menyala secara default
- [SPARK-22279] Gunakan pembaca ORC native untuk membaca tabel serde Hive secara default
- [SPARK-21783] Aktifkan push-down filter ORC secara default
- [SPARK-24959] Percepat count() untuk JSON dan CSV
- [SPARK-24244] Menguraikan hanya kolom yang diperlukan ke parser CSV
- [SPARK-23786] Validasi skema CSV - nama kolom tidak dicentang
- [SPARK-24423] Kueri opsi untuk menentukan kueri yang akan dibaca dari JDBC
- [SPARK-22814] Dukung Date/Timestamp di kolom partisi JDBC
- [SPARK-24771] Perbarui Avro dari 1.7.7 ke 1.8
PySpark
- [SPARK-24215] Terapkan evaluasi bersemangat untuk DataFrame API
- [SPARK-22274] - [SPARK-22239] Fungsi agregasi yang ditentukan pengguna dengan pandas udf
- [SPARK-24396] Add Structured Streaming ForeachWriter untuk Python
- [SPARK-23874] Tingkatkan Apache Arrow ke 0.10.0
- [SPARK-25004] Tambahkan spark.executor.pyspark.memory limit
- [SPARK-23030] Gunakan format stream Arrow untuk membuat dari dan mengumpulkan pandas DataFrames
- [SPARK-24624] Dukung campuran Python UDF dan Scalar pandas UDF
Perubahan penting lainnya
- [SPARK-24596] Invalidasi Cache Non-cascading
- [SPARK-23880] Jangan memicu pekerjaan apa pun untuk penembolokan data
- [SPARK-23510][SPARK-24312] Dukung Hive 2.2 dan Hive 2.3 metastore
- [SPARK-23711] Tambahkan generator fallback untuk UnsafeProjection
- [SPARK-24626] Paralelisasi perhitungan ukuran lokasi dalam perintah Analyze Table
Streaming Terstruktur
Fitur Utama
- [SPARK-24565] Mengekspos baris output dari setiap microbatch sebagai DataFrame menggunakan foreachBatch (Python, Scala, dan Java)
- [SPARK-24396] Menambahkan Python API untuk foreach dan ForeachWriter
- [SPARK-25005] Dukung “kafka.isolation.level” untuk hanya membaca catatan yang dilakukan dari topik Kafka yang ditulis menggunakan produser transaksional.
Perubahan penting lainnya
- [SPARK-24662] Mendukung operator LIMIT untuk streaming dalam mode Tambahkan atau Selesai
- [SPARK-24763] Hapus data kunci redundan dari nilai dalam agregasi streaming
- [SPARK-24156] Pembuatan hasil output yang lebih cepat dan/atau pembersihan status dengan operasi stateful (mapGroupsWithState, stream-stream join, agregasi streaming, streaming dropDuplicates) ketika tidak ada data dalam stream input.
- [SPARK-24730] Dukungan untuk memilih marka air min atau maks ketika ada beberapa stream input dalam kueri
- [SPARK-25399] Memperbaiki bug di mana menggunakan kembali utas eksekusi dari pemrosesan berkelanjutan untuk streaming microbatch dapat mengakibatkan masalah ketepatan
- [SPARK-18057] Versi klien Kafka yang ditingkatkan dari 0.10.0.1 ke 2.0.0
MLlib
Fitur Utama
- [SPARK-22666] Sumber data Spark untuk format gambar
Perubahan penting lainnya
- [SPARK-22119][SPARK-23412][SPARK-23217] Tambahkan ukuran jarak cosine ke evaluator KMeans/BisectingKMeans/Clustering evaluator
- [SPARK-10697] Lift Calculation dalam Association Rule mining
- [SPARK-14682][SPARK-24231] Berikan metode evaluatEachIteration atau yang setara untuk spark.ml GBT
- [SPARK-7132][SPARK-24333] Tambahkan fit dengan validasi yang diatur ke spark.ml GBT
- [SPARK-15784][SPARK-19826] Tambahkan Power Iteration Clustering ke spark.ml
- [SPARK-15064] Dukungan lokal di StopWordsRemover
- [SPARK-21741] Python API untuk summarizer multivariate berbasis DataFrame
- [SPARK-21898][SPARK-23751] Paritas fitur untuk KolmogorovSmirnovTest di MLlib
- [SPARK-10884] Dukung prediksi pada instans tunggal untuk regresi dan model terkait klasifikasi
- [SPARK-23783] Tambahkan sifat ekspor generik baru untuk alur ML
- [SPARK-11239] Ekspor PMML untuk regresi linier ML
SparkR
- [SPARK-25393] Menambahkan fungsi baru from_csv()
- [SPARK-21291] tambahkan partitionBy API di DataFrame
- [SPARK-25007] Tambahkan array_intersect/array_except/array_union/shuffle ke SparkR
- [SPARK-25234] hindari integer overflow secara paralel
- [SPARK-25117] Tambahkan dukungan EXCEPT ALL and INTERSECT ALL di R
- [SPARK-24537] Tambahkan array_remove / array_zip / map_from_arrays / array_distinct
- [SPARK-24187] Tambahkan fungsi array_join ke SparkR
- [SPARK-24331] Menambahkan arrays_overlap, array_repeat, map_entries ke SparkR
- [SPARK-24198] Menambahkan fungsi slice ke SparkR
- [SPARK-24197] Menambahkan fungsi array_sort ke SparkR
- [SPARK-24185] Tambahkan fungsi flatten ke SparkR
- [SPARK-24069] Tambahkan fungsi array_min / array_max
- [SPARK-24054] Tambahkan fungsi array_position / fungsi element_at
- [SPARK-23770] Tambahkan repartitionByRange API di SparkR
GraphX
- [SPARK-25268] jalankan Parallel Personalized PageRank throws serialization Exception
Penghentian
- [SPARK-23451] Hentikan KMeans computeCost
- [SPARK-25345] Hentikan readImages APIs dari ImageSchema
Perubahan perilaku
- [SPARK-23549] Transmisikan ke timestamp saat membandingkan stempel waktu dengan tanggal
- [SPARK-24324] pandas Grouped Map UDF harus menetapkan kolom hasil berdasarkan nama
- [SPARK-25088] Pembaruan default &doc Server Rest
- [SPARK-23425] muat data untuk jalur file hdfs dengan penggunaan wildcard tidak berfungsi dengan baik
- [SPARK-23173] from_json dapat menghasilkan null untuk bidang yang ditandai sebagai non-nullable
- [SPARK-24966] Terapkan aturan prioritas untuk mengatur operasi
- [SPARK-25708]HAVING tanpa GROUP BY seharusnya menjadi agregat global
- [SPARK-24341] Tangani subkueri IN multi-value dengan benar
- [SPARK-19724] Buat tabel terkelola dengan lokasi default yang sudah ada harus memberikan pengecualian
Masalah Umum
- [SPARK-25793] Memuat bug model di BisectingKMeans
- [SPARK-25271] CTAS dengan tabel parket Hive harus memanfaatkan sumber parket native
- [SPARK-24935] Masalah dengan Mengeksekusi Hive UDAF dari Spark 2.2 Seterusnya
Pembaruan Pemeliharaan
Lihat Pembaruan pemeliharaan Databricks Runtime 5.0.
Lingkungan Sistem
- Sistem Operasi: Ubuntu 16.04.5 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 untuk kluster Python 2 dan 3.5.2 untuk kluster Python 3.
- R: R versi 3.4.4 (15-03-2018)
-
Kluster GPU: Pustaka GPU NVIDIA berikut diinstal:
- Driver Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Catatan
Meskipun Scala 2.12 didukung di Apache Spark 2.4, ia tidak didukung di Databricks Runtime 5.0.
Pustaka Python yang Diinstal
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptography | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect=4.8.0 | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 18,0 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| permintaan | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | seaborn | 0.7.1 |
| setuptools | 40.4.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets=5.0.5 | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.1 |
| wsgiref | 0.1.2 |
Pustaka R yang Diinstal
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| dasar | 3.4.4 | base64enc | 0.1-3 | BH | 1.66.0-1 |
| bindr | 0.1.1 | bindrcpp | 0.2.2 | bit | 1.1-14 |
| bit64 | 0.9-7 | bitops | 1.0-6 | blob | 1.1.1 |
| boot | 1.3-20 | brew | 1.0-6 | broom | 0.5.0 |
| callr | 3.0.0 | car | 3.0-2 | carData | 3.0-1 |
| caret | 6.0-80 | cellranger | 1.1.0 | chron | 2.3-52 |
| kelas | 7.3-14 | cli | 1.0.0 | klaster | 2.0.7-1 |
| codetools | 0.2-15 | colorspace | 1.3-2 | commonmark | 1.5 |
| compiler | 3.4.4 | crayon | 1.3.4 | curl | 3.2 |
| CVST | 0.2-2 | data.table | 1.11.4 | datasets | 3.4.4 |
| DBI | 1.0.0 | ddalpha | 1.3.4 | DEoptimR | 1,0-8 |
| desc | 1.2.0 | devtools | 1.13.6 | digest | 0.6.16 |
| dimRed | 0.1.0 | doMC | 1.3.5 | dplyr | 0.7.6 |
| DRR | 0.0.3 | fansi | 0.3.0 | forcats | 0.3.0 |
| foreach | 1.4.4 | foreign | 0.8-70 | gbm | 2.1.3 |
| geometry | 0.3-6 | ggplot2 | 3.0.0 | git2r | 0.23.0 |
| glmnet | 2.0-16 | glue | 1.3.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0,7 | gtable | 0.2.0 | h2o | 3.20.0.2 |
| haven | 1.1.2 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-7 |
| iterators | 1.0.10 | jsonlite | 1.5 | kernlab | 0.9-27 |
| KernSmooth | 2.23-15 | labeling | 0,3 | lattice | 0.20-35 |
| lava | 1.6.3 | lazyeval | 0.2.1 | littler | 0.3.4 |
| lme4 | 1.1-18-1 | lubridate | 1.7.4 | magic | 1.5-8 |
| magrittr | 1.5 | mapproj | 1.2.6 | Peta | 3.3.0 |
| maptools | 0.9-3 | MASS | 7.3-50 | Matrix | 1.2-14 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methods | 3.4.4 |
| mgcv | 1.8-24 | mime | 0,5 | minqa | 1.2.4 |
| ModelMetrics | 1.2.0 | munsell | 0.5.0 | mvtnorm | 1,0-8 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.2 | openxlsx | 4.1.0 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.3.0 |
| pkgbuild | 1.0.0 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.0 | plogr | 0.2.0 | pls | 2.7-0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.12.1 | processx | 3.2.0 | prodlim | 2018.04.18 |
| proto | 1.0.0 | ps | 1.1.0 | purrr | 0.2.5 |
| quantreg | 5,36 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.7.0 | R6 | 2.2.2 | randomForest | 4.6-14 |
| RColorBrewer | 1.1-2 | Rcpp | 0.12.18 | RcppEigen | 0.3.3.4.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | readr | 1.1.1 |
| readxl | 1.1.0 | recipes | 0.1.3 | rematch | 1.0.1 |
| reshape2 | 1.4.3 | rio | 0.5.10 | rlang | 0.2.2 |
| robustbase | 0.93-2 | RODBC | 1.3-15 | roxygen2 | 6.1.0 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.7-3 |
| RSQLite | 2.1.1 | rstudioapi | 0,7 | scales | 1.0.0 |
| sfsmisc | 1.1-2 | sp | 1.3-1 | SparkR | 2.4.0 |
| SparseM | 1.77 | spatial | 7.3-11 | splines | 3.4.4 |
| sqldf | 0.4-11 | SQUAREM | 2017.10-1 | statmod | 1.4.30 |
| stats | 3.4.4 | stats4 | 3.4.4 | stringi | 1.2.4 |
| stringr | 1.3.1 | survival | 2.42-6 | tcltk | 3.4.4 |
| TeachingDemos | 2.10 | testthat | 2.0.0 | tibble | 1.4.2 |
| tidyr | 0.8.1 | tidyselect | 0.2.4 | timeDate | 3043.102 |
| alat | 3.4.4 | utf8 | 1.1.4 | utils | 3.4.4 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | zip | 1.0.0 |
Pustaka Java dan Scala yang dipasang (Scala 2.11 versi kluster)
| ID Grup | ID Artefak | Versi |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db7-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db7-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | inti | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | collector | 0,7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1-databricks2 |
| org.apache.parquet | parquet-common | 1.10.1-databricks2 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks2 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks2 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.9 |
| org.codehaus.janino | janino | 3.0.9 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | tidak digunakan | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |