Databricks Runtime 4.3 (EoS)
Catatan
Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.
Databricks merilis versi ini pada Agustus 2018.
Penting
Rilis ini tidak digunakan lagi pada tanggal 9 April 2019. Untuk informasi selengkapnya tentang kebijakan dan jadwal penghentian Runtime Databricks, lihat Siklus hidup dukungan Databricks.
Catatan rilis berikut memberikan informasi tentang Databricks Runtime 4.3, yang didukung oleh Apache Spark.
Fitur baru
- Danau Delta
- perintah
TRUNCATE TABLE: Hapus semua baris dari table. Tidak seperti mitranya untuk Spark tables, Delta tables tidak mendukung penghapusan partisi tertentu. - Perintah
ALTER TABLE REPLACE COLUMNS: Ganti columns di dalam Delta table. Ini mendukung perubahan komentar column dan menyusun ulang beberapa columns. - perintah
FSCK REPAIR TABLE: Remove entri file dari log transaksi table Delta yang tidak lagi dapat ditemukan dalam sistem file yang mendasarinya. Hal ini dapat terjadi ketika file-file ini telah dihapus secara manual. - Dukungan untuk kueri pada Delta tables kedaluarsa untuk meningkatkan pengalaman kueri interaktif: Kueri di Delta tables sekarang dapat dijalankan pada versi table kedaluarsa saat hasil terkini tidak diperlukan. Fitur ini mengurangi latensi kueri, terutama saat Delta tables yang mendasari diperbarui secara terus-menerus melalui aliran.
- perintah
- Streaming Terstruktur
- Dukungan tulis streaming yang dapat diskalakan untuk Azure Synapse Analytics Connector.
- Dukungan untuk
foreachBatch()di Python (sudah tersedia di Scala). Lihat dokumentasi foreach dan foreachBatch untuk detail selengkapnya. - Dukungan untuk memilih minimum atau maksimum watermark ketika terdapat beberapa aliran input dalam kueri. Sebelumnya, stempel waktu minimum selalu digunakan. Lihat beberapa kebijakan
untuk detail selengkapnya. - Dukungan untuk operator
LIMITuntuk stream dalam mode outputAppenddanComplete. Untuk meminimalkan kesalahan OOM pada driver,LIMITditerapkan secara otomatis saat Anda menggunakandisplay()pada stream tak terbatas.
Penyempurnaan
Delta Lake
- Pratinjau privat dari implementasi baru yang dapat diskalakan dari perintah
MERGE INTOyang tidak memiliki baris 10000 insertlimit. Hubungi dukungan jika Anda ingin mencobanya. - Performa dan skalabilitas perintah
OPTIMIZEyang lebih baik, terutama pada kluster yang lebih besar. - Perintah OPTIMIZE sekarang berkomitmen pada table secara bertahap, yang berarti bahwa jika perintah gagal, coba lagi tidak perlu memproses seluruh data set.
- Mengurangi jumlah RPM sistem file yang diperlukan untuk menemukan data baru saat menggunakan Delta Lake sebagai sumber streaming.
- Ditambahkan dukungan untuk
df.writeStream.table(table-name)di Python agar dapat membuat Delta table dari suatu aliran.
- Pratinjau privat dari implementasi baru yang dapat diskalakan dari perintah
Peningkatan performa untuk kueri dengan beberapa gabungan, agregasi, atau jendela.
Peningkatan efisiensi untuk pemangkasan tingkat partitiondalam kueri dengan gabungan hash siaran.
Perbaikan pada pembuatan kode seluruh tahap untuk mendeteksi ekspresi duplikat, mengurangi jumlah kode yang dihasilkan, dan meningkatkan performa jenis ekspresi tertentu.
Kluster konkurensi tinggi sekarang mendukung eksekusi
%fsdi notebook.Peningkatan Py4J yang digunakan oleh PySpark ke 0.10.7.
Performa penembolokan disk yang ditingkatkan pada instans seri Azure Ls. Cache sekarang diaktifkan secara default pada instans ini, mempercepat beban kerja yang berulang kali membaca file Parquet.
Fitur yang tidak digunakan lagi
- Data Skipping di luar Databricks Delta tidak digunakan lagi. Versi yang disempurnakan dari data skipping akan terus tersedia sebagai bagian dari Delta Lake. Sebaiknya Anda beralih ke Delta Lake untuk terus memanfaatkan fitur ini. Lihat Data Skipping Databricks Delta untuk detailnya.
Perbaikan bug
Memperbaiki pernyataan
MERGE INTOpushdown predikat yang salah untuk Delta ketika kondisi ON memiliki predikat yang hanya mereferensikan target table.Memperbaiki bug dalam
mapGroupsWithStatedanflatMapGroupsWithStateyang mencegah pengaturan batas waktu saat status telah dihapus (SPARK-22187).Memperbaiki bug watermarking yang dicegah agar berfungsi baik dengan
Trigger.Once(SPARK-24699).perintah Update sekarang memvalidasi columns dalam klausul SET untuk memastikan semua columns benar-benar ada dan tidak ada column yang set lebih dari sekali.
Memperbaiki potensi kondisi lombaan yang dapat menyebabkan kebuntuan pada penerapan direktori.
Memperbaiki bug yang menyebabkan versi klien DBFS yang dihentikan menjadi digunakan saat menyegarkan pemasangan.
Masalah umum
- Opsi konfigurasi Delta Lake untuk table hanya berlaku di notebook pertama yang memuat table.
Apache Spark
Databricks Runtime 4.3 dilengkapi Apache Spark 2.3.1. Rilis ini mencakup semua perbaikan dan peningkatan yang disertakan dalam Databricks Runtime 4.2 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:
-
[SPARK-24934][SQL] Secara eksplisit mengizinkan jenis yang didukung dalam batas atas/bawah untuk pemangkasan partition dalam memori
- Saat tipe data kompleks digunakan dalam filter kueri terhadap data yang di-cache, Spark selalu mengembalikan hasil kosong set. Pemangkasan berbasis statistik di memori menghasilkan hasil yang tidak tepat, karena null adalah set untuk batas atas dan bawah jenis kompleks. Perbaikannya tidak menggunakan pemangkasan berbasis statistik dalam memori untuk jenis yang kompleks.
-
[SPARK-24957][SQL] Rata-rata dengan desimal diikuti dengan agregasi mengembalikan hasil yang salah
- Hasil rata-rata yang salah dapat dikembalikan. CAST yang ditambahkan di operator Rata-rata akan dilewati jika hasil Divide adalah jenis yang sama dengan yang ditransmisikan.
-
[SPARK-24867][SQL] Menambahkan AnalysisBarrier ke DataFrameWriter
- SQL cache tidak digunakan saat menggunakan DataFrameWriter untuk menulis DataFrame dengan UDF. Ini adalah regresi yang disebabkan oleh perubahan yang kami buat di AnalysisBarrier, karena tidak semua aturan Analyzer adalah idempotent.
-
[SPARK-24790][SQL] Memungkinkan ekspresi agregat yang kompleks dalam Pivot
- Longgarkan pemeriksaan untuk memungkinkan ekspresi agregat kompleks, seperti ceil(sum(col1)) atau sum(col1) + 1, yang kurang lebih berarti ekspresi agregat apa pun yang dapat muncul dalam paket Agregat kecuali panda UDF.
-
[SPARK-24870][SQL] Cache tidak dapat berfungsi secara normal jika ada huruf besar/kecil di SQL
- Memperbaiki masalah kanonisasi paket.
- [SPARK-24852]Minta pelatihan spark.ml menggunakan Instrumentation API yang diperbarui.
-
[SPARK-24891][SQL] Memperbaiki aturan HandleNullInputsForUDF
- Buat aturan handleNullInputsForUDF menjadi idempotent, untuk menghindari ketidakcocokan paket di pengelola cache saat paket dianalisis lebih dari sekali.
- [SPARK-24878][SQL] Perbaiki fungsi terbalik untuk jenis array tipe primitif yang mengandung null.
- [SPARK-24871][SQL] Faktorkan ulang Concat dan MapConcat untuk menghindari pembuatan objek concatenator untuk setiap baris.
-
[SPARK-24802][SQL] Menambahkan konfigurasi baru untuk Pengecualian Aturan Pengoptimalan
- Menyediakan konfigurasi kepada pengguna untuk mengecualikan beberapa aturan pengoptimal.
-
[SPARK-24879][SQL] Perbaiki NPE di pushdown filter pemangkasan Apache Hive partition
- Ketika predikat partition adalah sesuatu seperti col IN (1, null), NPE akan dilemparkan. Patch ini memperbaikinya.
- [SPARK-23731][SQL] Buat FileSourceScanExec dapat di-kanoniskan setelah di(de)serialkan
-
[SPARK-24755][CORE] Kehilangan eksekutor dapat menyebabkan tugas tidak dikirim ulang
- Memperbaiki bug yang mungkin tidak dikirim ulang oleh tugas Spark yang gagal karena kehilangan eksekutor. Bug ini muncul di Spark 2.3.
-
[SPARK-24677][CORE] Hindari NoSuchElementException dari MedianHeap
- Memperbaiki bug terkait tugas spekulatif saat mengumpulkan metrik durasi tugas.
- [SPARK-24868][PYTHON] Tambahkan fungsi urutan di Python
- [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Perbaiki konversi eksplisit jenis dan nullability.
- [SPARK-24699][SS] Membuat marka air berfungsi dengan Trigger.Once dengan menyimpan watermark yang telah diperbarui ke dalam commit log.
- [SPARK-24537][R] Tambahkan array_remove / array_zip / map_from_arrays / array_distinct
- [SPARK-22187][SS] Update format unsaferow untuk status tersimpan dalam flatMapGroupsWithState untuk memungkinkan pengaturan batas waktu pada status yang dihapus (4.x)
-
[SPARK-24681][SQL] Memverifikasi nama column berlapis dalam metastore Hive
- Pastikan nama column berlapis tidak menyertakan ',', ':', dan ';' di metastore Apache Hive
-
[SPARK-23486]menyimpan nama fungsi dalam cache dari catalog eksternal untuk lookupFunctions
- Untuk mempercepat pencarian fungsi.
- [SPARK-24781][SQL] Menggunakan referensi dari Himpunan Data di Filter/Urutkan mungkin tidak berfungsi
-
[SPARK-24208][SQL] Memperbaiki deduplikasi atribut untuk FlatMapGroupsInPandas
- Memperbaiki kegagalanjoin mandiri pada himpunan data yang berisi FlatMapGroupsInPandas karena atribut duplikat
- [SPARK-24530][PYTHON] Tambahkan kontrol untuk memaksa versi Python di Sphinx melalui variabel lingkungan, SPHINXPYTHON
-
[SPARK-24250]mendukung mengakses SQLConf di dalam tugas
- Simpan semua konfigurasi SQL ke properti pekerjaan saat eksekusi SQL dipicu. Di sisi eksekutor, kami membangun kembali SQLConf dari properti pekerjaan.
- [SPARK-23936][SQL] Implementasikan map_concat
- [SPARK-23914][SQL] Tambahkan fungsi array_union
-
[SPARK-24732][SQL] Konversi jenis antara MapTypes.
- Menambahkan dukungan untuk koersi jenis antara MapTypes where dengan kedua jenis kunci dan jenis nilai yang kompatibel. Misalnya, jenis MapType(IntegerType, FloatType) dan MapType(LongType, DoubleType) dapat dikonversi menjadi jenis MapType(LongType, DoubleType)
- [SPARK-24662][SQL][SS] Mendukung limit dalam streaming terstruktur
- [SPARK-24730][SS] Tambahkan kebijakan untuk memilih maksimum sebagai global watermark saat kueri streaming memiliki beberapa penanda watermark (cabang-4.x)
-
[SPARK-24596][SQL] Pembatalan Singgahan Non-kaskading
- Ketika membatalkan cache atau temp view, tidak perlu secara meluas membatalkan cache semua paket yang bergantung pada tampilan, karena data yang mendasarinya tidak berubah.
- [SPARK-23927][SQL] Tambahkan ekspresi “sequence”
- [SPARK-24636][SQL] Konversi jenis array untuk fungsi array_join
-
[SPARK-22384][SQL] Sempurnakan pemangkasan partition saat atribut dibungkus dalam Cast
- Tingkatkan pemangkasan partition, mampu menurunkan predikat partition dengan konversi tipe yang aman (int ke long, bukan long ke int).
-
[SPARK-24385][SQL] Mengatasi ambiguitas kondisijoin mandiri untuk EqualNullSafe
- Menerapkan EqualNullSafe untuk menyelesaikan ambiguitas kondisijoin yang bersifat mandiri.
- aturan [SPARK-24696][SQL] ColumnPruning gagal remove Proyek tambahan
- Memperbaiki bug dalam aturan ColumnPruning yang menyebabkan kesalahan loop tak terbatas di Optimizer.
- [SPARK-24603][SQL] Perbaiki referensi findTightestCommonType di komentar
-
[SPARK-24613][SQL] Cache dengan UDF tidak dapat dicocokkan dengan cache dependen berikutnya
- Membungkus rencana logis dengan kompilasi AnalysisBarrier untuk rencana eksekusi di CacheManager, untuk menghindari rencana dianalisis lagi. Ini juga merupakan regresi dari Spark 2.3.
- [SPARK-24017][SQL] Faktorkan ulang ExternalCatalog menjadi antarmuka
-
[SPARK-24324][PYTHON] pandas Grouped Map UDF harus mengatur hasil columns berdasarkan nama
- Menetapkan hasil columns dengan nama schema jika pengguna diberi label dengan string, jika tidak berdasarkan posisi.
-
[SPARK-23778][CORE] Hindari pengacakan yang tidak perlu saat serikat mendapatkan RDD kosong
- Mengabaikan RDD kosong yang masuk dalam metode union untuk menghindari ekstra-shuffle yang tidak perlu ketika semua RDD lainnya memiliki partisi yang sama.
-
[SPARK-24552][CORE][SQL] Gunakan ID unik, bukan nomor upaya, untuk menulis.
- Meneruskan ID upaya tugas unik alih-alih nomor upaya ke sumber data v2 karena nomor upaya digunakan kembali saat tahapan dicoba kembali. Hal ini memengaruhi API sumber data V1 dan V2, tetapi API format file tidak akan terpengaruh karena DBR menggunakan protokol penerapan yang berbeda.
- [SPARK-24588][SS] streaming join harus memerlukan HashClusteredPartitioning dari anak-anak.
-
[SPARK-24589][CORE] Identifikasi tugas dengan benar di koordinator penerapan output.
- Menambahkan lebih banyak informasi ke status tahapan yang dilacak oleh koordinator sehingga hanya satu tugas yang diizinkan untuk menerapkan output. Perbaikan ini juga menghilangkan perubahan kode yang tidak berguna yang muncul di SPARK-18113.
- [SPARK-23933][SQL] Tambahkan fungsi map_from_arrays
-
[SPARK-24583][SQL] Salah jenis schema di InsertIntoDataSourceCommand
- Saat membuat table Delta dengan batasan NOT NULL, kita dapat menghapus sifat nullability dan insertvalues NULL tanpa memeriksa pelanggaran apapun.
-
[SPARK-24542][SQL] Seri UDF UDFXPathXXXX memungkinkan pengguna untuk meneruskan XML yang dibuat dengan hati-hati untuk mengakses file sewenang-wenang
- Ini adalah patch keamanan yang dilaporkan dari komunitas. Seri UDF UDFXPathXXXX memungkinkan pengguna untuk meneruskan XML yang dibuat dengan hati-hati untuk mengakses file arbitrer. Saat pengguna menggunakan pustaka kontrol akses eksternal, pengguna dapat melewatinya dan mengakses konten file.
- [SPARK-23934][SQL] Menambahkan fungsi map_from_entries
- [SPARK-23912][SQL] Tambahkan array_distinct
- fungsi [SPARK-24574][SQL] array_contains, array_position, array_remove, dan element_at menangani jenis Column
Pembaruan pemeliharaan
Lihat Pembaruan pemeliharaan Databricks Runtime 4.3.
Lingkungan sistem
- Sistem Operasi: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 untuk kluster Python 2 dan 3.5.2 untuk kluster Python 3.
- R: R versi 3.4.4 (15-03-2018)
-
Kluster GPU: Pustaka GPU NVIDIA berikut diinstal:
- Driver Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Pustaka Python yang diinstal
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptography | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect=4.8.0 | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| permintaan | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | seaborn | 0.7.1 |
| setuptools | 39.2.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.2 | traitlets=5.0.5 | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.1 |
| wsgiref | 0.1.2 |
Pustaka R yang Diinstal
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| dasar | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.4 | car | 3.0-0 |
| carData | 3.0-1 | caret | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | kelas | 7.3-14 | cli | 1.0.0 |
| klaster | 2.0.7-1 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.4 | DBI | 0,8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1,0-8 | desc | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-70 |
| gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0,7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0,3 | lattice | 0.20-35 |
| lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | Peta | 3.3.0 | maptools | 0.9-2 |
| MASS | 7.3-50 | Matrix | 1.2-14 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | methods | 3.4.4 | mgcv | 1.8-24 |
| mime | 0,5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
| rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0,7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.1 | SparseM | 1.77 |
| spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| survival | 2.42-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | alat | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
Pustaka Java dan Scala yang dipasang(versi kluster Scala 2.11)
| ID Grup | ID Artefak | Versi |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | inti | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0,8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | collector | 0,7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.3 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
| org.apache.parquet | parquet-column | 1.8.3-databricks2 |
| org.apache.parquet | parquet-common | 1.8.3-databricks2 |
| org.apache.parquet | parquet-encoding | 1.8.3-databricks2 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
| org.apache.parquet | parquet-jackson | 1.8.3-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | tidak digunakan | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |