Bagikan melalui

Databricks Runtime 4.2 (EoS)

  • Artikel

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Databricks merilis versi ini pada Juli 2018.

Penting

Rilis ini tidak digunakan lagi pada tanggal 5 Januari 2019. Untuk informasi selengkapnya tentang kebijakan dan jadwal penghentian Runtime Databricks, lihat Siklus hidup dukungan Databricks.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 4.2, yang didukung oleh Apache Spark.

Delta Lake

Databricks Runtime 4.2 menambahkan peningkatan kualitas dan fungsionalitas utama ke Delta Lake. Databricks sangat menyarankan agar semua pelanggan Delta Lake meningkatkan ke runtime baru. Rilis ini tetap dalam Pratinjau Pribadi, tetapi ini merupakan rilis kandidat untuk mengantisipasi rilis ketersediaan umum (GA) yang akan datang.

Fitur baru

  • Aliran sekarang dapat langsung ditulis ke tabel Delta yang terdaftar di metastore Apache Hive menggunakan df.writeStream.table(...).

Penyempurnaan

  • Semua perintah dan kueri Delta Lake sekarang mendukung rujukan ke tabel menggunakan jalurnya sebagai pengenal:

    delta.`<path-to-table>`

    Sebelumnya OPTIMIZE dan VACUUM diperlukan penggunaan literal string non-standar (yaitu, '<path-to-table>').

  • DESCRIBE HISTORY sekarang menyertakan ID penerapan dan dipesan terbaru ke yang tertua secara default.

Perbaikan bug

  • Pemfilteran berdasarkan predikat partisi sekarang beroperasi dengan benar bahkan ketika kasus predikat berbeda dari tabel.
  • Memperbaiki kolom AnalysisException yang hilang saat melakukan pemeriksaan kesetaraan pada kolom boolean di tabel Delta (yaitu, booleanValue = true).
  • CREATE TABLE tidak lagi memodifikasi log transaksi saat membuat penunjuk ke tabel yang ada. Ini mencegah konflik yang tidak perlu dengan aliran bersamaan dan memungkinkan pembuatan penunjuk metastore ke tabel di mana pengguna hanya memiliki akses baca ke data.
  • Memanggil display() pada aliran dengan data dalam jumlah besar tidak lagi menyebabkan OOM di driver.
  • AnalysisException Sekarang dilemparkan ketika jalur Delta Lake yang mendasarinya dihapus, daripada mengembalikan hasil kosong.
  • Konfigurasi Delta Lake yang memerlukan versi protokol tertentu (misalnya, appendOnly) hanya dapat diterapkan ke tabel pada versi yang sesuai.
  • Saat memperbarui status tabel Delta, garis keturunan panjang sekarang secara otomatis terpotong untuk menghindari StackOverFlowError.

Streaming Terstruktur

Fitur baru

  • Delta Lake dan Kafka sekarang sepenuhnya mendukung Trigger.Once. Batas tarif sebelumnya (misalnya maxOffsetsPerTrigger atau maxFilesPerTrigger) yang ditentukan sebagai opsi sumber atau default hanya dapat mengakibatkan eksekusi sebagian dari data yang tersedia. Opsi ini sekarang diabaikan saat Trigger.Once digunakan, memungkinkan semua data yang tersedia saat ini diproses.

  • Menambahkan streaming foreachBatch() baru di Scala, di mana Anda dapat menentukan fungsi untuk memproses output setiap microbatch menggunakan operasi DataFrame. Hal ini memungkinkan berikut:

    • Menggunakan sumber data batch yang ada untuk menulis output microbatch ke sistem yang belum memiliki sumber data streaming (misalnya, gunakan penulis batch Cassandra pada setiap output batch mikro).
    • Menulis output microbatch ke beberapa lokasi.
    • Menerapkan Operasi DataFrame dan tabel pada output microbatch yang belum didukung dalam streaming DataFrames (misalnya, output microbatch upsert ke dalam tabel Delta).

  • Menambahkan fungsi from_avro/to_avro untuk membaca dan menulis data Avro dalam DataFrame, bukan hanya file, mirip dengan from_json/to_json. Lihat Membaca dan Menulis Data Avro di Mana Saja untuk detail lebih lanjut.

  • Menambahkan dukungan untuk streaming foreach() di Python (sudah tersedia di Scala). Lihat dokumentasi foreach dan foreachBatch untuk detail selengkapnya.

Penyempurnaan

  • Pembuatan hasil output yang lebih cepat dan/atau pembersihan status dengan operasi stateful (mapGroupsWithState, gabungan aliran, agregasi streaming, dropDuplicates streaming) ketika tidak ada data dalam aliran input.

Perbaikan bug

  • Memperbaiki bug kebenaran SPARK-24588 dalam stream-stream bergabung di mana bergabung melaporkan hasil yang lebih sedikit ketika ada repartisi eksplisit sebelum itu (misalnya, df1.repartition("a", "b").join(df, "a")).

Perubahan dan Peningkatan Lainnya

  • Menambahkan dukungan untuk perintah Tolak SQL untuk kluster yang diaktifkan kontrol akses tabel. Pengguna sekarang dapat menolak izin tertentu dengan cara yang sama seperti yang dapat diberikan sebelumnya. Izin yang ditolak akan menggantikan yang diberikan. Admin dan Pemilik objek tertentu masih selalu diizinkan untuk melakukan tindakan.
  • Sumber data Azure Data Lake Storage Gen2 baru yang menggunakan driver ABFS. Lihat Menyambungkan ke Azure Data Lake Storage Gen2 dan Blob Storage
  • Meningkatkan beberapa pustaka Python yang terinstal:
    • pip: dari 10.0.0b2 hingga 10.0.1
    • setuptools: dari 39.0.1 hingga 39.2.0
    • tornado: 5.0.1 hingga 5.0.2
    • wheel: 0.31.0 hingga 0.31.1
  • Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Diinstal.
  • Dukungan Parket yang ditingkatkan
  • Apache ORC dari 1.4.1 hingga 1.4.3 yang Ditingkatkan

Apache Spark

Databricks Runtime 4.2 menyertakan Apache Spark 2.3.1. Rilis ini mencakup semua perbaikan dan peningkatan yang disertakan dalam Databricks Runtime 4.1 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-24588] Streaming gabungan harus mewajibkan HashClusteredPartitioning dari turunan
  • [SPARK-23931][SQL] Buat arrays_zip dalam fungsi.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] Perbaiki codegen saat pemisahan diperlukan untuk arrays_zip
  • [SPARK-24578][CORE] Tutup ukuran buffer nio yang dikembalikan ke sub-wilayah
  • [SPARK-24613][SQL] Cache dengan UDF tidak dapat dicocokkan dengan cache dependen berikutnya
  • [SPARK-24583][SQL] Jenis skema yang salah di InsertIntoDataSourceCommand
  • [SPARK-24565][SS] Tambahkan API untuk dalam Streaming Terstruktur untuk mengekspos baris output dari setiap titik mikro sebagai DataFrame
  • [SPARK-24396][SS][PYSPARK] Tambahkan Penulis Foreach Streaming Terstruktur untuk Python
  • [SPARK-24216][SQL] Spark TypedAggregateExpression menggunakan getSimpleName yang tidak aman di Scala
  • [SPARK-24452][SQL][CORE] Hindari kemungkinan luapan dalam int add atau multiple
  • [SPARK-24187][R][SQL] Tambahkan fungsi array_join ke SparkR
  • [SPARK-24525][SS] Menyediakan opsi untuk membatasi jumlah baris dalam MemorySink
  • [SPARK-24331][SPARKR][SQL] Menambahkan arrays_overlap, array_repeat, map_entries ke SparkR
  • [SPARK-23931][SQL] Menambahkan fungsi array_join ke SparkR SQL
  • [SPARK-24186][R][SQL] mengubah fungsi mundur dan concat ke fungsi koleksi di R
  • [SPARK-24198][SPARKR][SQL] Menambahkan fungsi slice ke SparkR
  • [SPARK-23920][SQL] menambahkan array_remove untuk menghapus semua elemen yang sama dengan elemen dari array
  • [SPARK-24197][SPARKR][SQL] Menambahkan fungsi array_sort ke SparkR
  • [SPARK-24340][CORE] Bersihkan file manajer blok disk non-shuffle setelah eksekutor keluar pada kluster mandiri
  • [SPARK-23935][SQL] Menambahkan fungsi map_entries
  • [SPARK-24500][SQL] Pastikan aliran terwujud selama transformasi Pohon.
  • [SPARK-24495][SQL] EnsureRequirement mengembalikan rencana yang salah saat menyusun ulang kunci yang sama
  • [SPARK-24506][UI] Menambahkan filter UI ke tab yang ditambahkan setelah pengikatan
  • [SPARK-24468][SQL] Menangani skala negatif saat menyesuaikan presisi untuk operasi desimal
  • [SPARK-24313][SQL] Perbaiki evaluasi yang ditafsirkan operasi pengumpulan untuk tipe kompleks
  • [SPARK-23922][SQL] Menambahkan fungsi arrays_overlap
  • [SPARK-24369][SQL] Penanganan yang benar untuk beberapa agregasi berbeda yang memiliki kumpulan argumen yang sama
  • [SPARK-24455][CORE] memperbaiki kesalahan ketik di komentar TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] Menambahkan TaskContext.getLocalProperty(key) di Python
  • [SPARK-24117][SQL] Menyatukan getSizePerRow
  • [SPARK-24156][SS] Memperbaiki kesalahan yang pulih dari kegagalan dalam batch tanpa data
  • [SPARK-24414][UI] Menghitung jumlah tugas yang benar untuk suatu tahap.
  • [SPARK-23754][PYTHON] Meningkatkan kembali StopIteration dalam kode klien
  • [SPARK-23991][DSTREAMS] Memperbaiki kehilangan data saat penulisan WAL gagal di allocateBlocksToBatch
  • [SPARK-24373][SQL] Menambahkan AnalysisBarrier ke turunan RelationalGroupedDataset dan KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Label pandas_udf sebagai Eksperimental
  • [SPARK-24334] Memperbaiki kondisi balapan di ArrowPythonRunner menyebabkan shutdown yang tidak bersih dari pengalokasi memori Arrow
  • [SPARK-19112][CORE] Menambahkan shortCompressionCodecNames yang hilang ke konfigurasi.
  • [SPARK-24244][SPARK-24368][SQL] Hanya meneruskan kolom yang diperlukan ke parser CSV
  • [SPARK-24366][SQL] Meningkatkan pesan kesalahan untuk mengetik konversi
  • [SPARK-24371][SQL] Menambahkan isInCollection dalam DataFrame API untuk Scala an…
  • [SPARK-23925][SQL] Menambahkan fungsi koleksi array_repeat
  • [MINOR] Menambahkan konfigurasi SSL port di toString dan scaladoc
  • [SPARK-24378][SQL] Memperbaiki contoh yang salah dari fungsi date_trunc
  • [SPARK-24364][SS] Mencegah InMemoryFileIndex gagal jika jalur file tidak ada
  • [SPARK-24257][SQL] LongToUnsafeRowMap menghitung ukuran baru mungkin salah
  • [SPARK-24348][SQL] Memperbaiki kesalahan element_at”
  • [SPARK-23930][SQL] Menambahkan fungsi irisan
  • [SPARK-23416][SS] Menambahkan metode berhenti khusus untuk ContinuousExecution.
  • [SPARK-23852][SQL] Peningkatan ke Parket 1.8.3
  • [SPARK-24350][SQL] Memperbaiki ClassCastException dalam fungsi “array_position”
  • [SPARK-24321][SQL] Mengekstrak kode umum dari Divide/Remainder ke sifat dasar
  • [SPARK-24309][CORE] AsyncEventQueue harus berhenti saat interupsi.
  • [SPARK-23850][SQL] Menambahkan konfigurasi terpisah untuk redaksi opsi SQL.
  • [SPARK-22371][CORE] Mengembalikan Tidak Ada alih-alih melemparkan pengecualian ketika akumulator adalah sampah yang dikumpulkan.
  • [SPARK-24002][SQL] Tugas tidak dapat diserialkan yang disebabkan oleh org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Menambahkan fungsi array_union
  • [SPARK-23923][SQL] Menambahkan fungsi kardinalitas
  • [SPARK-24159][SS] Mengaktifkan batch mikro tanpa data untuk streaming mapGroupswithState
  • [SPARK-24158][SS] Mengaktifkan batch tanpa-data untuk gabungan streaming
  • [SPARK-24157][SS] Mengaktifkan batch tanpa data di MicroBatchExecution untuk agregasi dan deduplikasi streaming
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet menghasilkan statistik yang salah untuk STRING
  • [SPARK-17916][SQL] Memperbaiki string kosong yang diurai sebagai null saat nullValue diatur.
  • [SPARK-23916][SQL] Menambahkan fungsi array_join
  • [SPARK-23408][SS] Menyinkronkan tindakan AddData berturut-turut di Streaming*JoinSuite
  • [SPARK-23780][R] Gagal menggunakan pustaka googleVis dengan SparkR baru
  • [SPARK-23821][SQL] Fungsi pengumpulan: ratakan
  • [SPARK-23627][SQL] Menyediakan isEmpty dalam Dataset
  • [SPARK-24027][SQL] Mendukung MapType dengan StringType untuk kunci sebagai tipe root menurut from_json
  • [SPARK-24035][SQL] Sintaks SQL untuk Pivot - perbaiki peringatan antlr
  • [SPARK-23736][SQL] Memperluas fungsi concat untuk mendukung kolom array
  • [SPARK-24246][SQL] Meningkatkan AnalysisException dengan mengatur penyebabnya saat tersedia
  • [SPARK-24263][R] SparkR java check break dengan openjdk
  • [SPARK-24262][PYTHON] Memperbaiki kesalahan ketik dalam pesan kesalahan pencocokan tipe UDF
  • [SPARK-24067][STREAMING][KAFKA] Mengizinkan offset non-berturut-turut
  • [SPARK-10878][CORE] Memperbaiki kondisi ras ketika beberapa klien menyelesaikan artefak secara bersamaan
  • [SPARK-19181][CORE] Memperbaiki “SparkListenerSuite.local metrics” yang bersisik
  • [SPARK-24068] Menyebarkan opsi DataFrameReader ke Text datasource pada menyimpulkan skema
  • [SPARK-24214][SS] Berbaikan toJSON untuk StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Menambahkan fungsi array_position/element_at
  • [SPARK-23926][SQL] Memperluas fungsi terbalik untuk mendukung argumen ArrayType
  • [SPARK-23809][SQL] SparkSession aktif harus ditetapkan oleh getOrCreate
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Mendukung pengkodean khusus untuk file json
  • [SPARK-24035][SQL] sintaks SQL untuk Pivot
  • [SPARK-24069][R] Menambahkan fungsi array_min / array_max
  • [SPARK-23976][CORE] Mendeteksi luapan panjang di UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] Memulihkan titik akhir API “/version”.
  • [SPARK-24128][SQL] Sebutkan opsi konfigurasi dalam kesalahan CROSS JOIN implisit
  • [SPARK-23291][SQL][R] Substr R tidak boleh mengurangi posisi awal sebesar 1 saat memanggil API Scala
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper harus mendefinisikan isZero dengan benar
  • [SPARK-24168][SQL] WindowExec seharusnya tidak mengakses SQLConf di sisi eksekutor
  • [SPARK-24143]filter blok kosong saat mengonversi mapstatus menjadi pasangan (blockId, ukuran)
  • [SPARK-23917][SPARK-23918][SQL] Menambahkan fungsi array_max/array_min
  • [SPARK-23905][SQL] Menambahkan hari kerja UDF
  • [SPARK-16406][SQL] Meningkatkan kinerja LogicalPlan.resolve
  • [SPARK-24013][SQL] Menghapus kompres yang tidak perlu dalam ApproximatePercentile
  • [SPARK-23433][CORE] Penyelesaian tugas zombie yang terlambat memperbarui semua tugas
  • [SPARK-24169][SQL] JsonToStructs seharusnya tidak mengakses SQLConf di sisi eksekutor
  • [SPARK-24133][SQL] Backport [SPARK-24133]Memeriksa overflow integer saat mengubah ukuran WritableColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec seharusnya tidak mengakses SQLConf di sisi eksekutor
  • [SPARK-24133][SQL] Memeriksa overflow integer saat mengubah ukuran WritableColumnVectors
  • [SPARK-24085][SQL] Kueri mengembalikan UnsupportedOperationException saat subkueri skalar hadir dalam ekspresi partisi
  • [SPARK-24062][THRIFT SERVER] Perbaikan enkripsi SASL tidak dapat mengaktifkan masalah di server hemat
  • [SPARK-23004][SS] Memastikan StateStore.commit dipanggil hanya sekali dalam tugas agregasi streaming
  • [SPARK-23188][SQL] Membuat ukuran batch pembaca columar vektor dapat dikonfigurasi
  • [SPARK-23375][SPARK-23973][SQL] Menghilangkan Sortir yang tidak perlu di Optimizer
  • [SPARK-23877][SQL] Menggunakan predikat filter untuk memangkas partisi dalam kueri khusus metadata
  • [SPARK-24033][SQL] Perbaikan Ketidakcocokan bingkai jendela yang specifiedwindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] Peningkatan Orc Apache menjadi 1.4.3
  • Perbaikan masalah pemeriksaan null yang hilang yang lebih mungkin dipicu oleh pembuatan kode ekspresi yang efisien, dan diekspos oleh SPARK-23986 karena membuat kode sumber yang dihasilkan sedikit lebih lama, dan itu memicu jalur kode yang bermasalah (pemisahan kode oleh Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] pertukaran harus menyalin data sebelum shuffle non-serial
  • [SPARK-24021][CORE] memperbaiki bug di pembaruan BlacklistTracker’s updateBlacklistForFetchFailure
  • [SPARK-24014][PYSPARK] Menambahkan metode onStreamingStarted ke StreamingListener
  • [SPARK-23963][SQL] Menangani kolom dalam kueri dengan benar pada tabel Hive berbasis teks
  • [SPARK-23948] Memicu pendengar pekerjaan mapstage di submitMissingTasks
  • [SPARK-23986][SQL] freshName dapat menghasilkan nama yang tidak unik
  • [SPARK-23835][SQL] Menambahkan cek tidak-nol ke deserialisasi argumen Tuples

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime Bahasa Umum 4.2.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 untuk kluster Python 2 dan 3.5.2 untuk kluster Python 3.
  • R: R versi 3.4.4 (15-03-2018)
  • Kluster GPU: Pustaka GPU NVIDIA berikut diinstal:
    • Driver Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptography 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect=4.8.0 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
permintaan 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets=5.0.5 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Pustaka R yang dipasang

Pustaka Versi Pustaka Versi Pustaka Versi
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
dasar 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 car 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 kelas 7.3-14 cli 1.0.0
klaster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1,0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0,3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 Peta 3.3.0 maptools 0.9-2
MASS 7.3-50 Matrix 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0,5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 alat 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Pustaka Java dan Scala yang dipasang(versi kluster Scala 2.11)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx collector 0,7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark tidak digunakan 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52