Bagikan melalui

Databricks Runtime 8.0 (EoS)

  • Artikel

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Databricks merilis versi ini pada Maret 2021.

Catatan rilis berikut berisi informasi tentang Databricks Runtime 8.0, didukung oleh Apache Spark 3.1.1.

Fitur baru

Databricks Runtime 8.0 menyertakan Apache Spark 3.1.1. Untuk detailnya, lihat Apache Spark.

Penyempurnaan

Delta sekarang menjadi format default ketika format tidak ditentukan

Databricks Runtime 8.0 mengubah format default untuk delta membuatnya lebih mudah untuk membuat tabel Delta. Saat Anda membuat tabel menggunakan perintah SQL, atau {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API, dan Anda tidak menentukan format, format defaultnya adalah delta.

Dengan Delta Lake, Anda mendapatkan performa yang lebih baik atas Parquet, keandalan data yang lebih baik dengan validasi skema yang kaya, kendala kualitas, dan jaminan transaksional. Dengan Delta Lake, Anda dapat menyederhanakan alur data Anda dengan streaming terstruktur terpadu dan pemrosesan batch pada satu sumber data.

Meskipun Databricks merekomendasikan penggunaan Delta Lake untuk menyimpan data Anda, Anda mungkin memiliki alur kerja lama yang memerlukan migrasi ke Delta Lake. Untuk informasi tentang migrasi alur kerja yang ada, lihat Apa itu Delta Lake?.

Interval pemicu default Streaming Terstruktur Baru mengurangi biaya

Jika Anda tidak mengatur interval pemicu menggunakan Trigger.ProcessingTime dalam kueri streaming Anda, interval diatur ke 500 ms. Sebelumnya, interval default adalah 0 ms. Perubahan ini harus mengurangi jumlah pemicu kosong dan mengurangi biaya untuk penyimpanan cloud seperti listing.

Gunakan fungsi transformasi LDA dengan passthrough info masuk(Pratinjau Umum)

Anda sekarang dapat menggunakan fungsi transformasi LDA pada kluster yang dikonfigurasi untuk menggunakan passthrough info masuk untuk autentikasi.

Kluster pengguna tunggal yang dikonfigurasi dengan passthrough info masuk tidak lagi memerlukan sistem file tepercaya (Pratinjau Umum)

Anda tidak perlu lagi mengonfigurasi sistem file lokal sebagai sistem file tepercaya saat menggunakan kluster standar atau pekerjaan yang dikonfigurasi untuk penelusuran info masuk dengan satu pengguna. Perubahan ini menghilangkan pembatasan sistem file yang tidak perlu saat menjalankan pekerjaan pada satu kluster pengguna.

Peningkatan pustaka

Apache Spark

Databricks Runtime 8.0 menyertakan Apache Spark 3.1.1.

Di bagian ini:

Core dan Spark SQL

Sorotan

Peningkatan kompatibilitas SQL ANSI

  • Dukungan jenis data char/varchar (SPARK-33480)
  • Mode ANSI: kesalahan runtime alih-alih mengembalikan null (SPARK-33275)
  • Mode ANSI: aturan konversi eksplisit sintaks baru (SPARK-33354)
  • Tambahkan perintah standar SQL SET TIME ZONE (SPARK-32272)
  • Menyatukan buat tabel sintaks SQL (SPARK-31257)
  • Menyatukan tampilan suhu dan perilaku tampilan permanen (SPARK-33138)
  • Daftar kolom dukungan dalam INSERT pernyataan (SPARK-32976)
  • Mendukung komentar bertanda kurung dan berlapis ANSI (SPARK-28880)

peningkatan performa

  • Pembacaan data acak lokal host tanpa layanan acak (SPARK-32077)
  • Hapus jenis redundan sebelum node repartisi (SPARK-32276)
  • Sebagian mendorong ke bawah predikat (SPARK-32302, SPARK-32352)
  • Tekan ke bawah filter melalui perluasan (SPARK-33302)
  • Dorong lebih banyak predikat yang mungkin melalui Gabung melalui konversi CNF (SPARK-31705)
  • Hapus shuffle dengan mempertahankan partisi output dari hash siaran bergabung (SPARK-31869)
  • Hapus shuffle dengan meningkatkan pemesanan ulang tombol gabungan (SPARK-32282)
  • Hapus shuffle dengan menormalkan partisi dan pengurutan output (SPARK-33399)
  • Peningkatan gabungan hash acak (SPARK-32461)
    • Pertahankan hash yang dikocok bergabung dengan partisi samping build (SPARK-32330)
    • Pertahankan hash join (BHJ dan SHJ) stream side ordering (SPARK-32383)
    • Gabungkan tabel wadah dengan gabungan pengurutan (SPARK-32286)
    • Tambahkan pembuat kode untuk gabungan hash yang dikocok (SPARK-32421)
    • Dukungan penuh gabungan luar dalam gabungan hash yang dikocok (SPARK-32399)
  • Dukungan penghapusan subekspresi dalam proyek dengan kodegen seluruh tahap (SPARK-33092)
  • Dukungan penghapusan subekspresi dalam ekspresi bersyarat (SPARK-33337)
  • Dukungan penghapusan sub ekspresi untuk evaluasi ekspresi yang ditafsirkan (SPARK-33427)
  • Dukungan eliminasi subekspresi untuk predikat yang ditafsirkan (SPARK-33540)
  • Aturan pengoptimal lainnya
    • Aturan ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Aturan EliminateNullAwareAntiJoin (SPARK-32573)
    • Aturan EliminateAggregateFilter (SPARK-32540)
    • Aturan UnwrapCastInBinaryComparison (SPARK-32858)
    • Aturan DisableUnnecessaryBucketedScan (SPARK-32859)
    • Aturan CoalesceBucketsInJoin (SPARK-31350)
    • Pangkas bidang bersarang yang tidak perlu dari hasilkan tanpa proyek (SPARK-29721)
    • Pangkas bidang bersarang yang tidak perlu dari agregat dan perluasan (SPARK-27217)
    • Pangkas bidang bersarang yang tidak perlu dari repartisi demi ekspresi dan bergabung (SPARK-31736)
    • Pangkas bidang bersarang yang tidak perlu di atas variasi kosmetik (SPARK-32163)
    • Pangkas bidang bersarang yang tidak perlu dari jendela dan urutkan (SPARK-32059)
    • Optimalkan ukuran CreateArray/CreateMap menjadi ukuran turunan (SPARK-33544)

Peningkatan ekstentibilitas

  • Tambahkan SupportsPartitions API di DataSourceV2 (SPARK-31694)
  • Tambahkan SupportsMetadataColumns API di DataSourceV2 (SPARK-31255)
  • Membuat serialisasi cache SQL dapat dicolokkan (SPARK-32274)
  • Memperkenalkan purge opsi dalam TableCatalog.dropTable untuk katalog v2 (SPARK-33364)

Peningkatan konektor

  • Peningkatan pushdown filter partisi Apache Hive Metastore (SPARK-33537)
    • Dukungan berisi, memulai dan diakhiri dengan filter (SPARK-33458)
    • Filter dukungan menurut jenis tanggal (SPARK-33477)
    • Filter dukungan menurut tidak sama (SPARK-33582)
  • Parket
    • Izinkan jenis kompleks dalam jenis kunci peta di Parquet (SPARK-32639)
    • Izinkan menyimpan dan memuat INT96 dalam Parquet tanpa pemeringkupasan ulang (SPARK-33160)
  • ORC
  • CSV
    • Manfaatkan sumber data teks SQL selama inferensi skema CSV (SPARK-32270)
  • JSON
    • Dukungan pushdown filter di sumber data JSON (SPARK-30648)
  • JDBC
  • Avro
    • Dukungan pushdown filter di sumber data Avro(SPARK-32346)

Penyempurnaan fitur

Perubahan penting lainnya

  • Menyediakan Fungsi Pencarian di situs dokumen Spark (SPARK-33166)
  • Tingkatkan Apache Arrow ke 2.0.0 (SPARK-33213)
  • Aktifkan API waktu Java 8 di server hemat (SPARK-31910)
  • Aktifkan API waktu Java 8 di UDFs (SPARK-32154)
  • Overflow periksa jumlah agregat dengan desimal (SPARK-28067)
  • Perbaiki tabrakan komit dalam mode menimpa partisi dinamis (SPARK-27194, SPARK-29302)
  • Menghapus referensi ke slave, blacklist dan whitelist (SPARK-32004, SPARK-32036, SPARK-32037)
  • Hapus pemeriksaan ukuran hasil tugas untuk tahap peta acak (SPARK-32470)
  • Generalisasi ExecutorSource untuk mengekspos skema sistem file yang diberikan pengguna (SPARK-33476)
  • Tambahkan StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Mengekspos metrik memori eksekutor di UI web untuk pelaksana (SPARK-23432)
  • Mengekspos metrik memori eksekutor pada tingkat tahap, di tab Tahapan (SPARK-26341)
  • Perbaiki secara eksplisit diatur spark.ui.port dalam mode kluster YARN (SPARK-29465)
  • Tambahkan spark.submit.waitForCompletion konfigurasi untuk mengontrol keluarnya pengiriman percikan dalam mode kluster Mandiri (SPARK-31486)
  • Siapkan yarn.Client untuk mencetak link langsung ke stdout/stderr driver (SPARK-33185)
  • Memperbaiki kebocoran memori saat gagal menyimpan potongan siaran (SPARK-32715)
  • Membuat BlockManagerMaster batas waktu detak jantung driver dapat dikonfigurasi (SPARK-34278)
  • Menyatukan dan menyelesaikan perilaku cache (SPARK-33507)

PySpark

Project Zen

  • Project Zen: Meningkatkan kegunaan Python (SPARK-32082)
  • Dukungan petunjuk jenis PySpark (SPARK-32681)
  • Mendesain ulang dokumentasi PySpark (SPARK-31851)
  • Migrasi ke gaya dokumentasi NumPy (SPARK-32085)
  • Opsi penginstalan untuk Pengguna PyPI (SPARK-32017)
  • Un-deprecate menyimpulkan skema DataFrame dari daftar dict (SPARK-32686)
  • Sederhanakan pesan pengecualian dari Python UDFs (SPARK-33407)

Perubahan penting lainnya

  • Menonaktifkan panggilan PythonUDF deterministik (SPARK-33303)
  • Dukungan fungsi urutan yang lebih tinggi dalam fungsi PySpark (SPARK-30681)
  • Sumber data dukungan v2x tulis API (SPARK-29157)
  • Dukungan percentile_approx dalam fungsi PySpark (SPARK-30569)
  • Dukungan inputFiles di PySpark DataFrame (SPARK-31763)
  • Dukungan withField di Kolom PySpark (SPARK-32835)
  • Dukungan dropFields di Kolom PySpark (SPARK-32511)
  • Dukungan nth_value dalam fungsi PySpark (SPARK-33020)
  • Dukungan acosh, asinh dan atanh (SPARK-33563)
  • Metode getCheckpointDir dukungan di PySpark SparkContext (SPARK-33017)
  • Dukungan untuk mengisi null untuk kolom yang hilang di unionByName (SPARK-32798)
  • Perbarui cloudpickle ke v1.5.0 (SPARK-32094)
  • Tambahkan MapType dukungan untuk PySpark dengan Arrow (SPARK-24554)
  • DataStreamReader.table dan DataStreamWriter.toTable (SPARK-33836)

Streaming Terstruktur

peningkatan performa

  • Cache diambil daftar file di luar maxFilesPerTrigger sebagai file yang belum dibaca (SPARK-30866)
  • Sederhanakan logika pada sumber aliran file dan sink log metadata (SPARK-30462)
  • Hindari membaca log metadata ringkas dua kali jika kueri dimulai ulang dari batch ringkas (SPARK-30900)

Penyempurnaan fitur

  • Tambahkan DataStreamReader.table API (SPARK-32885)
  • Tambahkan DataStreamWriter.toTable API (SPARK-32896)
  • Gabungan aliran semi-aliran kiri (SPARK-32862)
  • Aliran-aliran luar penuh bergabung (SPARK-32863)
  • Menyediakan opsi baru untuk memiliki retensi pada file output (SPARK-27188)
  • Tambahkan Dukungan Server Riwayat Streaming Terstruktur Spark (SPARK-31953)
  • Memperkenalkan validasi skema Status di antara restart kueri (SPARK-27237)

Perubahan penting lainnya

  • Memperkenalkan validasi skema untuk penyimpanan status streaming (SPARK-31894)
  • Dukungan untuk menggunakan codec kompresi yang berbeda di state store (SPARK-33263)
  • Konektor Kafka menunggu tak terbatas karena metadata tidak pernah diperbarui (SPARK-28367)
  • Peningkatan Kafka ke 2.6.0 (SPARK-32568)
  • Dukungan Pagination untuk halaman UI Streaming Terstruktur (SPARK-31642, SPARK-30119)
  • Informasi status di UI Streaming Terstruktur (SPARK-33223)
  • Informasi kesenjangan tanda air di UI Streaming Terstruktur (SPARK-33224)
  • Mengekspos informasi metrik kustom status pada SS UI (SPARK-33287)
  • Menambahkan metrik baru mengenai jumlah baris yang lebih lambat dari tanda air (SPARK-24634)

MLlib

Sorotan

  • LinearSVC blockify vektor input (SPARK-30642)
  • Vektor input blockify LogisticRegression (SPARK-30659)
  • LinearRegression blockify vektor input (SPARK-30660)
  • Vektor input blokifikasi AFT (SPARK-31656)
  • Tambahkan dukungan untuk aturan asosiasi di ML (SPARK-19939)
  • Menambahkan ringkasan pelatihan untuk LinearSVCModel (SPARK-20249)
  • Tambahkan ringkasan ke RandomForestClassificationModel (SPARK-23631)
  • Menambahkan ringkasan pelatihan ke FMClassificationModel (SPARK-32140)
  • Tambahkan ringkasan ke MultilayerPerceptronClassificationModel (SPARK-32449)
  • Tambahkan FMClassifier ke SparkR (SPARK-30820)
  • Tambahkan pembungkus SparkR LinearRegression (SPARK-30818)
  • Tambahkan pembungkus FMRegressor ke SparkR (SPARK-30819)
  • Tambahkan pembungkus SparkR untuk vector_to_array (SPARK-33040)
  • instans blockify adaptif - LinearSVC (SPARK-32907)
  • Buat CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer mendukung estimator/evaluator backend Python (SPARK-33520)
  • Meningkatkan performa ML ALS recommendForAll oleh GEMV(SPARK-33518)
  • Tambahkan UnivariateFeatureSelector (SPARK-34080)

Perubahan penting lainnya

  • Ringkasan komputasi GMM dan distribusi pembaruan dalam satu pekerjaan (SPARK-31032)
  • Hapus dependensi ChiSqSelector pada mllib. ChiSqSelectorModel (SPARK-31077)
  • Meratakan data hasil pengujian di testChiSquare (SPARK-31301)
  • Pengoptimalan keyDistance MinHash (SPARK-31436)
  • Pengoptimalan KMeans berdasarkan ketidaksetaraan segitiga (SPARK-31007)
  • Tambahkan dukungan berat badan di ClusteringEvaluator (SPARK-31734)
  • Tambahkan getMetrics di Evaluator (SPARK-31768)
  • Tambahkan dukungan berat instans di LinearRegressionSummary (SPARK-31944)
  • Tambahkan kolom lipatan yang ditentukan pengguna ke CrossValidator (SPARK-31777)
  • ML paritas nilai default params dalam fitur dan penyetelan (SPARK-32310)
  • Perbaiki penembolokan ganda di KMeans/BiKMeans (SPARK-32676)
  • pengoptimalan transformasi belakang (SPARK-33111)
  • Pengoptimalan transformasi FeatureHasher (SPARK-32974)
  • Tambahkan array_to_vector fungsi untuk kolom kerangka data (SPARK-33556)
  • ML paritas nilai default params dalam klasifikasi, regresi, pengelompokan, dan fpm (SPARK-32310)
  • Ringkasan.totalIterations lebih besar dari maxIters (SPARK-31925)
  • optimasi prediksi model pohon (SPARK-32298)

SparkR

  • Tambahkan antarmuka SparkR untuk fungsi urutan yang lebih tinggi (SPARK-30682)
  • Dukungan untuk mengisi null untuk kolom yang hilang di unionByName (SPARK-32798)
  • Dukungan denganColumn dalam fungsi SparkR (SPARK-32946)
  • Dukungan timestamp_seconds dalam fungsi SparkR (SPARK-32949)
  • Dukungan nth_value dalam fungsi SparkR (SPARK-33030)
  • Versi Panah Minimum menabrak hingga 1.0.0 (SPARK-32452)
  • Dukungan array_to_vector dalam fungsi SparkR (SPARK-33622)
  • Dukungan acosh, asinh dan atanh (SPARK-33563)
  • Dukungan from_avro dan to_avro (SPARK-33304)

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 8.0.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (diperbarui dari 3.8.6 pada pembaruan pemeliharaan 26 Mei 2021)
  • R: R versi 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 5.12.2020 cffi 1.14.3 chardet 3.0.4
cryptography 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
titik masuk 0,3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect=4.8.0 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
permintaan 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
six 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets=5.0.5 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada 02-11-2020.

Pustaka Versi Pustaka Versi Pustaka Versi
askpass 1.1 assertthat 0.2.1 backports 1.2.1
dasar 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 kelas 7.3-17
cli 2.2.0 clipr 0.7.1 klaster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 informasi masuk 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
Gert 1.0.2 ggplot2 3.3.2 GH 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 Matrix 1.2-18
memoise 1.1.0 methods 4.0.3 mgcv 1.8-33
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
kemajuan 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 bentuk 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 alat 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark tidak digunakan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52