Bagikan melalui

Databricks Runtime 8.4 (EoS)

  • Artikel

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 8.4 dan Databricks Runtime 8.4 Photon, didukung oleh Apache Spark 3.1.2. Databricks merilis versi ini pada Juli 2021. Photon berada pada Pratinjau Umum.

Fitur dan peningkatan baru

Fitur dan peningkatan Delta Lake

Umpan data perubahan tabel Delta (GA)

Umpan data perubahan tabel Delta sekarang tersedia secara umum. Ini mewakili perubahan tingkat baris antara versi tabel yang berbeda. Saat diaktifkan, informasi tambahan direkam mengenai perubahan tingkat baris untuk setiap operasi penulisan pada tabel. Harap lihat Menggunakan umpan data perubahan Delta Lake pada Azure Databricks.

Memuat tabel Delta bersama dengan mudah menggunakan Databricks Runtime

Konektor Apache Spark untuk Delta Sharing 0.1.0 kini ada di Databricks Runtime. Anda dapat memuat tabel bersama menggunakan spark.read.format("deltaSharing").load(uri) secara langsung tanpa melampirkan konektor Delta Sharing Spark ke kluster Anda.

Lebih banyak manfaat tabel dari pemangkasan file dinamis

Fitur pemangkasan file dinamis telah disetel untuk dipicu pada tabel dengan file yang lebih sedikit. Lihat Pemangkasan file dinamis.

Performa yang lebih baik dengan penyetelan ukuran file target otomatis

Ukuran file target untuk tabel Delta kini disetel secara otomatis berdasarkan ukuran tabel. Sebelumnya, ukuran file target untuk OPTIMIZE dan OPTIMIZE ZORDER BY adalah sebesar 1 GB. Dengan penyetelan otomatis berdasarkan ukuran tabel, tabel Delta hingga 2,56 TB akan menggunakan 256 MB sebagai ukuran target. Tabel yang lebih besar dari 10 TB akan menggunakan 1 GB seperti sebelumnya. Tabel antara ukuran ini akan menggunakan ukuran target yang bertumbuh secara proporsional dengan ukuran tabel. Lihat Mengonfigurasi Delta Lake untuk mengontrol ukuran file data.

Lebih banyak cara untuk menentukan tabel di DeltaTable.forName

DeltaTable.forName kini mendukung penggunaan delta.`<path>` untuk mengidentifikasi tabel.

Penulisan multi-tabel streaming yang kuat menggunakan foreachBatch

Penulisan streaming Delta idempotent dalam perintah foreachBatch() sekarang didukung. Untuk detailnya, lihat Penulisan multi-tabel idempotent.

Peningkatan performa kueri baca di beban kerja tertentu karena titik pemeriksaan yang disetel

Delta Lake kini menyetel seberapa sering titik pemeriksaan ditingkatkan. Alih-alih melakukan pemeriksaan pada interval tetap, Delta sekarang secara dinamis menyesuaikan frekuensi titik pemeriksaan berdasarkan pemicu peristiwa tertentu. Hal ini meningkatkan performa kueri baca di beban kerja tempat beberapa pengoptimalan data tidak dapat diterapkan sebelumnya. Untuk menggunakan pengoptimalan ini, tingkatkan pekerjaan Anda yang ditulis ke Delta Lake ke Databricks Runtime 8.4. Lihat Mengaktifkan titik pemeriksaan yang disempurnakan untuk kueri Streaming Terstruktur.

Membuat GroupState untuk menguji fungsi Structured Streaming yang ditentukan pengguna

Hingga saat ini, hanya mesin Structured Streaming yang dapat membuat instans GroupState. Oleh karena itu, setiap pengujian unit dari fungsi yang ditentukan pengguna perlu menjalankan kueri streaming di Apache Spark.

Sekarang Anda dapat membuat instans GroupState menggunakan TestGroupState.create(…). Ini memungkinkan Anda menguji fungsi yang ditentukan pengguna dalam pengujian unit sederhana yang tidak memerlukan eksekusi Spark. Lihat Menguji fungsi pembaruan mapGroupsWithState. Secara khusus, fungsi ini menghasilkan instans jenis TestGroupState yang memperluas antarmuka GroupState dengan metode tambahan untuk mengintrospeksi status internal setelah fungsi yang ditentukan pengguna diterapkan.

Fitur dan peningkatan Auto Loader

Mengonfigurasi pengisian ulang untuk menangkap file yang tidak ada

Auto Loader kini mendukung melakukan pengisian ulang secara asinkron untuk menangkap file apa pun yang mungkin terlewatkan dengan pemberitahuan file. Sistem penyimpanan file dan sistem pemberitahuan tidak dapat menjamin pengiriman peristiwa file 100%. Oleh karena itu Databricks merekomendasikan untuk mengaktifkan pengisian ulang berkala untuk menangkap semua data Anda dengan Auto Loader. Gunakan opsi cloudFiles.backfillInterval untuk menjadwalkan pengisian ulang reguler atas data Anda. Lihat Opsi Auto Loader Umum.

Jejak penyimpanan terikat untuk aliran volume besar

Anda kini dapat mengonfigurasi Auto Loader agar kedaluwarsa dan menghapus entri di RocksDB untuk membatasi jejak penyimpanannya di lokasi titik pemeriksaan. Databricks tidak merekomendasikan mengatur parameter ini kecuali Anda menyerap data dengan urutan jutaan file per jam. Mengatur opsi ini dengan salah atau mencoba menyetelnya dapat menyebabkan banyak masalah kualitas data, seperti file yang belum diproses diabaikan atau duplikat beberapa file, bukan sekali pemrosesan dengan tepat. Untuk detailnya, lihat Retensi acara.

Konfigurasi sederhana dengan dukungan tanpa jalur

Wadah S3

Anda kini dapat menyediakan antrean SQS yang menerima peristiwa dari beberapa jalur atau wadah S3. Jika Anda memberikan URL antrean SQS, opsi path tidak diperlukan untuk kasus penggunaan ini. Auto Loader mengonstruksi jalur S3 menggunakan wadah dan kunci dari peristiwa S3. Jika Anda ingin membaca file melalui titik pemasangan DBFS, Anda dapat menggunakan cloudFiles.pathRewrites untuk mengubah awalan jalur ke DBFS. Ini tidak diperlukan kecuali Anda mengakses data di akun yang berbeda dengan AssumeRole.

Lihat Opsi pemberitahuan file.

Kontainer Azure Data Lake Storage Gen2

Anda kini dapat menyediakan antrean Azure yang menerima peristiwa dari beberapa kontainer. Jika Anda memberikan nama antrean Azure, opsi path tidak diperlukan. Secara default, Auto Loader mengonstruksi jalur Azure Data Lake Storage Gen2 menggunakan kontainer dan kunci dalam peristiwa file. Jika Anda ingin menggunakan jalur WASB atau titik pemasangan DBFS, Anda dapat menggunakan cloudFiles.pathRewrites untuk mengubah awalan jalur.

Lihat Opsi pemberitahuan file.

Peningkatan konektor

  • Konektor Snowflake Spark telah diperbarui ke v2.9.0.
  • Enkripsi KMS kini didukung dalam pernyataan UNLOAD konektor Redshift.

Perbaikan bug

  • Memperbaiki masalah untuk kluster yang diaktifkan dengan kontrol akses tabel di mana select * from folder dapat menampilkan konten folder meskipun pengguna tidak memiliki izin akses file.
  • Pemilik database non-admin kini dapat menjatuhkan tabel yang tidak dimiliki dalam database. Ini memperbaiki masalah ketika pemilik database tidak dapat menjatuhkan database jika tabel yang tidak dimiliki ada dalam database.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • certifi ditingkatkan dari 2020.12.5 ke 2021.5.30
    • distill ditingkatkan dari 0.3.1 ke 0.3.2
    • koalas ditingkatkan dari 1.8.0 ke 1.8.1
    • protobuf ditingkatkan dari 3.17.0 ke 3.17.3
  • Pustaka R yang ditingkatkan:
    • base dari 4.0.4 ke 4.1.0
    • boot dari 1.3-27 ke 1.3-28
    • class dari 7.3-18 ke 7.3-19
    • cluster dari 2.1.1 ke 2.1.2
    • compiler dari 4.0.4 ke 4.1.0
    • datasets dari 4.0.4 ke 4.1.0
    • graphics dari 4.0.4 ke 4.1.0
    • grDevices dari 4.0.4 ke 4.1.0
    • grid dari 4.0.4 ke 4.1.0
    • KernSmooth dari 2.23-18 ke 2.23-20
    • lattice dari 0.20-41 ke 0.20-44
    • MASS dari 7.3-53.1 ke 7.3-54
    • Matrix dari 1.3-2 ke 1.3-3
    • metode dari 4.0.4 ke 4.1.0
    • mgcv dari 1.8-33 ke 1.8-35
    • nnet dari 7.3-15 ke 7.3-16
    • paralel dari 4.0.4 ke 4.1.0
    • Rserve dari 1.8-7 ke 1.8-8
    • SparkR dari 3.1.1 ke 3.1.2
    • splines dari 4.0.4 ke 4.1.0
    • stats dari 4.0.4 ke 4.1.0
    • stats4 dari 4.0.4 ke 4.1.0
    • survival dari 3.2-7 ke 3.2-11
    • tcltk dari 4.0.4 ke 4.1.0
    • tools dari 4.0.4 ke 4.1.0
    • utils dari 4.0.4 ke 4.1.0
  • Pustaka Java yang ditingkatkan:
    • snowflake-jdbc dari 3.12.8 ke 3.13.3
    • spark-snowflake_2.12 dari 2.8.1-spark_3.0 ke 2.9.0-spark_3.1
    • RoaringBitmap dari 0.9.0 ke 0.9.14
    • shims dari 0.9.0 ke 0.9.14
    • rocksdbjni dari 6.2.2 ke 6.20.3

Apache Spark

Databricks Runtime 8.4 menyertakan Apache Spark 3.1.2. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 8.3 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-35792] [SQL] Tampilan tidak akan menangkap konfigurasi yang digunakan di RelationConversions
  • [SPARK-35700] [SQL] Baca tabel orc char/varchar ketika dibuat dan ditulis oleh sistem eksternal
  • [SPARK-35636] [SQL] Kunci Lambda tidak akan dirujuk di luar fungsi lambda
  • [SPARK-35800] [Cherry Pick] Meningkatkan kelayakan uji GroupState dengan memperkenalkan TestGroupState
  • [SPARK-35391] Memperbaiki kebocoran memori di ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] Memperbaiki pengukuran metrik allUpdatesTimeMs di FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] Menghapus dependensi enumerasi subkelas StateStoreCustomMetric
  • [SPARK-35791 [SQL] Merilis peta yang sedang berlangsung dengan benar untuk gabungan NULL-aware ANTI
  • [SPARK-35695] [SQL] Mengumpulkan metrik yang diamati dari sub-pohon eksekusi yang di-cache dan adaptif
  • [SPARK-35767] [SQL] Menghindari eksekusi rencana turunan dua kali di CoalesceExec
  • [SPARK-35746] [UI] Memperbaiki taskid di garis waktu peristiwa tugas halaman tahap
  • [SPARK-35673] [SQL] Memperbaiki petunjuk yang ditentukan pengguna dan petunjuk yang tidak dikenal dalam kueri bertumpuk.
  • [SPARK-35714] [CORE] Perbaikan bug untuk kebuntuan selama matinya eksekutor
  • [SPARK-35689] [SS] Menambahkan peringatan log saat keyWithIndexToValue mengembalikan nilai null
  • [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint tidak akan mengabaikan file shuffle khusus indeks selama pembaruan
  • [SPARK-35643] [PYTHON] Memperbaiki referensi ambigu di kolom functions.py()
  • [SPARK-35652] [SQL] joinWith pada dua tabel yang dihasilkan dari yang sama
  • [SPARK-35679] [SQL] instantToMicros meluap
  • [SPARK-35602] [SS] Memperbarui skema status untuk dapat menerima JSON berdurasi panjang
  • [SPARK-35653] [SQL] Memperbaiki kegagalan jalur yang ditafsirkan CatalystToExternalMap untuk Peta dengan kelas kasus sebagai kunci atau nilai
  • [SPARK-35296] [SQL] Mengizinkan Dataset.observe berfungsi meskipun CollectMetricsExec dalam satu tugas menangani beberapa partisi.
  • [SPARK-35659] [SS] Menghindari penulisan null untuk StateStore
  • [SPARK-35665] [SQL] Menyelesaikan UnresolvedAlias di CollectMetrics
  • [SPARK-35558] Mengoptimalkan pengambilan multi-kuantil
  • [SPARK-35621] [SQL] Menambahkan pemangkasan id aturan untuk aturan TypeCoercion
  • [SPARK-35077] [SQL] Memigrasi ke transformWithPruning untuk aturan pengoptimal sisa
  • [SPARK-35610] [CORE] Memperbaiki kebocoran memori yang diperkenalkan oleh kait mati berhenti Executor
  • [SPARK-35544] [SQL] Menambahkan pemangkasan pola pohon ke aturan Analyzer
  • [SPARK-35566] [SS] Memperbaiki baris output StateStoreRestoreExec
  • [SPARK-35454] [SQL][3.1] Satu LogicalPlan dapat mencocokkan beberapa id himpunan data
  • [SPARK-35538] [SQL] Memigrasikan situs panggilan transformAllExpressions untuk menggunakan transformAllExpressionsWithPruning
  • [SPARK-35106] [Core][SQL] Menghindari kegagalan penggantian nama yang disebabkan oleh tidak adanya direktori tujuan
  • [SPARK-35287] [SQL] Mengizinkan RemoveRedundantProjects untuk menyimpan ProjectExec yang menghasilkan UnsafeRow untuk DataSourceV2ScanRelation
  • [SPARK-35495] [R] Mengubah pemelihara SparkR untuk CRAN
  • [SPARK-27991] [CORE] Menunda permintaan pengambilan di Netty OOM
  • [SPARK-35171] [R] Mendeklarasikan paket penurunan sebagai dependensi paket SparkR
  • [SPARK-35454] [SQL] Satu LogicalPlan dapat mencocokkan beberapa id himpunan data
  • [SPARK-35298] [SQL] Memigrasi ke transformWithPruning untuk aturan dalam Optimizer.scala
  • [SPARK-35480] [SQL] Membuat percentile_approx bekerja dengan pivot
  • [SPARK-35093] [SQL] AQE sekarang menggunakan rencana NewQueryStage sebagai kunci untuk mencari pertukaran yang di-cache untuk digunakan kembali
  • [SPARK-35146] [SQL]Memigrasi ke transformWithPruning atau resolveWithPruning untuk aturan di finishAnalysis.scala
  • [SPARK-35411] [SQL] Menambahkan informasi penting saat membuat serial TreeNode ke json
  • [SPARK-35294] [SQL] Menambahkan pemangkasan traversal pohon dalam aturan dengan file khusus di bawah pengoptimal
  • [SPARK-34897] [SQL][3.1] Mendukung skema rekonsiliasi berdasarkan indeks setelah pemangkasan kolom bersarang
  • [SPARK-35144] [SQL] Memigrasi ke transformWithPruning untuk aturan objek
  • [SPARK-35155] [SQL] Menmbahkan pemangkasan id aturan ke aturan Analyzer
  • [SPARK-35382] [PYTHON] Memperbaiki masalah nama variabel lambda dalam fungsi DataFrame bersarang di API Python.
  • [SPARK-35359] [SQL] Menyisipkan data dengan jenis data char/varchar akan gagal ketika panjang data melebihi batasan
  • [SPARK-35381] [R] Memperbaiki masalah nama variabel lambda dalam fungsi urutan yang lebih tinggi bersarang di API R

Lingkungan sistem

  • Sistem Operasi: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30. {0} cffi 1.14.3 chardet 3.0.4
cryptography 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.2 docutils 0.15.2
titik masuk 0,3 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
patsy 0.5.1 pexpect=4.8.0 4.8.0 pickleshare 0.7.5
pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
permintaan 2.24.0 retrying 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 six 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets=5.0.5 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada 02-11-2020.

Pustaka Versi Pustaka Versi Pustaka Versi
askpass 1.1 assertthat 0.2.1 backports 1.2.1
dasar 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 kelas 7.3-19
cli 2.2.0 clipr 0.7.1 klaster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 informasi masuk 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
Gert 1.0.2 ggplot2 3.3.2 GH 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrix 1.3-3
memoise 1.1.0 methods 4.1.0 mgcv 1.8-35
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
kemajuan 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 bentuk 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 alat 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark tidak digunakan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52