Bagikan melalui

Databricks Runtime 7.3 LTS (EoS)

  • Artikel

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Databricks merilis versi ini pada September 2020. Dinyatakan Dukungan Jangka Panjang (LTS) pada Oktober 2020.

Catatan rilis berikut memberikan informasi tentang Runtime bahasa umum Databricks 7.3, didukung oleh Spark Apache 3.0.

Untuk bantuan tentang migrasi dari Databricks Runtime 6.x, lihat Panduan migrasi Databricks Runtime 7.x (EoS).

Fitur baru

Fitur dan peningkatan Delta Lake

Rilis ini memberikan fitur dan peningkatan Delta Lake sebagai berikut:

Di bagian ini

Optimasi performa Delta Lake secara signifikan mengurangi overhead

Rilis ini memungkinkan kumpulan pengoptimalan yang mengurangi overhead operasi Delta Lake dari detik menjadi puluhan milidetik. Untuk mengaktifkan pengoptimalan ini, Anda harus meningkatkan semua kluster yang menulis ke dan membaca tabel Delta Anda ke Databricks Runtime 7.3 LTS atau yang lebih baru.

Untuk detail dan peringatan, lihat Titik pemeriksaan yang disempurnakan untuk kueri latensi rendah.

Metrik klon sekarang tersedia

Metrik operasi klon sekarang direkam dan dapat dilihat saat Anda menjalankan DESCRIBE HISTORY. Untuk detailnya, lihat Meninjau detail tabel Delta Lake dengan menjelaskan detail.

Perbaikan MERGE INTO Delta Lake

  • Penggabungan sekarang mendukung sejumlah MATCHED dan NOT MATCHED klausul.
  • Gabungkan kueri yang menghapus baris yang cocok tanpa syarat tidak lagi melempar kesalahan pada beberapa kecocokan.

Tentukan posisi awal untuk sumber Streaming Terstruktur Delta Lake

Konektor Delta Lake Structured Streaming sekarang mendukung opsi startingVersion dan startingTimestamp untuk menentukan titik awal kueri streaming tanpa memproses seluruh tabel. Untuk detailnya, lihat Menentukan posisi awal.

Eksekusi kueri adaptif

Eksekusi kueri adaptif (AQE) adalah kerangka kerja pengoptimalan ulang kueri yang secara dinamis menyesuaikan rencana kueri selama eksekusi berdasarkan statistik runtime bahasa umum yang dikumpulkan. AQE diaktifkan secara default di LTS Runtime bahasa umum Databricks 7.3. Anda sekarang dapat mencoba semua fitur AQE. Untuk detailnya, lihat Eksekusi kueri adaptif.

Penyempurnaan

Loader Otomatis

  • Sekarang mendukung Azure Data Lake Storage Gen1 dalam mode daftar direktori
  • Jika format file text atau binaryFile Anda tidak perlu lagi memberikan skema. Karena dua format file memiliki skema tetap, Auto Loader dapat secara otomatis menggunakan skema tetap.

Pengendalian panjang kolom pada konektor Azure Synapse Analytics baru

Anda sekarang dapat menggunakan parameter baru maxbinlength untuk mengontrol panjang kolom BinaryType. Parameter ini diterjemahkan sebagai VARBINARY(maxbinlength).

Default sebelumnya (tidak dapat dikonfigurasi) adalah VARBINARY(MAX), yang menyebabkan masalah saat membuat tabel dengan kolom biner dan skema pengindeksan default. Secara khusus, pembuatan tabel akan gagal, karena indeks penyimpan kolom default tidak mendukung MAX dalam string dan kolom biner.

konversi pandas ke Spark DataFrame disederhanakan

Untuk mengaktifkan peningkatan berikut, atur konfigurasi Spark spark.databricks.execution.pandasZeroConfConversion.enabled:

  • createDataFrame(pandas_df) telah dioptimalkan di Azure Databricks.
  • Peringatan ditampilkan jika konversi tidak dapat dilakukan secara efisien atau tidak mungkin.

Baru maxResultSize dalam toPandas() panggilan

Pengaturan konfigurasi baru (spark.databricks.driver.localMaxResultSize) memungkinkan Anda mengontrol maxResultSize panggilan df.toPandas(). Batas untuk sementara diubah menjadi max(spark.driver.maxResultSize, spark.databricks.driver.localMaxResultSize). Nilai default untuk pengaturan konfigurasi adalah ukuran memori fisik dibagi dengan 4.

Peringatan ditampilkan jika ukuran hasil df.toPandas() lebih besar dari spark.driver.maxResultSize dan kurang dari spark.databricks.driver.localMaxResultSize.

Pengaturan konfigurasi ini hanya memengaruhi DataFrame yang dibuat oleh df.toPandas() panggilan.

Catatan

spark.databricks.driver.localMaxResultSize berlaku hanya ketika spark.databricks.execution.pandasZeroConfConversion.enabled benar.

Debuggabilitas pandas dan UDF PYSpark

Ketika UDF dari pandas atau PySpark gagal dalam notebook Azure Databricks, pesan kesalahan kini mencantumkan nomor baris tempat kode gagal dan informasi mengenai penyebab utamanya.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • koalas ditingkatkan dari 1.1.0 menjadi 1.2.0.
    • pyarrow ditingkatkan dari 0.15.1 menjadi 1.0.1.
  • Meningkatkan beberapa pustaka R yang dipasang. Lihat Pustaka R yang Diinstal.
  • OpenJDK 8 build diubah dari Ubuntu OpenJDK 8 menjadi Zulu OpenJDK 8.

Apache Spark

Runtime bahasa umum Databricks 7.3 menyertakan Apache Spark 3.0.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 7.2 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-32302][SPARK-28169] [SQL] Sebagian menurunkan predikat disjunctive melalui Gabungan/Partisi
  • [SPARK-32337] [Bahasa Permintaan Terstruktur] Tampilkan paket awal dalam untai (karakter) pohon rencana AQE
  • [SPARK-30662] Mengembalikan perubahan API untuk HasBlockSize
  • [SPARK-32620] [SQL] Reset metrik numPartitions saat DPP diaktifkan
  • [SPARK-32646] [SQL] Pushdown predikat ORC harus bekerja dengan analisis kasus-tidak sensitif
  • [SPARK-32676] [ML] Perbaiki penembolokan ganda di KMeans/BiKMeans
  • [SPARK-32092] [ML][PYSPARK] Menghapus kode terkait foldCol
  • [SPARK-32594] [SQL] Menimpa get()dan menggunakan hari Julian di DaysWritable
  • [SPARK-32608] [SQL] Nilai DELIMIT FORMAT BARIS Transformasi Skrip harus memformat nilai
  • [SPARK-32092] [ML][PYSPARK] Memperbaiki parameter yang tidak disalin di CrossValidatorModel.copy(), read() dan write()
  • [SPARK-32672] [SQL] Memperbaiki kerusakan data dalam kompresi set bit boolean
  • [SPARK-32663] [CORE] Hindari penutupan individu TransportClients yang dikumpulkan (yang harus ditutup melalui kumpulan)
  • opsi jalur [SPARK-32621] [SQL] dapat menyebabkan masalah saat menyimpulkan skema dalam sumber data CSV/JSON
  • [SPARK-28863] [SQL] Jangan gunakan kembali rencana fisik
  • [SPARK-32608] [SQL] Nilai DELIMIT FORMAT BARIS Transformasi Skrip harus memformat nilai
  • [SPARK-28863] [SQL] Perkenalkan AlreadyPlanned untuk mencegah analisis ulang V1FallbackWriters
  • [SPARK-32451] [R] Mendukung Apache Arrow 1.0.0
  • [SPARK-32652] [SQL] ObjectSerializerPruning gagal untuk RowEncoder
  • [SPARK-32518] [CORE] RoughGrainedSchedulerBackend.maxNumConcurrentTasks harus mempertimbangkan semua jenis sumber daya
  • [SPARK-32559] [SQL] Perbaiki logika trim di UTF8String.toInt/toLong tidak menangani karakter non-ASCII dengan benar
  • [SPARK-32625] [SQL] Pesan kesalahan log saat kembali ke mode interpreter
  • [SPARK-32543] [R] Hapus penggunaan panah::as_tibble di SparkR
  • [SPARK-31703] [SQL] Parquet RLE float/double dibaca secara tidak benar pada platform endian besar
  • [SPARK-32586] [SQL] Perbaiki pesan kesalahan NumberFormatException saat ansi diaktifkan
  • [SPARK-32456] [SS] Periksa yang Berbeda dengan mengasumsikannya sebagai Agregat untuk Streaming Terstruktur
  • [SPARK-32576] [SQL] Mendukung jenis PostgreSQL bpchar dan array jenis karakter
  • [SPARK-32559] [SQL] Perbaiki logika trim di UTF8String.toInt/toLong tidak menangani karakter non-ASCII dengan benar
  • [SPARK-32560] [SQL] Tingkatkan pesan pengecualian di InsertIntoHiveTable.processInsert
  • [SPARK-32546] [SQL] Dapatkan nama tabel langsung dari tabel Apache Hive
  • [SPARK-32529] [CORE] Perbaiki pemindaian log Historyserver yang dibatalkan oleh perubahan status aplikasi
  • [SPARK-32003] [CORE] Ketika layanan acak eksternal digunakan, keluaran yang tidak terdaftar untuk eksekutor pada kegagalan pengambilan setelah eksekutor hilang
  • [SPARK-32160] [CORE][PYSPARK] Ubah nama konfigurasi untuk beralih izinkan/melarang SparkContext di eksekutor
  • [SPARK-32160] [CORE][PYSPARK] Tambahkan konfigurasi untuk beralih izinkan/melarang untuk membuat SparkContext di eksekutor
  • [SPARK-32083] [SQL] AQE tidak boleh menyatukan partisi untuk SinglePartition
  • [SPARK-32509] [SQL] Abaikan Filter Sejati DPP yang tidak digunakan dalam Kanonisasi
  • [SPARK-32332] [SQL] Mendukung pertukaran berkolom
  • [PERCIKAN-32227] Perbaiki bug regresi di load-spark-env.cmd dengan Spark 3.0.0
  • [SPARK-32478] [R][SQL] Pesan kesalahan untuk menunjukkan ketidakcocokan skema dalam gapply dengan vektorisasi Arrow
  • [SPARK-32030] [SQL] Mendukung klausa MATCHED dan NOT MATCHED tanpa batas dalam MERGE INTO di pengurai SQL
  • [SPARK-32175] [CORE] Perbaiki urutan antara inisialisasi untuk ExecutorPlugin dan memulai utas heartbeat
  • [SPARK-32283] [CORE] Kryo harus mendukung beberapa pendaftar pengguna
  • [SPARK-32424] [SQL] Perbaiki perubahan data diam untuk penguraian stempel waktu jika terjadi luapan f
  • [SPARK-32430] [SQL] Perluas SparkSessionExtensions untuk menyuntikkan aturan ke dalam persiapan tahap kueri AQE
  • [SPARK-32310] [ML][PYSPARK] ML paritas nilai default params
  • [SPARK-32237][SQL] Selesaikan petunjuk di CTE
  • [SPARK-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight hanya boleh menulis ulang atribut untuk simpul leluhur dari rencana konflik
  • [SPARK-32364] [SQL] Tambahkan keMap untuk mengembalikan OriginalMap dan dokumentasi
  • [SPARK-32364] [SQL] Gunakan CaseInsensitiveMap untuk opsi DataFrameReader/Writer
  • [SPARK-32377] [SQL] CaseInsensitiveMap harus deterministik untuk penambahan
  • [SPARK-32365] [SQL] Tambahkan kondisi batas untuk indeks negatif di regexp_extract
  • [SPARK-32368] [SQL] pathGlobFilter, rekursiveFileLookup dan basePath harus menghormati ketidakpekaan kasus
  • [SPARK-32344] [SQL] Expr yang tidak ternilai diatur ke FIRST/LAST ignoreNullsExpr dalam agregat yang berbeda
  • [SPARK-32234] [SQL] Perintah Spark sql gagal memilih tabel orc

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaanLTS Runtime bahasa umum Databricks 7.3.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R versi 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 cryptography 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
titik masuk 0,3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.2.0
matplotlib +3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.5.2 patsy 0.5.1 pexpect=4.8.0 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 permintaan 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 six 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets=5.0.5 4.3.3
unattended-upgrades 0.1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2020-07-14.

Pustaka Versi Pustaka Versi Pustaka Versi
askpass 1.1 assertthat 0.2.1 backports 1.1.8
dasar 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
boot 1.3-25 brew 1.0-6 broom 0.7.0
callr 3.4.3 caret 6.0-86 cellranger 1.1.0
chron 2.3-55 kelas 7.3-17 cli 2.0.2
clipr 0.7.0 klaster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1.7 compiler 3.6.3
config 0,3 covr 3.5.0 crayon 1.3.4
crosstalk 1.1.0.1 curl 4.3 data.table 1.12.8
datasets 3.6.3 DBI 1.1.0 dbplyr 1.4.4
desc 1.2.0 devtools 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0.14 ellipsis 0.3.1
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
foreign 0.8-76 forge 0.2.0 fs 1.4.2
generics 0.0.2 ggplot2 3.3.2 GH 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.12.5
glue 1.4.1 gower 0.2.2 graphics 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1.29
labeling 0,3 later 1.1.0.1 lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 lifecycle 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-52 Matrix 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-32 mime 0,9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-149 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.3
prodlim 2019.11.13 kemajuan 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
recipes 0.1.13 rematch 1.0.1 rematch2 2.1.2
remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0.11 rversions 2.0.2
rvest 0.3.5 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 bentuk 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 survival 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2.10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.24 alat 3.6.3 usethis 1.6.1
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 whisker 0,4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark tidak digunakan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52