Bagikan melalui

Databricks Runtime 7.6 (EoS)

  • Artikel

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Databricks merilis versi ini pada Februari 2021.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 7.6, didukung oleh Apache Spark 3.0.

Untuk bantuan tentang migrasi dari Databricks Runtime 6.x, lihat Panduan migrasi Databricks Runtime 7.x (EoS).

Fitur baru

Penanganan evolusi skema JSON yang lebih baik di Auto Loader

Saat memuat data JSON, perilaku defaultnya adalah bahwa bidang yang bukan bagian dari skema asli dihilangkan secara diam-diam. Sekarang dengan Auto Loader, Anda dapat mengatur opsi JSON unparsedDataColumn untuk menentukan nama kolom, yang akan digunakan untuk menyimpan semua bidang baru sebagai string JSON. Misalnya, dengan mengatur

.option("unparsedDataColumn", "_unparsed_data")

hasilnya akan memiliki kolom _unparsed_data, di mana bidang baru disimpan sebagai string JSON. Bidang baru ini nantinya dapat diurai untuk diproses lebih lanjut. Jika tidak ada bidang baru, nilai kolom null.

Dukungan untuk pembacaan file yang ditimpa di Auto Loader

Anda kini dapat mengonfigurasi aliran agar perubahan file direktori input dapat dilakukan untuk menimpa data yang ada. Atur .option("cloudFiles.allowOverwrites", "true"). Untuk detailnya, lihat Apa itu Pemuat Otomatis?.

Penyempurnaan

Pengklusteran multi-dimensi yang lebih baik dan performa melompati data dengan OPTIMIZE ZORDER

Operasi OPTIMIZE ZORDER kini menggunakan kurva pengisian-ruang Hilbert secara default. Pendekatan ini memberikan karakteristik pengklusteran yang lebih baik daripada Z-order dalam dimensi yang lebih tinggi. Untuk tabel Delta yang menggunakan OPTIMIZE ZORDER dengan banyak kolom, kurva Hilbert dapat mempercepat kueri baca dengan melewati lebih banyak data daripada urutan Z. Untuk detailnya, lihat Melewatkan data untuk Delta Lake.

Peningkatan performa untuk beberapa operasi MERGE hanya dengan klausul MATCHED

Anda mungkin mendapatkan performa yang lebih baik dalam operasi MERGE yang hanya memiliki klausa MATCHED dengan kondisi klausul.

Penyelarasan ukuran file otomatis untuk tabel Delta yang banyak menggunakan MERGE(Pratinjau Publik)

Tabel Delta yang menjalankan operasi MERGE berulang kali (misalnya, upsert secara berkelanjutan dari data perubahan tingkat baris) menulis ulang file berulang kali untuk memperbarui data. Tabel tersebut dapat memperoleh manfaat dari memiliki file yang lebih kecil daripada yang diproduksi secara default oleh operasi tata letak data seperti OPTIMIZE, Tulis yang Dioptimalkan, dan Pemadatan Otomatis. Dengan Databricks Runtime 7.6, Anda dapat secara otomatis mendeteksi tabel MERGE-heavy dan menyetel ukuran file. Hubungi dukungan Databricks atau tim akun Azure Databricks Anda untuk informasi selengkapnya tentang cara mengaktifkan fitur ini.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • sertifikasi ditingkatkan dari 2020.6.20 ke 2020.12.5.
    • koala ditingkatkan dari 1.4.0 ke 1.5.0.
    • python-apt ditingkatkan dari 1.6.5+ ubuntu0.3 ke 1.6.5+ ubuntu0.4
  • Pustaka R yang ditingkatkan:
    • nlme dari 3.1-150 ke 3.1-151.
  • Pustaka Java yang ditingkatkan:
    • azure-data-lake-store-sdk ditingkatkan dari 2.3.8 menjadi 2.3.9.
  • Build 8 OpenJDK ditingkatkan ke Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).

Apache Spark

Databricks Runtime 7.6 menyertakan Apache Spark 3.0.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 7.5 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-33740] [SQL]konfigurasi hadoop di hive-site.xml dapat menggantikan hadoop yang sudah ada sebelumnya
  • [SPARK-33822] [SQL] Menggunakan metode CastSupport.cast di HashJoin
  • [SPARK-33398] Memperbaiki pemuatan model pohon sebelum Spark 3.0
  • [SPARK-33029] [CORE][WEBUI] Memperbaiki halaman eksekutor UI yang salah menandai driver sebagai daftar blokir
  • [SPARK-34012] [SQL] Mempertahankan perilaku yang konsisten saat konfigurasi spark.sqllegacy.parser.havingWithoutGroupByAsWhere benar dengan panduan migrasi
  • [SPARK-33635] [SS] Menyesuaikan urutan pemeriksaan di KafkaTokenUtil.needTokenUpdate untuk memperbaiki regresi performa
  • [SPARK-33900] [WEBUI] Menmpilkan ukuran / catatan baca acak dengan benar ketika hanya remotebytesread yang tersedia
  • [SPARK-33593] [SQL] Pembaca vektor mendapat data yang salah dengan nilai partisi biner
  • [SPARK-31170] [SQL] Spark SQL Cli akan mematuhi hive-site.xml dan spark.sql.warehouse.dir
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN dan BenchmarkQueryTest tidak menampilkan kode subkueri
  • [SPARK-33786] [SQL] Tingkat penyimpanan untuk cache harus dihormati saat nama tabel diubah.
  • [SPARK-33841] [CORE] Memperbaiki masalah pekerjaan yang menghilang terputus-putus dari SHS dengan beban tinggi
  • [SPARK-33480] [SQL] tidak mengekspos data pengguna dalam pesan kesalahan
  • [SPARK-33756] [SQL] Menjadikan MapIterator BytesToBytesMap idempoten
  • [SPARK-33774] [UI][CORE]”Back to Master” menghasilkan kesalahan 500 di kluster Standalone
  • [SPARK-33733] [SQL] PullOutNondeterministic akan memeriksa dan mengumpulkan bidang deterministik
  • [SPARK-33670] [SQL] Verifikasi bahwa penyedia partisi adalah Apache Hive di v1 SHOW TABLE EXTENDED
  • [SPARK-33788] [SQL][3.1][2.4] Menampilkan NoSuchPartitionsException dari HiveExternalCatalog.dropPartitions()
  • [SPARK-33819] [CORE] SingleFileEventLogFileReader/RollingEventLogFilesFileReader harus package private
  • [SPARK-33742] [SQL] Menampilkan PartitionsAlreadyExistException dari HiveExternalCatalog.createPartitions()
  • [SPARK-32110] [SQL] menormalkan bilangan float khusus di HyperLogLog++
  • [SPARK-33071][SPARK-33536] [SQL] Jangan ubah konstruktor Alias untuk tidak merusak konektor snowflake
  • [SPARK-32680] [SQL] Jangan lakukan Pra-proses pada CTAS V2 dengan Kueri yang Belum Terselesaikan
  • [SPARK-33520] [ML][PYSPARK] Cherry-pick: membuat CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer mendukung estimator/evaluator backend Python
  • [SPARK-33592] [ML][PYTHON]Pyspark ML Validator params di estimatorParamMaps mungkin hilang setelah disimpan dan dimuat ulang
  • [SPARK-33667] [SQL] Hormati konfigurasi spark.sql.caseSensitive sambil menyelesaikan spesifikasi partisi di v1 SHOW PARTITIONS
  • [SPARK-33141] [SQL] Mengambil konfigurasi SQL saat membuat tampilan permanen
  • [SPARK-33636] [PYTHON][ML] Menambahkan labelsArray ke PySpark StringIndexer
  • [SPARK-33629] [PYTHON]Membuat konfigurasi spark.buffer.size terlihat di sisi driver
  • [SPARK-33389] [SQL] Membuat kelas internal SparkSession selalu menggunakan SQLConf
  • [SPARK-33071][SPARK-33536] [SQL] Hindari mengubah dataset_id LogicalPlan dalam join() untuk tidak merusak DetectAmbiguousSelfJoin
  • [SPARK-33551] [SQL] Tidak gunakan pembaca acak khusus untuk partisi ulang
  • [SPARK-33432] [SQL] Pengurai SQL harus menggunakan SQLConf yang aktif
  • [SPARK-33588] [SQL] Hormati konfigurasi spark.sql.caseSensitive sambil menyelesaikan spesifikasi partisi di v1 SHOW TABLE EXTENDED
  • [SPARK-33440] [CORE] Gunakan tanda waktu saat ini dengan log peringatan di HadoopFSDelegationTokenProvider ketika tanggal penerbitan token tidak disiapkan dengan benar
  • [SPARK-33494] [SQL][AQE] Jangan gunakan pembaca acak lokal untuk partisi ulang

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 7.6.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R versi 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 5.12.2020 cffi 1.14.0
chardet 3.0.4 cryptography 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
titik masuk 0,3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.5.0
matplotlib +3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.7.0 patsy 0.5.1 pexpect=4.8.0 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.4 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 permintaan 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 six 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets=5.0.5 4.3.3
unattended-upgrades 0.1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada 02-11-2020.

Pustaka Versi Pustaka Versi Pustaka Versi
askpass 1.1 assertthat 0.2.1 backports 1.1.10
dasar 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 kelas 7.3-17
cli 2.1.0 clipr 0.7.1 klaster 2.1.0
codetools 0.2-18 colorspace 1.4-1 commonmark 1.7
compiler 3.6.3 config 0,3 covr 3.5.1
cpp11 0.2.3 crayon 1.3.4 crosstalk 1.1.0.1
curl 4.3 data.table 1.13.2 datasets 3.6.3
DBI 1.1.0 dbplyr 1.4.4 desc 1.2.0
devtools 2.3.2 diffobj 0.3.2 digest 0.6.27
dplyr 0.8.5 DT 0.16 ellipsis 0.3.1
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.1
foreign 0.8-76 forge 0.2.0 fs 1.5.0
generics 0.1.0 ggplot2 3.3.2 GH 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.13.1
glue 1.4.2 gower 0.2.2 graphics 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.2 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.13
jsonlite 1.7.1 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8 lazyeval 0.2.2 lifecycle 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-53 Matrix 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-33 mime 0,9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-151 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.3 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.4
prodlim 2019.11.13 kemajuan 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.4.0 purrr 0.3.4
r2d3 0.2.3 R6 2.5.0 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.4.0 readxl 1.3.1
recipes 0.1.14 rematch 1.0.1 rematch2 2.1.2
remotes 2.2.0 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.8
rmarkdown 2.5 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.1 rstudioapi 0.11 rversions 2.0.2
rvest 0.3.6 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 bentuk 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.4.0 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.5 stats 3.6.3 stats4 3.6.3
stringi 1.5.3 stringr 1.4.0 survival 3.2-7
sys 3.4 tcltk 3.6.3 TeachingDemos 2.10
testthat 3.0.0 tibble 3.0.4 tidyr 1.1.2
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.27 alat 3.6.3 usethis 1.6.3
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.4 viridisLite 0.3.0 waldo 0.2.2
whisker 0,4 withr 2.3.0 xfun 0.19
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark tidak digunakan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52