Bagikan melalui

Databricks Runtime 10.5 (EoS)

  • Artikel

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 10.5, didukung oleh Apache Spark 3.2.1. Databricks merilis versi ini pada Bulan Mei 2022.

Fitur dan peningkatan baru

SQL: Fungsi baru to_number dan try_to_number

Fungsi to_number dan fungsi try_to_number memungkinkan Anda mengonversi representasi karakter angka dalam berbagai format ke DECIMAL.

SQL: Fungsi baru try_sum

Tidak seperti sum, fungsi agregat try_sum mengembalikan NULL alih-alih kesalahan saat terjadi luapan.

SQL: dari Update ke fungsi ceil, ceiling, dan floor

Fungsi ceil, fungsi ceiling, dan fungsi floor sekarang mendukung argumen opsional kedua untuk menentukan skala target.

SQL: Fungsi agregat baru regr_avgx dan regr_avgy

Fungsi agregat regr_avgx baru dan fungsi agregat regr_avgy mendukung regresi linier.

SQL: Update ke fungsi contains, startswith, dan endswith

Fungsi contains, fungsi startswith, dan fungsi endswith sekarang mendukung jenis data biner sebagai input selain string.

SQL: Fungsi baru array_size

Fungsi array_size baru menghitung ukuran array.

Unity Catalog: Keluaran SQL LIST menghapus is_directorycolumn dan menambahkan / di akhir untuk jalur direktori (Pratinjau Umum)

Output dari pernyataan LIST SQL untuk daftar jalur yang diatur oleh Unity Catalog telah berubah. is_directory column tidak lagi ditampilkan. Sebagai gantinya, jalur yang mewakili direktori sekarang berakhir dengan garis miring di akhir (/) untuk path dan namecolumns. Perubahan ini untuk konsistensi dengan output dbutils.fs.lsdari perintah.

Auto Loader: fungsi SQL baru CLOUD_FILES_STATE

Anda dapat menggunakan fungsi baru CLOUD_FILES_STATE untuk menanyakan status internal aliran Auto Loader; lihat Meminta file yang ditemukan oleh Auto Loader.

Auto Loader: Dukungan pemberitahuan file sekarang menjadi GA

Dukungan pemberitahuan file untuk Apa itu Pemuat Otomatis? di Google Cloud sekarang tersedia secara umum.

Delta Lake: opsi maxRecordsPerFile baru untuk catatan maksimum yang ditulis ke satu file

Saat Anda menggunakan API DataFrame untuk menulis ke delta table, Anda dapat menggunakan opsi maxRecordsPerFile untuk menentukan jumlah maksimum rekaman untuk ditulis ke satu file. Menentukan nilai nol atau nilai negatif tidak mewakili limit. Lihat Mengonfigurasi Delta Lake untuk mengontrol ukuran file data.

Penghentian Koala

Koala sekarang tidak digunakan lagi. Koalas menyediakan pandas API di atas Apache Spark. Koala dikontribusikan oleh komunitas dan telah tersedia sebagai pandas API di Spark mulai dari Apache Spark 3.2. Koala terus diinstal sebelumnya untuk Databricks Runtime 10.5, tetapi Koala tidak akan lagi diinstal mulai dari versi Databricks Runtime berikutnya.

Untuk mempelajari lebih lanjut tentang pandas API di Spark, lihat:

_metadata column baru untuk semua format file

Anda dapat get informasi metadata untuk file input dengan _metadatacolumn. _metadata column tersembunyi . column ini tersedia untuk semua format file input. Untuk menyertakan _metadatacolumn dalam DataFrameyang dikembalikan, Anda harus secara eksplisit mereferensikan column ini dalam kueri Anda. Lihat metadata File column.

Menguji alur Delta Live Tables Anda dengan Databricks Runtime 10.5

Databricks Runtime 10.5 sekarang menjadi versi preview yang didukung untuk Delta Live Tables. Untuk menguji alur Anda dengan Databricks Runtime 10.5, set pengaturan channel ke preview di pengaturan alur Anda.

Perbaikan bug

  • Memperbaiki tampilan hasil metrik numUpdatedRows dan numCopiedRows untuk operasi update pada Delta tables yang diaktifkan pengambilan data perubahan (CDC).

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • plotly dari 5.5.0 hingga 5.6.0
  • Pustaka R yang ditingkatkan:
    • base dari 4.1.2 hingga 4.1.3
    • caret dari 6.0-90 hingga 6.0-91
    • cluster dari 2.1.2 hingga 2.1.3
    • commonmark dari 1.7 hingga 1.8.0
    • compiler dari 4.1.2 hingga 4.1.3
    • crayon dari 1.5.0 hingga 1.5.1
    • datasets dari 4.1.2 hingga 4.1.3
    • desc dari 1.4.0 hingga 1.4.1
    • fansi dari 1.0.2 hingga 1.0.3
    • glue dari 1.6.1 hingga 1.6.2
    • grafik dari 4.1.2 hingga 4.1.3
    • grDevices dari 4.1.2 hingga 4.1.3
    • grid dari 4.1.2 hingga 4.1.3
    • knitr dari 1.37 hingga 1.38
    • MASS dari 7.3-55 hingga 7.3-56
    • Matrix dari 1.4-0 hingga 1.4-1
    • methods dari 4.1.2 hingga 4.1.3
    • mgcv dari 1.8-39 hingga 1.8-40
    • nlme dari 3.1-155 hingga 3.1-157
    • openssl dari 1.4.6 hingga 2.0.0
    • parallel dari 4.1.2 hingga 4.1.3
    • plyr dari 1.8.6 hingga 1.8.7
    • processx dari 3.5.2 hingga 3.5.3
    • r2d3 dari 0.2.5 hingga 0.2.6
    • Rcpp dari 1.0.8 hingga 1.0.8.3
    • rlang dari 1.0.1 hingga 1.0.2
    • rmarkdown dari 2.11 hingga 2.13
    • RSQLite dari 2.2.10 hingga 2.2.11
    • sass dari 0.4.0 hingga 0.4.1
    • splines dari 4.1.2 hingga 4.1.3
    • stats dari 4.1.2 hingga 4.1.3
    • stats4 dari 4.1.2 hingga 4.1.3
    • tcltk dari 4.1.2 hingga 4.1.3
    • tools dari 4.1.2 hingga 4.1.3
    • utils dari 4.1.2 hingga 4.1.3
    • uuid dari 1.0-3 hingga 1.0-4
    • waldo dari 0.3.1 hingga 0.4.0
    • withr dari 2.4.3 hingga 2.5.0
    • xfun dari 0.29 hingga 0.30
  • Pustaka Java yang ditingkatkan:
    • com.h2database.h2 dari 1.4.195 ke 2.1.210
    • org.apache.hadoop.hadoop-client-api from 3.3.1-databricks to 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime from 3.3.1 to 3.3.2
    • org.rocksdb.rocksdbjni dari 6.24.2 hingga 6.20.3

Apache Spark

Databricks Runtime 10.5 termasuk Apache Spark 3.2.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 10.4 LTS, serta perbaikan bug tambahan dan peningkatan berikut yang dibuat untuk Spark:

  • [SPARK-38354] [SC-97886] Kembalikan "[SQL] Tambahkan metrik pemeriksaan hash untuk hash yang diacak join"
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Modul Instrumen PySpark SQL dengan pencatat penggunaan umum
  • [SPARK-38333] [SQL] Ekspresi PlanExpression harus melompati fungsi addExprTree di Executor
  • [SPARK-38646] [PYTHON][10.x] Menarik sifat untuk fungsi Python
  • [SPARK-38674] [PHOTON] Menambahkan metrik ke PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Ganti nilai yang ditemukan dengan elemen non-null untuk kunci dalam list yang tersisa dan elemen null yang tersisa dari remove dari values di penyimpanan keyWithIndexToValue untuk penggabungan stream-stream
  • [SPARK-38446] [Core] Memperbaiki kebuntuan antara ExecutorClassLoader dan FileDownloadCallback yang disebabkan oleh Log4j
  • [SPARK-38705] [SQL] Gunakan fungsi identifier dalam perintah pembuatan dan penghapusan fungsi
  • [SPARK-38684] [SS] Memperbaiki masalah kebenaran pada join luar aliran dengan penyedia penyimpanan status RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase tidak dapat menemukan baris offset yang inputnya tidak-null
  • [SPARK-38204] [SS] Menggunakan StatefulOpClusteredDistribution untuk operator stateful dengan menghormati kompatibilitas mundur
  • [SPARK-38616] [SQL] Melacak teks kueri SQL di Catalyst TreeNode
  • [SPARK-38600] [SQL] Menyertakan unit ke dalam string sql TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Menyebarkan metadata dari columns berlapis di Alias
  • [SPARK-38535] [SQL] Menambahkan datetimeUnit enum dan gunakan di TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Update jenis hasil histogram_numeric (x, y) untuk membuat x == jenis input
  • [SPARK-38148] [SQL] Jangan tambahkan pemangkasan partition dinamis jika ada pemangkasan partition statis
  • [SPARK-37527] [SQL] Mengompilasi COVAR_POP, COVAR_SAMP dan CORR di H2Dialet
  • [SPARK-38510] [SQL] Mencoba lagi ClassSymbol.selfType untuk mengatasi referensi siklus
  • [SPARK-38509] [SQL] Batalkan pendaftaran fungsi TIMESTAMPADD/DIFF dan removeDATE_ADD/DIFF
  • [SPARK-38504] [SQL] Tidak dapat membaca TimestampNTZ sebagai TimestampLTZ
  • [SPARK-38526] [SQL] Memperbaiki nama alias fungsi yang menyesatkan untuk RuntimeReplaceable
  • [SPARK-38335] [SQL] Menerapkan dukungan pengurai untuk columnvalues DEFAULT
  • [SPARK-38593] [SS] Membawa metrik jumlah peristiwa terlambat yang dihilangkan ke SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Menambahkan numRowsDroppedByWatermark ke SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Restore perilaku to_timestamp yang mendukung jenis numerik
  • [SPARK-38481] [SQL] Mengganti pengecualian overflow Java dari TIMESTAMPADD oleh pengecualian Spark
  • [SPARK-37753] [SQL] Menyempurnakan logika untuk menurunkan join hash Siaran di DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH harus mendukung jenis string dan biner
  • [SPARK-38345] [SQL] Memperkenalkan fungsi SQL ARRAY_SIZE
  • [SPARK-38385] [SQL] Meningkatkan pesan galat pernyataan kosong dan <EOF> di ParseException
  • [SPARK-37614] [SQL] Mendukung Fungsi Agregat ANSI: regr_avgx ®r_avgy
  • [SPARK-38560] [SQL] Jika Sum, Count, Any disertai dengan yang berbeda, tidak dapat melakukan pendorongan agg parsial ke bawah.
  • [SPARK-38360] [SQL][SS][PYTHON] Memperkenalkan fungsi exists untuk TreeNode guna menghilangkan pola kode duplikat
  • [SPARK-38385] [SQL] Meningkatkan pesan galat kasus 'input tidak cocok' dari ANTLR
  • [SPARK-38240] [SQL] Meningkatkan RuntimeReplaceable dan tambahkan panduan untuk menambahkan fungsi baru
  • [SPARK-38542] [SQL]UnsafeHashedRelation harus membuat serial numKeys
  • [SPARK-38521] [SQL] Mengubah partitionOverwriteMode dari string menjadi variabel di Skala
  • [SPARK-38558] [SQL] Remove pemeran yang tidak diperlukan antara IntegerType dan IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly mendukung ekspresi yang dapat dilipat
  • [SPARK-38410] [SQL] Dukungan menentukan nomor partition awal untuk penyeimbangan ulang
  • [SPARK-38107] [SQL] Menggunakan kelas kesalahan dalam kesalahan kompilasi UDF python/pandas
  • [SPARK-38354] [SQL] Tambahkan metrik pemeriksaan hash untuk hash acak join
  • [SPARK-38112] [SQL] Menggunakan kelas kesalahan dalam kesalahan eksekusi penanganan tanggal/stempel waktu
  • [SPARK-38361] [SQL] Menambahkan metode pabrik getConnection ke JDBCDialect.
  • [SPARK-37865] [SQL] Memperbaiki bug kebenaran deduplikasi union
  • [SPARK-38298] [SQL][Tests] Memperbaiki DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite dalam mode ANSI
  • [SPARK-38407] [SQL] ANSI Cast: melonggarkan batasan transmisi jenis kompleks non-null
  • [SPARK-38352] [SQL] Memperbaiki DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite di bawah mode ANSI
  • [SPARK-38054] [SQL] Mendukung namespace list dalam dialek JDBC v2 MySQL
  • [SPARK-37960] [SQL] Kerangka kerja baru untuk mewakili ekspresi katalis dalam DS v2 API
  • [SPARK-38103] [SQL] Memigrasikan kesalahan penguraian dari transformasi ke dalam kerangka kesalahan baru
  • [SPARK-38519] [SQL] AQE pengecualian pelemparan harus menghormati SparkFatalException
  • [SPARK-38528] [SQL] Lakukan iterasi dengan cepat atas urutan agregasi ketika membangun proyek list di ExtractGenerator
  • [SPARK-38320] [SS] Memperbaiki flatMapGroupsWithState waktu habis dalam batch dengan data untuk kunci
  • [SPARK-38442] [SQL] Memperbaiki ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite di bawah mode ANSI
  • [SPARK-38268] [SQL] Menyembunyikan bidang "failOnError" dalam metode toString Abs/CheckOverflow
  • [SPARK-37949] [SQL] Meningkatkan estimasi statistik penyeimbangan ulang
  • [SPARK-38450] [SQL] Memperbaiki HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite di bawah mode ANSI
  • [SPARK-38501] [SQL] Memperbaiki kegagalan pengujian thriftserver di bawah mode ANSI
  • [SPARK-37895] [SQL] Filter mendorong ke bawah column dengan columns yang dikutip
  • [SPARK-38449] [SQL] Hindari panggilan createTable saat ignoreIfExists=true dan table ada
  • [SPARK-38406] [SQL] Meningkatkan performa ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Ekstrak generator dari ekspresi GeneratorOuter yang terdapat dalam operator Generate.
  • [SPARK-38309] [CORE] Memperbaiki SHS shuffleTotalReads dan shuffleTotalBlocks metrik persentil
  • [SPARK-38412] [SS] Memperbaiki urutan yang ditukar dari dan ke di StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][SQL][SS] Mengganti kecocokan pola pada ekspresi boolean dengan pernyataan bersyarat
  • [SPARK-38104] [SQL] Memigrasikan kesalahan penguraian window ke dalam kerangka kerja kesalahan baru
  • [SPARK-38434] [SQL] Semantik yang benar dari metode CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] Pemrosesan SS tidak dapat dimulai karena com…
  • [SPARK-38378] [SQL] Pemfaktoran ulang definisi tata bahasa ANTLR menjadi file Parser dan Lexer yang terpisah
  • [SPARK-37475] [SQL] Menambahkan parameter skala ke fungsi lantai dan langit-langit
  • [SPARK-38411] [CORE] Menggunakan UTF-8 saat doMergeApplicationListingInternal membaca log peristiwa
  • [SPARK-36553] [ML] KMeans menghindari statistik tambahan komputasi untuk K besar
  • [SPARK-38393] [SQL] Membersihkan penggunaan GenSeq/GenMap yang tidak digunakan lagi
  • [SPARK-38389] [SQL] Menambahkan alias DATEDIFF() dan DATE_DIFF() untuk TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Memperbaiki penghitungan bobot tembolokan indeks acak untuk file indeks kecil
  • [SPARK-38353] [PYTHON] Melengkapi metode ajaib masuk dan keluar untuk Pandas API di Spark
  • [SPARK-38323] [SQL][Streaming] Mendukung metadata file tersembunyi di Streaming
  • [SPARK-38138] [SQL] Mewujudkan subkueri QueryPlan
  • [SPARK-38094] Aktifkan pencocokan nama schemacolumn berdasarkan id bidang
  • [SPARK-37923] [SQL] Generatepartition transformasi pada BucketSpec di dalam parser
  • [SPARK-38363] [SQL] Menghindari kesalahan runtime di Dataset.summary()/Dataset.describe() saat mode ANSI aktif
  • [SPARK-38284] [SQL] Menambahkan TIMESTAMPDIFF() fungsi
  • [SPARK-38251] [SQL] Mengubah Cast.toString sebagai "cast" bukan "ansi_cast" di bawah mode ANSI
  • [SPARK-38314] [SQL] Memperbaikan gagal membaca file parket setelah menulis metadata file tersembunyi di

Lihat Pembaruan pemeliharaan Databricks Runtime 10.5.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 pemutih 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 5.12.2020 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 titik masuk 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 buku catatan 6.3.0 numpy 1.20.1
packaging 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect=4.8.0 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
permintaan 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets=5.0.5 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings=0.5.1 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Pustaka R yang diinstal

Pustaka R dipasang dari snapshot Microsoft CRAN pada 2022-03-28.

Pustaka Versi Pustaka Versi Pustaka Versi
askpass 1.1 assertthat 0.2.1 backports 1.4.1
dasar 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-91 cellranger 1.1.0 chron 2.3-56
kelas 7.3-20 cli 3.2.0 clipr 0.8.0
klaster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0,15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
Gert 1.5.0 ggplot2 3.3.5 GH 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0,9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.38 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
lifecycle 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-56
Matrix 1.4-1 memoise 2.0.1 methods 4.1.3
mgcv 1.8-40 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 kemajuan 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proksi 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2.13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
bentuk 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
alat 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21%
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parket-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1