Bagikan melalui

Databricks Runtime 15.0 (EoS)

  • Artikel

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 15.0, yang didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada Maret 2024.

Perubahan mencolok

Fungsi PySpark spark.sql() sekarang gagal untuk jenis argumen yang tidak valid

Dalam Databricks Runtime 15.0 dan yang lebih baru, parameter args untuk parameter bernama atau posisi yang diteruskan ke fungsi spark.sql() harus berupa kamus atau daftar. Jika ada jenis objek lain yang diteruskan, kesalahan berikut dimunculkan: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Menyimpan pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default

Untuk meningkatkan keamanan pustaka di ruang kerja Azure Databricks, menyimpan file pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default dimulai dengan Databricks Runtime 15.0. Databricks merekomendasikan untuk mengunggah semua pustaka, yang mencakup pustaka Python, file JAR, dan konektor Spark, ke file ruang kerja, pada volume Katalog Unity, atau dengan menggunakan repositori paket. Lihat Rekomendasi untuk mengunggah pustaka.

Untuk mengaktifkan kembali penyimpanan pustaka di akar DBFS, atur parameter konfigurasi Spark berikut: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Versi Python default ditingkatkan dari 3.10 ke 3.11

Dengan Databricks Runtime 15.0, versi Python default adalah 3.11.0. Untuk daftar pustaka Python yang ditingkatkan, lihat peningkatan Pustaka .

JDK 11 dihapus

Seperti yang diumumkan sebelumnya, JDK 11 dihapus dari Databricks Runtime 15.0 dan yang lebih baru. Databricks merekomendasikan peningkatan ke JDK 17 saat meningkatkan ke Databricks Runtime 15.0 dan yang lebih baru. Lihat Databricks SDK untuk Java.

Python REPL sekarang berakhir dengan anggun

Dengan Databricks Runtime 15.0, proses Python REPL notebook sekarang berakhir dengan baik saat keluar. Ini menyebabkan kait yang tidak aktif dihormati. Misalnya, dalam alur kerja dengan beberapa tugas buku catatan Python, kait atexit yang terdaftar dalam tugas pertama dijalankan sebelum tugas buku catatan Python kedua berjalan.

Fitur dan peningkatan baru

Klausa * (bintang) sekarang didukung dalam klausa WHERE

Sekarang Anda dapat menggunakan klausa bintang (*) dalam klausa WHERE untuk mereferensikan semua kolom dari daftar SELECT. Contohnya,SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Konfigurasi spark.sql.json.enablePartialResults sekarang diaktifkan secara default

Konfigurasi spark.sql.json.enablePartialResults Spark sekarang diaktifkan secara default, memungkinkan pengurai JSON menangani kesalahan penguraian dengan benar untuk jenis kompleks seperti struktur, peta, dan array tanpa menghilangkan bidang yang tersisa. Perubahan ini memperbaiki masalah konsistensi untuk sumber data JSON dengan pemangkasan kolom.

Pustaka kluster sekarang mendukung file requirements.txt

Anda sekarang dapat menginstal pustaka kluster menggunakan file requirements.txt yang disimpan dalam file ruang kerja atau volume Katalog Unity. Di Kluster mode akses pengguna tunggal dan Bersama , file dapat mereferensikan requirements.txt file lain. Dalam Tidak ada kluster mode akses bersama isolasi, hanya paket PyPI yang didukung. Lihat Pustaka kluster.

Databricks CLI sekarang tersedia di terminal web

Sekarang Anda dapat menggunakan Databricks CLI dari terminal web di buku catatan. Buku catatan harus dilampirkan ke kluster dalam pengguna tunggal atau Tidak ada mode akses bersama isolasi. Untuk detailnya, lihat Menggunakan terminal web dan Databricks CLI.

Menambahkan repositori Python default ke konfigurasi kluster

Di Databricks Runtime 15.0 dan yang lebih baru, Anda dapat mengonfigurasi parameter global pip index-url dan extra-index-url untuk instalasi pustaka dengan cakupan kluster dan notebook saat mengonfigurasi kluster atau mendefinisikan kebijakan kluster. Untuk melakukannya, atur variabel lingkungan DATABRICKS_PIP_INDEX_URL dan DATABRICKS_PIP_EXTRA_INDEX_URL.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • hitam dari 22.6.0 hingga 23.3.0
    • boto3 dari 1.24.28 ke 1.34.39
    • botocore dari 1.27.96 ke 1.34.39
    • certifi dari 2022.12.7 hingga 2023.7.22
    • kriptografi dari 39.0.1 hingga 41.0.3
    • databricks-sdk dari 0.1.6 hingga 0.20.0
    • distlib dari 0.3.7 hingga 0.3.8
    • googleapis-common-protos dari 1.62.0 hingga 1.63.0
    • grpcio dari 1.48.2 ke 1.60.0
    • grpcio-status dari 1.48.1 ke 1.60.0
    • importlib-metadata dari 4.6.4 ke 6.0.0
    • ipykernel dari 6.25.0 ke 6.25.1
    • ipython dari 8.14.0 ke 8.15.0
    • ipywidgets dari 7.7.2 ke 8.0.4
    • jupyter_core dari 5.2.0 hingga 5.3.0
    • jupyterlab-widgets dari 1.0.0 hingga 3.0.5
    • matplotlib dari 3.7.0 ke 3.7.2
    • panda dari 1.5.3 hingga 2.0.3
    • pip dari 22.3.1 hingga 23.2.1
    • platformdir dari 2.5.2 hingga 3.10.0
    • protobuf dari 4.24.0 ke 4.24.1
    • pyarrow dari 8.0.0 hingga 14.0.1
    • Pygments dari 2.11.2 ke 2.15.1
    • pyodbc dari 4.0.32 ke 4.0.38
    • permintaan dari 2.28.1 hingga 2.31.0
    • s3transfer dari 0.6.2 ke 0.10.0
    • scikit-learn dari 1.1.1 hingga 1.3.0
    • scipy dari 1.10.0 hingga 1.11.1
    • setuptools dari 65.6.3 hingga 68.0.0
    • statsmodel dari 0.13.5 hingga 0.14.0
    • tenacity dari 8.1.0 hingga 8.2.2
    • tornado dari 6,1 hingga 6.3.2
    • typing_extensions dari 4.4.0 ke 4.7.1
    • urllib3 dari 1.26.14 hingga 1.26.16
    • virtualenv dari 20.16.7 hingga 20.24.2
    • widgetsnbextension dari 3.6.1 hingga 4.0.5
    • zipp dari 1.0.0 hingga 3.11.0
  • Pustaka R yang ditingkatkan:
    • panah dari 12.0.1 hingga 14.0.0.2
    • askpass dari 1.1 ke 1.2.0
    • basis dari 4.3.1 ke 4.3.2
    • brew dari 1,0-8 hingga 1,0-10
    • brio dari 1.1.3 ke 1.1.4
    • bslib dari 0,5,0 hingga 0,6,1
    • cli dari 3.6.1 hingga 3.6.2
    • commonmark dari 1.9.0 hingga 1.9.1
    • compiler dari 4.3.1 ke 4.3.2
    • konfigurasi dari 0.3.1 hingga 0.3.2
    • cpp11 dari 0.4.4 hingga 0.4.7
    • kredensial dari 1.3.2 hingga 2.0.1
    • curl dari 5.0.1 ke 5.2.0
    • data.table dari 1.14.8 hingga 1.15.0
    • himpunan data dari 4.3.1 hingga 4.3.2
    • DBI dari 1.1.3 hingga 1.2.1
    • dbplyr dari 2.3.3 ke 2.4.0
    • desc dari 1.4.2 ke 1.4.3
    • digest dari 0.6.33 ke 0.6.34
    • dplyr dari 1.1.2 ke 1.1.4
    • e1071 dari 1,7-13 ke 1,7-14
    • evaluasi dari 0,21 hingga 0,23
    • fansi dari 1.0.4 hingga 1.0.6
    • fontawesome dari 0.5.1 hingga 0.5.2
    • fs dari 1.6.2 hingga 1.6.3
    • di masa mendatang dari 1.33.0 hingga 1.33.1
    • future.apply dari 1.11.0 hingga 1.11.1
    • kumur dari 1.5.1 hingga 1.5.2
    • gert dari 1.9.2 ke 2.0.1
    • ggplot2 dari 3.4.2 ke 3.4.4
    • glmnet dari 4,1-7 hingga 4,1-8
    • lem dari 1.6.2 hingga 1.7.0
    • grafik dari 4.3.1 hingga 4.3.2
    • grDevices dari 4.3.1 ke 4.3.2
    • kisi dari 4.3.1 hingga 4.3.2
    • dapat di gtable dari 0.3.3 ke 0.3.4
    • hardhat dari 1.3.0 hingga 1.3.1
    • dari 2.5.3 hingga 2.5.4
    • htmltool dari 0.5.5 hingga 0.5.7
    • htmlwidgets dari 1.6.2 ke 1.6.4
    • httpuv dari 1.6.11 ke 1.6.14
    • httr dari 1.4.6 hingga 1.4.7
    • httr2 dari 0.2.3 hingga 1.0.0
    • jsonlite dari 1.8.7 ke 1.8.8
    • rajut dari 1,43 hingga 1,45
    • pelabelan dari 0.4.2 ke 0.4.3
    • kemudian dari 1.3.1 hingga 1.3.2
    • lava dari 1.7.2.1 hingga 1.7.3
    • siklus hidup dari 1.0.3 hingga 1.0.4
    • listenv dari 0.9.0 hingga 0.9.1
    • lubridat dari 1.9.2 hingga 1.9.3
    • markdown dari 1,7 hingga 1,12
    • metode dari 4.3.1 hingga 4.3.2
    • openssl dari 2.0.6 hingga 2.1.1
    • paralel dari 4.3.1 hingga 4.3.2
    • pkgbuild dari 1.4.2 ke 1.4.3
    • pkgload dari 1.3.2.1 ke 1.3.4
    • plyr dari 1.8.8 ke 1.8.9
    • prettyunits dari 1.1.1 hingga 1.2.0
    • pROC dari 1.18.4 ke 1.18.5
    • processx dari 3.8.2 hingga 3.8.3
    • prodlim dari 2023.03.31 hingga 2023.08.28
    • kemajuan dari 1.2.2 ke 1.2.3
    • progressr dari 0.13.0 ke 0.14.0
    • janji dari 1.2.0.1 hingga 1.2.1
    • ps dari 1.7.5 ke 1.7.6
    • purrr dari 1.0.1 hingga 1.0.2
    • ragg dari 1.2.5 ke 1.2.7
    • Rcpp dari 1.0.11 hingga 1.0.12
    • RcppEigen dari 0.3.3.9.3 ke 0.3.3.9.4
    • readr dari 2.1.4 hingga 2.1.5
    • resep dari 1.0.6 hingga 1.0.9
    • rematch dari 1.0.1 ke 2.0.0
    • jarak jauh dari 2.4.2 ke 2.4.2.1
    • reprex dari 2.0.2 ke 2.1.0
    • rlang dari 1.1.1 ke 1.1.3
    • rmarkdown dari 2,23 ke 2,25
    • RODBC dari 1,3-20 hingga 1,3-23
    • roxygen2 dari 7.2.3 ke 7.3.1
    • rprojroot dari 2.0.3 ke 2.0.4
    • Rserve dari 1,8-11 ke 1,8-13
    • RSQLite dari 2.3.1 ke 2.3.5
    • sass dari 0.4.6 ke 0.4.8
    • skala dari 1.2.1 ke 1.3.0
    • mengkilap dari 1.7.4.1 hingga 1.8.0
    • sparklyr dari 1.8.1 hingga 1.8.4
    • spline dari 4.3.1 hingga 4.3.2
    • statistik dari 4.3.1 hingga 4.3.2
    • stats4 dari 4.3.1 hingga 4.3.2
    • stringi dari 1.7.12 hingga 1.8.3
    • stringr dari 1.5.0 hingga 1.5.1
    • systemfonts dari 1.0.4 hingga 1.0.5
    • tcltk dari 4.3.1 ke 4.3.2
    • testthat dari 3.1.10 ke 3.2.1
    • textshaping dari 0.3.6 ke 0.3.7
    • tidyr dari 1.3.0 hingga 1.3.1
    • timechange dari 0.2.0 ke 0.3.0
    • timeDate dari 4022.108 hingga 4032.109
    • tinytex dari 0,45 hingga 0,49
    • alat dari 4.3.1 hingga 4.3.2
    • utf8 dari 1.2.3 ke 1.2.4
    • utils dari 4.3.1 ke 4.3.2
    • uuid dari 1,1-0 hingga 1,2-0
    • vctrs dari 0.6.3 hingga 0.6.5
    • vroom dari 1.6.3 hingga 1.6.5
    • waldo dari 0.5.1 hingga 0.5.2
    • withr dari 2.5.0 hingga 3.0.0
    • xfun dari 0,39 hingga 0,41
    • xml2 dari 1.3.5 hingga 1.3.6
    • yaml dari 2.3.7 hingga 2.3.8
    • zip dari 2.3.0 hingga 2.3.1
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.15.1 hingga 2.16.0
    • com.google.flatbuffers.flatbuffers-java dari 1.12.0 hingga 23.5.26
    • com.typeafe.config dari 1.2.1 ke 1.4.3
    • org.apache.ant.ant dari 1.9.16 ke 1.10.11
    • org.apache.ant.ant-jsch dari 1.9.16 ke 1.10.11
    • org.apache.ant.ant-launcher dari 1.9.16 hingga 1.10.11
    • org.apache.arrow.arrow-format dari 12.0.1 hingga 15.0.0
    • org.apache.arrow.arrow-memory-core dari 12.0.1 hingga 15.0.0
    • org.apache.arrow.arrow-memory-netty dari 12.0.1 hingga 15.0.0
    • org.apache.arrow.arrow-vector dari 12.0.1 hingga 15.0.0
    • org.apache.avro.avro dari 1.11.2 ke 1.11.3
    • org.apache.avro.avro-ipc dari 1.11.2 ke 1.11.3
    • org.apache.avro.avro-mapred dari 1.11.2 ke 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api dari 2.20.0 hingga 2.22.1
    • org.apache.logging.log4j.log4j-api dari 2.20.0 hingga 2.22.1
    • org.apache.logging.log4j.log4j-core dari 2.20.0 ke 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl dari 2.20.0 hingga 2.22.1
    • org.postgresql.postgresql dari 42.6.0 hingga 42.6.1

Apache Spark

Databricks Runtime 15.0 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 14.3 LTS, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-45527] [DBRRM-805][ES-1073714] Kembalikan "[SC-151626][CORE] Gunakan pecahan untuk melakukan perhitungan sumber daya"
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] COLLATION_ENABLED Menambahkan bendera konfigurasi
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] Lewati pencarian tabel V2 saat tabel berada di cache tabel V1
  • [SPARK-46808] [SC-154113][PyTHON] Memperbaiki kelas kesalahan di Python dengan fungsi pengurutan otomatis
  • [SPARK-47251] [SC-158291][PyTHON] Blokir tipe yang args tidak valid dari argumen untuk sql perintah
  • [SPARK-47251] [SC-158121][PyTHON] Blokir tipe yang args tidak valid dari argumen untuk sql perintah
  • [SPARK-47108] [SC-157204][CORE] Atur derby.connection.requireAuthentication ke false secara eksplisit di CLIs
  • [SPARK-45599] [SC-157537][CORE] Menggunakan kesetaraan objek di OpenHashSet
  • [SPARK-47099] [SC-157352][SQL] Gunakan ordinalNumber untuk mengatur nilai paramIndex secara seragam untuk kelas kesalahan UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][SAMBUNGKAN] Mengekstrak fungsi pembantu untuk menghilangkan kode duplikat yang diambil MessageParameters dari ErrorParams dalam GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][SAMBUNGKAN] Membuat ProtoUtils.abbreviate bidang berulang dukungan
  • [SPARK-46342] [SC-150283][SQL] Ganti IllegalStateException dengan SparkException.internalError dalam sql
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD tidak menangani kesalahan dengan benar di getQueryOutputSchema
  • [SPARK-47189] [SC-157667][SQL] Sesuaikan nama dan teks kesalahan kolom
  • [SPARK-45789] [SC-157101][SQL] Dukungan DESCRIBE TABLE untuk kolom pengklusteran
  • [SPARK-43256] [SC-157699][SQL] Hapus kelas kesalahan _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PyTHON][SAMBUNGKAN] sameSemantics memeriksa jenis input
  • [SPARK-47183] [SC-157660][PyTHON] Perbaiki kelas kesalahan untuk sameSemantics
  • [SPARK-47179] [SC-157663][SQL] Meningkatkan pesan kesalahan dari SparkThrowableSuite untuk debuggability yang lebih baik
  • [SPARK-46965] [SC-155791][CORE] Cek masuk logTypeUtils.getLog
  • [SPARK-46832] [SC-156774][SQL] Memperkenalkan ekspresi Kolagen dan Kolajeksi
  • [SPARK-46946] [SC-155721][SQL] Mendukung siaran beberapa kunci pemfilteran di DynamicPruning
  • [SPARK-47079] [VARIAN-22][SC-157598][PyTHON][SQL][SAMBUNGKAN] Menambahkan info Jenis varian ke PySpark
  • [SPARK-47101] [SC-157360][SQL] Izinkan koma digunakan dalam nama kolom tingkat atas dan hapus centang definisi jenis berlapis di HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][SS][UI] Memperbaiki kesalahan ketik dalam penjelasan antarmuka pengguna streaming
  • [SPARK-47113] [SC-157348][CORE] Mengembalikan logika perbaikan titik akhir S3A SPARK-35878
  • [SPARK-47130] [SC-157462][CORE] Gunakan listStatus untuk melewati info lokasi blokir saat membersihkan log driver
  • [SPARK-43259] [SC-157368][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec harus menginisialisasi proyeksi yang tidak aman
  • [SPARK-47137] [SC-157463][PyTHON][SAMBUNGKAN] Tambahkan getAll ke spark.conf untuk paritas fitur dengan Scala
  • [SPARK-46924] [SC-154905][CORE] Tombol Perbaiki Load New di Master/HistoryServer UI Log
  • [SPARK-47069] [SC-157370][PyTHON][SAMBUNGKAN] Memperkenalkan spark.profile.show/dump pembuatan profil berbasis SparkSession
  • [SPARK-46812] [SC-157075][SQL][PyTHON] Membuat mapInPandas / mapInArrow mendukung ResourceProfile
  • [SPARK-46833] [SC-155866][SQL] Kolase - Memperkenalkan CollationFactory yang menyediakan aturan perbandingan dan hashing untuk kolase yang didukung
  • [SPARK-47057] [SC-157036][PyTHON] Mereeanble uji data MyPy
  • [SPARK-46934] [SC-157084][SQL] Baca/tulis pulang pergi untuk jenis struct dengan karakter khusus dengan HMS
  • [SPARK-46727] [SC-153472][SQL] Port classifyException() dalam dialek JDBC pada kelas kesalahan
  • [SPARK-46964] [SC-155740][SQL] Ubah tanda tangan kesalahan eksekusi kueri hllInvalidLgK untuk mengambil bilangan bulat sebagai argumen ke-4
  • [SPARK-46949] [SC-155719][SQL] Mendukung CHAR/VARCHAR melalui ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][SQL] Memperbaiki penggantian asimetris untuk char/varchar di V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][PyTHON][SAMBUNGKAN] Menerapkan metode dumpPerfProfiles dan dumpMemoryProfiles dari SparkSession
  • [SPARK-46689] [SC-156221][SPARK-46690][PyTHON][SAMBUNGKAN] Mendukung pembuatan profil v2 dalam grup/grup grup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][SAMBUNGKAN] Perbolehkan Skrip Server Spark Connect menunggu
  • [SPARK-46688] [SC-156113][SPARK-46691][PyTHON][SAMBUNGKAN] Mendukung pembuatan profil v2 dalam UDF Pandas agregat
  • [SPARK-47004] [SC-156499][SAMBUNGKAN] Menambahkan lebih banyak pengujian ke ClientStreamingQuerySuite untuk meningkatkan cakupan pengujian klien Scala
  • [SPARK-46994] [SC-156169][PyTHON] Refaktor PythonWrite untuk bersiap mendukung penulisan streaming sumber data python
  • [SPARK-46979] [SC-156587][SS] Tambahkan dukungan untuk menentukan encoder kunci dan nilai secara terpisah dan juga untuk setiap keluarga col di penyedia penyimpanan status RocksDB
  • [SPARK-46960] [SC-155940][SS] Menguji Beberapa Aliran Input dengan operator TransformWithState
  • [SPARK-46966] [SC-156112][Python] Tambahkan API UDTF untuk metode 'analisis' untuk menunjukkan subset kolom tabel input yang akan dipilih
  • [SPARK-46895] [SC-155950][CORE] Ganti Timer dengan pelaksana terjadwal utas tunggal
  • [SPARK-46967] [SC-155815][CORE][UI] Sembunyikan Thread Dump dan Heap HistogramDead pelaksana di Executors UI
  • [SPARK-46512] [SC-155826][CORE] Optimalkan pembacaan shuffle saat pengurutan dan penggabungan digunakan bersamaan.
  • [SPARK-46958] [SC-155942][SQL] Menambahkan zona waktu yang hilang untuk memaksa nilai default
  • [SPARK-46754] [SC-153830][SQL][AVRO] Perbaiki resolusi kode kompresi dalam definisi tabel avro dan opsi tulis
  • [SPARK-46728] [SC-154207][PyTHON] Periksa penginstalan Pandas dengan benar
  • [SPARK-43403] [SC-154216][UI] Pastikan SparkUI lama dalam HistoryServer telah dilepas sebelum memuat yang baru
  • [SPARK-39910] [SC-156203][SQL] Mendelegasikan kualifikasi jalur ke sistem file selama globbing jalur file DataSource
  • [SPARK-47000] [SC-156123] Kembalikan "[SC-156123][CORE] Gunakan getTotalMemorySize...
  • [SPARK-46819] [SC-154560][CORE] Memindahkan kategori kesalahan dan status ke JSON
  • [SPARK-46997] [SC-156175][CORE] Aktifkan spark.worker.cleanup.enabled secara default
  • [SPARK-46865] [SC-156168][SS] Menambahkan Dukungan Batch untuk Operator TransformWithState
  • [SPARK-46987] [SC-156040][SAMBUNGKAN] ProtoUtils.abbreviate hindari operasi yang tidak perlu setField
  • [SPARK-46970] [SC-155816][CORE] Refrite OpenHashSet#hasher dengan pattern matching
  • [SPARK-46984] [SC-156024][PyTHON] Hapus pyspark.copy_func
  • [SPARK-47000] [SC-156123][CORE] Gunakan getTotalMemorySize di WorkerArguments
  • [SPARK-46980] [SC-155914][SQL][MINOR] Hindari menggunakan API internal dalam pengujian end-to-end dataframe
  • [SPARK-46931] Kembalikan "[SC-155661][PS] Implementasi {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][SQL] Meningkatkan pesan kesalahan untuk kesalahan DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][SQL] Jalankan pengoptimal pada default kolom CREATE TABLE
  • [SPARK-46911] [SC-155724][SS] Menambahkan operator deleteIfExists ke StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Mendukung lz4raw codec kompresi untuk Parquet
  • [SPARK-47002] [SC-156223][Python] Mengembalikan pesan kesalahan yang lebih baik jika bidang metode 'analisis' UDTF 'orderBy' secara tidak sengaja mengembalikan daftar string
  • [SPARK-46890] [SC-155802][SQL] Perbaiki bug penguraian CSV dengan nilai default keberadaan dan pemangkasan kolom
  • [SPARK-46977] [SC-155892][CORE] Permintaan yang gagal untuk mendapatkan token dari satu NameNode tidak boleh melewati permintaan token berikutnya
  • [SPARK-46608] [SC-151806][SQL] Memulihkan kompatibilitas ke belakang JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][SQL] Mendukung klausul bintang dalam klausa WHERE
  • [SPARK-46908] [SC-155702][SQL] Mendukung klausul bintang dalam klausa WHERE
  • [SPARK-46852] [SC-155665][SS] Hapus penggunaan encoder kunci eksplisit dan berikan secara implisit ke operator untuk operator transformWithState
  • [SPARK-46864] [SC-155669][SS] Onboard StateV2 Arbitrer ke Kerangka Kerja Kelas Kesalahan Baru
  • [SPARK-45807] [SC-155706][SQL] Kembalikan Tampilan setelah memanggil replaceView(..)
  • [SPARK-46899] [SC-154651][CORE] Hapus API POST dari MasterWebUI saat spark.ui.killEnabledfalse
  • [SPARK-46868] [SC-154539][CORE] Mendukung UI Log Pekerja Spark
  • [SPARK-46931] [SC-155661][PS] Alat {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] Hapus updateSparkConfigFromProperties dan isAbsoluteURI yang tidak digunakan di o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][SAMBUNGKAN][SS] Gunakan ThreadUtils.shutdown untuk menutup kumpulan utas
  • [SPARK-46400] [SC-155658][CORE][SQL] Ketika ada file yang rusak di repositori maven lokal, lewati cache ini dan coba lagi
  • [SPARK-46932] [SC-155655] Bersihkan impor di pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Menulis generator subkueri yang menghasilkan permutasi subkueri untuk meningkatkan cakupan pengujian
  • [SPARK-46914] [SC-154776][UI] Pendekkan nama aplikasi dalam tabel ringkasan di Halaman Riwayat
  • [SPARK-46831] [SC-154699][SQL] Kolas - Memperluas StringType dan PhysicalStringType dengan bidang collationId
  • [SPARK-46816] [SC-154415][SS] Tambahkan dukungan dasar untuk operator manajemen status acak baru, jenis ValueState tunggal, banyak variabel status, dan dukungan yang mendasari untuk keluarga kolom untuk RocksDBStateStoreProvider dengan/tanpa pemeriksaan titik perubahan changelog.
  • [SPARK-46925] [SC-154890][PyTHON][SAMBUNGKAN] Menambahkan peringatan yang menginstruksikan untuk menginstal memory_profiler untuk pembuatan profil memori
  • [SPARK-46927] [SC-154904][PyTHON] Bekerja assertDataFrameEqual dengan baik tanpa PyArrow
  • [SPARK-46021] [SC-148987][CORE] Dukungan membatalkan pekerjaan di masa mendatang milik grup pekerjaan
  • [SPARK-46747] [SC-154789][SQL] Hindari pemindaian di getTableExistsQuery untuk Dialek JDBC
  • [SPARK-46904] [SC-154704][UI] Memperbaiki masalah tampilan ringkasan Antarmuka Pengguna Riwayat
  • [SPARK-46870] [SC-154541][CORE] Mendukung UI Log Master Spark
  • [SPARK-46893] [SC-154780][UI] Hapus skrip sebaris dari deskripsi UI
  • [SPARK-46910] [SC-154760][PyTHON] Menghilangkan Persyaratan JDK dalam Penginstalan PySpark
  • [SPARK-46907] [SC-154736][CORE] Perlihatkan lokasi log driver di Server Riwayat Spark
  • [SPARK-46902] [SC-154661][UI] Memperbaiki UI Server Riwayat Spark untuk menggunakan setAppLimit yang tidak diekspor
  • [SPARK-46687] [SC-154725][PyTHON][SAMBUNGKAN] Dukungan dasar profiler memori berbasis SparkSession
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] Ganti SimpleDateFormat dengan DateTimeFormatter
  • [SPARK-46875] [SC-154627][SQL] mode Ketika null, harus NullPointExceptionnot dilemparkan
  • [SPARK-46872] [SC-154543][CORE] Pulihkan log-view.js menjadi non-modul
  • [SPARK-46883] [SC-154629][CORE] API Dukungan /json/clusterutilization
  • [SPARK-46886] [SC-154630][CORE] Aktifkan spark.ui.prometheus.enabled secara default
  • [SPARK-46873] [SC-154638][SS] Jangan membuat ulang StreamingQueryManager baru untuk Sesi Spark yang sama
  • [SPARK-46829] [SC-154419][CORE] Hapus createExecutorEnv dari SparkEnv
  • [SPARK-46827] [SC-154280][CORE] Buat RocksDBPersistenceEngine untuk mendukung tautan simbolis
  • [SPARK-46903] [SC-154662][CORE] Mendukung UI Log Server Riwayat Spark
  • [SPARK-46874] [SC-154646][PYTHON] Hapus dependensi pyspark.pandas dari assertDataFrameEqual
  • [SPARK-46889] [SC-154639][CORE] Memvalidasi spark.master.ui.decommission.allow.mode pengaturan
  • [SPARK-46850] [SC-154443][SQL] Konversi _LEGACY_ERROR_TEMP_2102 ke UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][UI] Perbaiki MasterPage untuk mengurutkan tabel Running Drivers menurut kolom Duration dengan benar
  • [SPARK-46796] [SC-154279][SS] Pastikan file jarak jauh yang benar (disebutkan dalam metadata.zip) digunakan pada beban versi RocksDB
  • [SPARK-46888] [SC-154636][CORE] Memperbaiki Master untuk menolak /workers/kill/ permintaan jika penonaktifan dinonaktifkan
  • [SPARK-46818] [SC-154422][SQL] Meningkatkan pesan kesalahan untuk Rentang dengan input yang tidak dapat dilipat
  • [SPARK-46898] [SC-154649][SAMBUNGKAN] Menyederhanakan transformasi fungsi protobuf di Planner
  • [SPARK-46828] [SC-154413][SQL] Hapus pernyataan mode jarak jauh yang tidak valid untuk shell spark sql
  • [SPARK-46733] [SC-154274][CORE] Sederhanakan BlockManager dengan operasi keluar hanya bergantung pada utas interupsi.
  • [SPARK-46777] [SC-154016][SS] Struktur katalis refaktor StreamingDataSourceV2Relation agar lebih seterusnya dengan versi batch
  • [SPARK-46515] [SC-151716] Menambahkan fungsi MONTHNAME
  • [SPARK-46823] [SC-154276][SAMBUNGKAN][PyTHON] LocalDataToArrowConversion harus memeriksa nullability
  • [SPARK-46787] [SC-154404][SAMBUNGKAN] bloomFilter fungsi harus melemparkan AnalysisException untuk input yang tidak valid
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation instans dari rencana cache yang sama harus setara secara semantik
  • [SPARK-45827] [SC-153973] Melarang pemartisian pada kolom Varian
  • [SPARK-46797] [SC-154085][CORE] Ganti nama spark.deploy.spreadOut menjadi spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Mendukung Pelaksana Pembuatan Profil JVM
  • [SPARK-46746] [SC-153557][SQL][AVRO] Lampirkan ekstensi codec ke file sumber data avro
  • [SPARK-46698] [SC-153288][CORE] Ganti Timer dengan pelaksana terjadwal utas tunggal untuk ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Perbaikan untuk DDL jenis STRUCT tidak mengambil nullability dan komentar
  • [SPARK-46750] [SC-153772][SAMBUNGKAN][PyTHON] Pembersihan kode API DataFrame
  • [SPARK-46769] [SC-153979][SQL] Memperbaiki inferensi skema terkait tanda waktu
  • [SPARK-46765] [SC-153904][PyTHON][SAMBUNGKAN] Tentukan shuffle tipe data seed
  • [SPARK-46579] [SC-151481][SQL] Meredaksi url JDBC dalam kesalahan dan log
  • [SPARK-46686] [SC-153875][PyTHON][SAMBUNGKAN] Dukungan dasar profiler UDF Python berbasis SparkSession
  • [SPARK-46748] Batalkan "[SC-153800][CORE] Hapus *sla***.sh scri...
  • [SPARK-46707] [SC-153833][SQL] Menambahkan bidang yang dapat dilemparkan ke ekspresi untuk meningkatkan pushdown predikat
  • [SPARK-46519] [SC-151278][SQL] Menghapus kelas kesalahan yang tidak digunakan dari error-classes.json file
  • [SPARK-46677] [SC-153426][SQL][SAMBUNGKAN] Memperbaiki dataframe["*"] resolusi
  • [SPARK-46317] [SC-150184][PyTHON][SAMBUNGKAN] Cocokkan pencocokan perilaku kecil di SparkSession dengan cakupan pengujian penuh
  • [SPARK-46748] [SC-153800][CORE] Hapus skrip *sla***.sh
  • [SPARK-46663] [SC-153490][PyTHON] Menonaktifkan profiler memori untuk UDF panda dengan iterator
  • [SPARK-46410] [SC-150776][SQL] Menetapkan kelas/subkelas kesalahan ke JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][PYTHON] Validasi url startup dengan konfigurasi yang disetel
  • [SPARK-46612] [SC-153536][SQL] Jangan mengonversi string jenis array yang diambil dari driver jdbc
  • [SPARK-46254] [SC-149788][PYTHON] Hapus pemeriksaan kedaluarsa versi Python 3.8/3.7
  • [SPARK-46490] [SC-151335][SQL] Memerlukan kelas kesalahan dalam SparkThrowable sub-kelas
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] Kurangi Penggunaan Timbunan Driver dengan Mengurangi Masa Pakai TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] Perbaiki referensi kolom ambigu dalam self join
  • [SPARK-46381] [SC-150495][SQL] Memigrasikan sub-kelas AnalysisException ke kelas kesalahan
  • [SPARK-46351] [SC-150335][SQL] Memerlukan kelas kesalahan di AnalysisException
  • [SPARK-46220] [SC-149689][SQL] Membatasi charset di decode()
  • [SPARK-46369] [SC-150340][CORE] Hapus tautan kill dari driver RELAUNCHING di MasterPage
  • [SPARK-46052] [SC-153284][CORE] Hapus fungsi TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL] Support GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][SQL] Hapus inferTimestampNTZ yang tidak digunakan di ParquetReadSupport
  • [SPARK-46717] [SC-153423][CORE] Sederhanakan ReloadingX509TrustManager dengan operasi keluar hanya bergantung pada utas interupsi.
  • [SPARK-46722] [SC-153438][SAMBUNGKAN] Tambahkan pengujian mengenai pemeriksaan kompatibilitas mundur untuk StreamingQueryListener di Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Menyelaraskan implementasi codegen dan non-codegen StringDecode
  • [SPARK-46258] [SC-149799][CORE] Tambah RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] Meningkatkan FileSystemPersistenceEngine untuk mendukung kompresi
  • [SPARK-46189] [SC-149567][PS][SQL] Lakukan perbandingan dan aritmatika antara jenis yang sama dalam berbagai fungsi agregat Panda untuk menghindari kesalahan mode yang ditafsirkan
  • [SPARK-46184] [SC-149563][CORE][SQL][SAMBUNGKAN][MLLIB] Kurangi kedalaman tumpukan dengan mengganti Option.isDefined dengan Option.isEmpty
  • [SPARK-46700] [SC-153329][CORE] Menghitung tumpahan terakhir untuk metrik byte tumpahan disk acak
  • [SPARK-45642] [SC-150286][CORE][SQL] Perbaiki FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] Perbaiki RemoveRedundantAlias dengan mengecualikan atribut subkueri
  • [SPARK-46681] [SC-153287][CORE] Refaktor ExecutorFailureTracker#maxNumExecutorFailures untuk menghindari pengkalkulasian defaultMaxNumExecutorFailures saat MAX_EXECUTOR_FAILURES dikonfigurasi
  • [SPARK-46695] [SC-153289][SQL][HIVE] Selalu atur hive.execution.engine ke mr
  • [SPARK-46325] [SC-150228][CONNECT] Hapus fungsi penggantian yang tidak perlu saat membuat WrappedCloseableIterator di ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PyTHON] Migrasikan semua ValueError yang tersisa ke dalam kerangka kerja kesalahan PySpark.
  • [SPARK-46547] [SC-153174][SS] Menelan pengecualian non-fatal dalam tugas pemeliharaan untuk menghindari kebuntuan antara utas pemeliharaan dan operator agregasi streaming
  • [SPARK-46169] [SC-149373][PS] Tetapkan nomor JIRA yang sesuai untuk parameter yang hilang dari API DataFrame.
  • [SPARK-45857] [SC-148096][SQL] Menerapkan kelas kesalahan di sub-kelas AnalysisException

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 15.0.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Danau Delta: 3.1.0

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
asttoken 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
hitam 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 cloudpickle 2.2.1 komunikasi 0.1.2
konturpy 1.0.5 cryptography 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
titik masuk 0,4 menjalankan 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 ekstensi mypy 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 packaging 23.2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect=4.8.0 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdir 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modul 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 permintaan 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets=5.0.5 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret CRAN Manajer Paket Posit pada 2023-02-10.

Pustaka Versi Pustaka Versi Pustaka Versi
anak panah 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 dasar 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
kelas 7.3-22 cli 3.6.2 clipr 0.8.0
Jam 0.7.0 klaster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 Berkonflik 1.2.0 cpp11 0.4.7
crayon 1.5.2 Kredensial 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
bagan 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 Gert 2.0.1 ggplot2 3.4.4
GH 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets +1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 methods 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 kemajuan 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proksi 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 dapat direaksi 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
bentuk 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
pembahasan teks 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 pertukaran waktu 0.3.0
timeDate 4032.109 tinytex 0,49 alat 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-asli
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-asli
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrik-anotasi 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty kelas netty-tcnative 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine acar 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan skalar 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1