Bagikan melalui

Databricks Runtime 12.0 (EoS)

  • Artikel

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat catatan rilis Databricks Runtime versi dan kompatibilitas.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 12.0, didukung oleh Apache Spark 3.3.1.

Databricks merilis versi ini pada Desember 2022.

Fitur dan peningkatan baru

I/O prediktif adalah GA

I/O prediktif sekarang tersedia secara umum. Untuk informasi selengkapnya, lihat Apa itu I/O prediktif?.

Pengolah Photon mendukung kompresi zstd

Penulis bawaan Photon kini mendukung codec kompresi zstd ketika zstd diaktifkan dengan mengatur spark.sql.parquet.compression.codec ke zstd.

Dukungan untuk profil sumber daya tugas tingkat tahap untuk kluster mandiri

Anda sekarang dapat menggunakan penjadwalan tingkat tahap pada kluster mandiri saat alokasi dinamis dinonaktifkan. Untuk menggunakan fitur ini, tentukan sumber daya tugas dengan ResourceProfileBuilder untuk setiap tahap.

Dukungan SQL untuk penimpaan selektif dengan REPLACE WHERE

Anda sekarang dapat secara selektif mengubah data yang sesuai dengan ekspresi acak dalam tabel Delta menggunakan pola berikut.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Lihat Penimpaan selektif sewenang-wenang dengan replaceWhere.

Tanda air sekarang didukung dalam SQL

Anda sekarang dapat menentukan tanda air menggunakan antarmuka SQL DLT dan dalam kueri SQL terhadap DataFrame streaming. Lihat klausa WATERMARK.

Pembuatan profil memori PySpark

Pembuatan profil memori sekarang diaktifkan untuk fungsi yang ditentukan pengguna PySpark. Ini menyediakan informasi tentang kenaikan memori, penggunaan memori, dan jumlah kemunculan untuk setiap baris kode dalam fungsi yang ditentukan pengguna.

Pemangkasan dinamis untuk DELETE dan UPDATE

Saat menggunakan komputasi yang diaktifkan Photon, DELETE dan UPDATE sekarang menggunakan pemangkasan file dan partisi dinamis di mana ini meningkatkan performa. Misalnya, pemangkasan dinamis diaktifkan saat tabel sumber yang lebih kecil digunakan untuk memperbarui atau menghapus baris dalam tabel yang lebih besar.

Metrik penghapusan tingkat baris untuk operasi bahasa manipulasi data yang dipartisi

Dengan predikat yang dipartisi, pengguna sekarang dapat mengaudit berapa banyak baris yang dihapus saat menjalankan operasi bahasa manipulasi data (DML) seperti DELETE, , TRUNCATEdan replaceWhere.

Perbaikan bug

Memperbaiki masalah penguraian JSON di Auto Loader di mana semua kolom dibiarkan sebagai string. Sebelumnya, cloudFiles.inferColumnTypes tidak diatur atau ditetapkan menjadi false dan JSON berisi objek berlapis.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • argon2-cffi dari 20.1.0 ke 21.3.0
    • attrs dari 21.2.0 hingga 21.4.0
    • backports.entry-points-selectable dari 1.1.1 hingga 1.2.0
    • pemutih dari 4.0.0 hingga 4.1.0
    • boto3 dari 1.21.18 ke 1.21.32
    • botocore dari 1.24.18 ke 1.24.32
    • cffi dari 1.14.6 ke 1.15.0
    • klik dari 8.0.3 ke 8.0.4
    • cycler dari 0.10.0 hingga 0.11.0
    • Cython dari 0.29.24 ke 0.29.28
    • debugpy dari 1.4.1 hingga 1.5.1
    • dekorator dari 5.1.0 hingga 5.1.1
    • titik masuk dari 0,3 hingga 0,4
    • idna dari 3.2 hingga 3.3
    • ipykernel dari 6.12.1 ke 6.15.3
    • ipython dari 7.32.0 ke 8.5.0
    • ipywidgets dari 7.7.0 ke 7.7.2
    • jedi dari 0.18.0 hingga 0.18.1
    • joblib dari 1.0.1 hingga 1.1.0
    • jsonschema dari 3.2.0 hingga 4.4.0
    • kiwisolver dari 1.3.1 ke 1.3.2
    • matplotlib dari 3.4.3 ke 3.5.1
    • nbclient dari 0.5.3 ke 0.5.13
    • nbconvert dari 6.1.0 ke 6.4.4
    • nbformat dari 5.1.3 hingga 5.3.0
    • nest-asyncio dari 1.5.1 hingga 1.5.5
    • notebook dari 6.4.5 hingga 6.4.8
    • numpy menggunakan versi 1.20.3 hingga 1.21.5
    • kemasan dari 21.0 hingga 21.3
    • panda dari 1.3.4 hingga 1.4.2
    • pandocfilters dari 1.4.3 hingga 1.5.0
    • parso dari 0.8.2 ke 0.8.3
    • Pillow dari 8.4.0 hingga 9.0.1
    • platformdir dari 2.5.2 hingga 2.5.4
    • plotly dari 5.9.0 ke 5.6.0
    • prometheus-client dari 0.11.0 hingga 0.13.1
    • protobuf dari 4.21.5 ke 3.19.4
    • pycparser dari 2,20 hingga 2,21
    • Versi Pygments dari 2.10.0 hingga 2.11.2
    • pyodbc dari 4.0.31 ke 4.0.32
    • pyzmq dari 22.2.1 ke 22.3.0
    • permintaan dari 2.26.0 hingga 2.27.1
    • s3transfer dari 0.5.2 ke 0.5.0
    • scikit-learn dari 0.24.2 hingga 1.0.2
    • scipy dari versi 1.7.1 hingga versi 1.7.3
    • statsmodel dari 0.12.2 hingga 0.13.2
    • terminado dari 0.9.4 hingga 0.13.1
    • tomli dari 2.0.1 ke 1.2.2
    • traitlets dari 5.1.0 hingga 5.1.1
    • urllib3 dari 1.26.7 hingga 1.26.9
    • widgetsnbextension dari 3.6.0 hingga 3.6.1
  • Pustaka R yang ditingkatkan:
    • basis dari 4.1.3 ke 4.2.2
    • brew dari 1.0-7 hingga 1.0-8
    • bslib dari 0.4.0 ke 0.4.1
    • callr dari 3.7.2 ke 3.7.3
    • chron dari 2.3-57 ke 2.3-58
    • cli dari 3.3.0 hingga 3.4.1
    • kluster dari 2.1.3 hingga 2.1.4
    • commonmark dari 1.8.0 hingga 1.8.1
    • compiler dari 4.1.3 ke 4.2.2
    • cpp11 dari 0.4.2 hingga 0.4.3
    • krayon dari 1.5.1 hingga 1.5.2
    • curl dari 4.3.2 ke 4.3.3
    • data.table dari 1.14.2 hingga 1.14.4
    • himpunan data dari 4.1.3 hingga 4.2.2
    • deskripsi dari 1.4.1 ke 1.4.2
    • devtools dari 2.4.4 hingga 2.4.5
    • digest dari 0.6.29 hingga 0.6.30
    • e1071 dari 1.7-11 ke 1.7-12
    • menilai dari 0,16 hingga 0,18
    • fontawesome dari 0.3.0 hingga 0.4.0
    • masa depan dari 1.28.0 hingga 1.29.0
    • future.apply dari 1.9.1 hingga 1.10.0
    • kumur dari 1.2.0 hingga 1.2.1
    • gert dari 1.8.0 hingga 1.9.1
    • ggplot2 dari 3.3.6 ke 3.4.0
    • gh dari 1.3.0 ke 1.3.1
    • gitcreds dari 0.1.1 hingga 0.1.2
    • grafik dari 4.1.3 hingga 4.2.2
    • grDevices dari 4.1.3 ke 4.2.2
    • Kisi dari 4.1.3 hingga 4.2.2
    • httpuv dari 1.6.5 hingga 1.6.6
    • isoband dari 0.2.5 hingga 0.2.6
    • jsonlite dari 1.8.0 hingga 1.8.3
    • lava dari 1.6.10 hingga 1.7.0
    • siklus hidup dari 1.0.1 hingga 1.0.3
    • lubridat dari 1.8.0 hingga 1.9.0
    • markdown versi 1.1 hingga 1.3
    • MASSA dari 7,3-56 ke 7,3-58
    • Matriks dari 1,4-1 hingga 1,5-1
    • metode dari 4.1.3 hingga 4.2.2
    • mgcv dari 1,8-40 hingga 1,8-41
    • nlme dari 3,1-157 ke 3,1-160
    • nnet dari 7,3-17 hingga 7,3-18
    • openssl dari 2.0.2 hingga 2.0.4
    • paralel dari 4.1.3 hingga 4.2.2
    • pkgload dari 1.3.0 ke 1.3.1
    • processx dari 3.7.0 hingga 3.8.0
    • ps dari 1.7.1 ke 1.7.2
    • purrr dari 0.3.4 hingga 0.3.5
    • ragg dari 1.2.2 ke 1.2.4
    • RcppEigen dari 0.3.3.9.2 ke 0.3.3.9.3
    • readr dari 2.1.2 hingga 2.1.3
    • resep dari 1.0.1 hingga 1.0.3
    • rlang dari 1.0.5 ke 1.0.6
    • rmarkdown dari 2,16 ke 2,18
    • rpart dari 4.1.16 ke 4.1.19
    • RSQLite dari 2.2.16 ke 2.2.18
    • mengkilap dari 1.7.2 hingga 1.7.3
    • SparkR dari 3.3.0 ke 3.3.1
    • spline dari 4.1.3 ke 4.2.2
    • statistik dari 4.1.3 hingga 4.2.2
    • stats4 versi dari 4.1.3 ke 4.2.2
    • sys dari 3.4 hingga 3.4.1
    • tcltk dari 4.1.3 ke 4.2.2
    • testthat dari 3.1.4 ke 3.1.5
    • tidyr dari 1.2.0 hingga 1.2.1
    • tidyselect dari 1.1.2 hingga 1.2.0
    • timeDate dari 4021.104 hingga 4021.106
    • tinytex dari 0,41 hingga 0,42
    • alat dari 4.1.3 hingga 4.2.2
    • utils dari 4.1.3 ke 4.2.2
    • vctrs dari 0.4.1 hingga 0.5.0
    • vroom dari 1.5.7 hingga 1.6.0
    • xfun dari 0,32 hingga 0,34
    • yaml dari 2.3.5 hingga 2.3.6
    • zip dari 2.2.0 hingga 2.2.2
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.core.jackson-databind dari 2.13.4 ke 2.13.4.2
    • org.apache.parquet.parquet-column dari 1.12.0-databricks-0007 hingga 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common dari 1.12.0-databricks-0007 hingga 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding dari 1.12.0-databricks-0007 ke 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures dari 1.12.0-databricks-0007 hingga 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop dari 1.12.0-databricks-0007 ke 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson dari 1.12.0-databricks-0007 hingga 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations dari 0.5.0 hingga 0.13.0

Apache Spark

Databricks Runtime 12.0 menyertakan Apache Spark 3.3.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 11.3 LTS, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Membatalkan perubahan “[SC-113542][ss] Mengubah nilai default konfigurasi pengambilan offset Kafka”
  • [SPARK-40646] [SC-116061] Batalkan “[SC-113379][sql] Perbaikan mengembalikan hasil parsial dalam sumber data JSON dan fungsi JSON”
  • [SPARK-41195] [SC-116305][sql] Dukungan PIVOT/UNPIVOT dengan anak-anak gabungan
  • [SPARK-41178] [SC-116139][sql] Perbaiki prioritas aturan pengurai antara JOIN dan koma
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Tambahkan kelas kesalahan STREAM_FAILED ke StreamingQueryException
  • [SPARK-40921] Batalkan “[SC-115140][sc-114585][SQL] Tambahkan klausa WHEN NOT MATCHED BY SOURCE ke MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Perluas kolom METADATA untuk mendukung indeks baris untuk file Parquet
  • [SPARK-41055] [SC-115582][sql] Ganti nama _LEGACY_ERROR_TEMP_2424 menjadi GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Dukungan nama kelas pesan untuk PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Setara SQL untuk perintah timpa Dataframe
  • [SPARK-41095] [SC-115659][sql] Mengonversi operator yang tidak terselesaikan menjadi kesalahan internal
  • [SPARK-41144] [SC-115866][sql] Petunjuk yang tidak terselesaikan tidak boleh menyebabkan kegagalan kueri
  • [SPARK-41137] [SC-115858][sql] Ganti nama LATERAL_JOIN_OF_TYPE menjadi INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_0040 menjadi INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] UnitTest pemeriksaan null untuk generator data
  • [SPARK-40769] [SC-114923][core][SQL] Migrasikan kegagalan pemeriksaan jenis ekspresi agregat ke kelas kesalahan
  • [SPARK-41043] [SC-115183][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_2429 menjadi NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobuf mengimpor dukungan dan memindahkan kelas kesalahan.
  • [SPARK-41019] [SC-114987][sql] Menyediakan konteks kueri untuk failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Gunakan UNEXPECTED_INPUT_TYPE alih-alih MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Kurangi ukuran shuffle ALS
  • [SPARK-41134] [SC-115851][sql] Meningkatkan pesan kesalahan kesalahan internal
  • [SPARK-37980] Kembali " [SQL] Perluas kolom METADATA untuk mendukung indeks baris untuk file Parquet
  • [SPARK-41109] [SC-115788][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_1216 menjadi INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Gunakan NON_FOLDABLE_INPUT alih-alih FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Optimalkan penggunaan konstruktor GenericArrayData untuk Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Tambahkan padding karakter pada sisi pembacaan untuk mencakup file data eksternal
  • [SPARK-40978] [SC-114574][sql] Migrasikan failAnalysis() tanpa konteks ke kelas kesalahan
  • [SPARK-40663] [SC-114586][sql] Memigrasikan kesalahan eksekusi ke kelas kesalahan: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: Mendukung pemfilteran grup runtime dalam perintah tingkat baris
  • [SPARK-40372] [SC-115668][sql] Memigrasikan kegagalan pemeriksaan jenis array ke kelas kesalahan
  • [SPARK-41038] [SC-115371][sql] Ganti nama MULTI_VALUE_SUBQUERY_ERROR menjadi SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_1208 menjadi FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Migrasikan kegagalan pemeriksaan kondisi ke kelas kesalahan
  • [SPARK-40371] [SC-114557][sql] Migrasikan kegagalan pemeriksaan jenis NthValue dan NTile ke kelas kesalahan
  • [SPARK-41092] [SC-115547][sql] Jangan gunakan pengidentifikasi untuk mencocokkan unit interval
  • [SPARK-41009] [SC-115360][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_1070 menjadi LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Perluas kolom METADATA untuk mendukung indeks baris untuk file Parquet
  • [SPARK-40967] [SC-114448][sql] Migrasikan failAnalysis() ke kelas kesalahan
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Memantau UDF Python menggunakan metrik SQL
  • [SPARK-41012] [SC-114873][sql] Ganti nama _LEGACY_ERROR_TEMP_1022 menjadi ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Ganti nama PARSE_CHAR_MISSING_LENGTH menjadi DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi salah ke kelas kesalahan
  • [SPARK-37945] [SC-115534][sql][CORE] Gunakan kelas kesalahan dalam eksekusi kesalahan operasi aritmatika
  • [SPARK-40374] [SC-114705][sql] Migrasikan kegagalan pemeriksaan jenis pembuat ke kelas kesalahan
  • [SPARK-41056] [SC-115354][r] Perbaiki perilaku R_LIBS_SITE baru yang diperkenalkan dalam R 4.2
  • [SPARK-41041] [SC-115357][sql] Integrasikan _LEGACY_ERROR_TEMP_1279 ke dalam TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Memigrasikan kesalahan eksekusi ke kelas kesalahan: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_1019 menjadi STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Jangan modifikasi turunan fungsi agregat yang dapat disederhanakan dalam RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Meningkatkan kelas kesalahan dan pesan
  • [SPARK-40798] [SC-113782][sql] Alter partition harus memverifikasi nilai mengikuti storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][sql] Gunakan SparkIllegalArgumentException alih-alih IllegalArgumentException di CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Tambahkan klausul WHEN NOT MATCHED BY SOURCE ke MERGE INTO
  • [SPARK-40360] [SC-114965] pengecualian ALREADY_EXISTS dan NOT_FOUND
  • [SPARK-41007] [SC-115085][sql] Tambahkan serializer yang hilang untuk java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Migrasikan kegagalan pengecekan tipe fungsi orde tinggi menjadi kelas kesalahan
  • [SPARK-40248] [SC-114704][sql] Gunakan jumlah bit yang lebih besar untuk membangun filter Bloom
  • [SPARK-41040] [SC-115145][ss] Perbaiki kegagalan kueri streaming self-union saat menggunakan readStream.table
  • [SPARK-32380] [SC-114966][sql] Memperbaiki akses tabel HBase melalui Apache Hive dari Spark
  • [SPARK-40749] [SC-114860][sql] Migrasikan kegagalan pemeriksaan tipe pembangkit ke dalam kelas kesalahan
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Memperbaiki penundaan operator berstatus...
  • [SPARK-40654] [SC-112783] Hapus baris log sementara
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Perbaiki peringatan kompilasi Java yang terkait dengan jenis generik
  • [SPARK-40657] [SC-113642][cherry-pick] Tambahkan dukungan untuk kelas Java di Protob...
  • [SPARK-40898] [SC-113932][sql] Kutipan nama fungsi dalam kesalahan ketidakcocokan tipe data
  • [SPARK-40760] [SC-113750][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi interval ke kelas kesalahan
  • [SPARK-36114] [SC-113771][sql] Mendukung subkueri dengan predikat non-kesetaraan yang berkorelasi
  • [SPARK-40856] [SC-113738][sql] Perbarui templat kesalahan WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][sql] Migrasikan kegagalan pemeriksaan jenis jendela waktu ke kelas kesalahan
  • [SPARK-40750] [SC-113812][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi matematika ke kelas kesalahan
  • [SPARK-40756] [SC-113749][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi string ke kelas kesalahan
  • [SPARK-40768] [SC-113640][sql] Migrasikan kegagalan pemeriksaan tipe bloom_filter_agg() ke kategori kesalahan
  • [SPARK-40369] [SC-113402][core][SQL] Memigrasikan kegagalan pemeriksaan jenis panggilan melalui pantulan ke kelas kesalahan
  • [SPARK-39445] [SQL] Hapus jendela jika windowExpressions kosong dalam pemangkasan kolom
  • [SPARK-40761] [SC-113245][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi persentil ke kelas kesalahan
  • [SPARK-40361] [SC-112789][sql] Memigrasikan kesalahan pemeriksaan tipe aritmatika ke dalam kelas-kelas kesalahan
  • [SPARK-40714] [SC-112576][sql] Hapus PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Perbaiki spesifikasi partisi di PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] Pemindahan kegagalan pemeriksaan tipe koleksi ke kelas kesalahan
  • [SPARK-40910] [SC-114259][sql] Ganti UnsupportedOperationException dengan SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Tambahkan UNPIVOT ke sintaks SQL
  • [SPARK-39783] [SC-113389][sql] Menyisipkan tanda kutip pada qualifiedName untuk memperbaiki tanda petik terbalik untuk kolom kandidat dalam pesan kesalahan
  • [SPARK-40663] [SC-112520][sql] Memigrasikan kesalahan eksekusi ke kelas kesalahan: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_0021 menjadi UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Hilangkan kolom sub-kelas kesalahan terpisah
  • [SPARK-40944] [SC-114530][sql] Mengendurkan batasan pemesanan untuk opsi kolom CREATE TABLE
  • [SPARK-40815] [SC-114528][sql] Tambahkan DelegateSymlinkTextInputFormat untuk mengatasi bug SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][sql] Menerapkan ulang df.stat.{cov, corr} dengan fungsi sql bawaan
  • [SPARK-40932] [SC-114439][core] Memperbaiki masalah pesan untuk allGather yang digantikan sepihak
  • [SPARK-39312] [SQL] Gunakan predikat In bawaan Parquet untuk mendorong filter ke bawah
  • [SPARK-40862] [SC-114352][sql] Mendukung subkueri non-agregat dalam proses RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][sql] Atur nullable dengan benar dalam proyek yang dibuat oleh ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Memigrasikan kesalahan eksekusi ke kelas kesalahan: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Longgarkan persyaratan aturan window_time - izinkan beberapa panggilan window_time
  • [SPARK-40540] [SC-111639][sql] Memigrasikan kesalahan kompilasi ke kelas kesalahan: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Perbaikan untuk fungsi Unhex ketika input memiliki jumlah simbol ganjil
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Memperkenalkan fungsi window_time untuk mengekstrak waktu peristiwa dari kolom jendela
  • [SPARK-40800] [SC-113772][sql] Selalu menjadikan ekspresi sebaris dalam OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Menerapkan kembali frequentItems dengan operasi dataframe
  • [SPARK-40735] [SC-114022][sc-112657] Secara konsisten memanggil bash dengan /usr/bin/env bash dalam skrip untuk membuat kode lebih portabel
  • [SPARK-40773] [SC-113091][sql] Pemeriksa refaktorCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][sql] Periksa jenis data yang tidak didukung saat mendekorelasi subkueri
  • [SPARK-40660] [SC-112293][core][SQL] Beralih ke XORShiftRandom untuk mendistribusikan elemen
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Memigrasikan kesalahan kompilasi ke kelas kesalahan
  • [SPARK-40551] [SC-113135][sql] DataSource V2: Menambahkan API untuk operasi tingkat baris berbasis delta
  • [SPARK-39391] [SC-110676][core] Memanfaatkan kembali kelas Partitioner
  • [SPARK-40368] [SC-113396][sql] Migrasikan kegagalan pemeriksaan jenis Filter Bloom ke kelas kesalahan
  • [SPARK-39146] [SC-111814][core][SQL] Memperkenalkan singleton lokal untuk ObjectMapper yang mungkin digunakan kembali
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Migrasikan jenis jendela periksa kegagalan ke kelas kesalahan
  • [SPARK-40874] [SC-113756][python] Perbaiki siaran di UDF Python saat enkripsi diaktifkan
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Migrasikan kegagalan pemeriksaan jenis dalam ekspresi CSV/JSON ke kelas kesalahan
  • [SPARK-40880] [SC-113764][sql] Menerapkan ulang summary dengan operasi dataframe
  • [SPARK-40877] [SC-113763][sql] Menerapkan ulang crosstab dengan operasi dataframe
  • [SPARK-40382] [SC-113098][sql] Mengelompokkan ekspresi agregat yang berbeda berdasarkan anak-anak yang secara semantik setara di RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Tambahkan pemeriksaan tambahan untuk mengganti nama file titik pemeriksaan
  • [SPARK-40829] [SC-113426][sql] STORED AS serde dalam tampilan CREATE TABLE LIKE tidak berfungsi
  • [SPARK-40844] [SC-113542][ss] Ubah nilai default konfigurasi pengambilan offset Kafka
  • [SPARK-40488] [SC-113568][sc-111160] Jangan membungkus pengecualian yang dilemparkan saat penulisan sumber data gagal
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Ganti nama message menjadi messageTemplate dalam format kesalahan STANDARD
  • [SPARK-40618] [SC-113096][sql] Perbaiki bug dalam aturan MergeScalarSubqueries dengan subkueri berlapis menggunakan pelacakan referensi
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Tambahkan API pengembang terkait kesalahan
  • [SPARK-40806] [SC-113250][sql] Perbaikan kesalahan ketik: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] Perbaiki pengembalian hasil parsial dalam sumber data JSON dan fungsi JSON
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Dukungan Protobuf untuk Spark - dari...
  • [SPARK-40753] [SC-113539][sql] Perbaiki bug dalam kasus pengujian untuk operasi direktori katalog
  • [SPARK-40765] [SC-113056][sql] Optimalkan operasi fs berlebihan dalam metode CommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][r][11.X] Dukungan Arrow 9.0.0 dalam SparkR
  • [SPARK-40479] [SC-110935][sql] Memigrasikan kesalahan jenis input yang tidak terduga ke kelas kesalahan
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Memigrasikan kesalahan penguraian ke kelas kesalahan
  • [SPARK-39853] [SC-111867][core] Mendukung profil sumber daya tugas tingkat tahap untuk kluster mandiri ketika alokasi dinamis dinonaktifkan (port belakang dari PR-47157)
  • [SPARK-40407] [SC-111161][sql] Perbaiki potensi ketimpangan data yang disebabkan oleh df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE tidak perlu melakukan pencarian tabel
  • [SPARK-40703] [SC-113242][sql] Memperkenalkan mekanisme acak pada SinglePartition untuk meningkatkan paralelisme
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil untuk mengatur asal opsi konfigurasi hadoop/hive
  • [SPARK-39062] [11.x][core] Tambahkan dukungan penjadwalan sumber daya tingkat tahap untuk kluster mandiri
  • [SPARK-33861] [SC-109877]Kembalikan "[SQL] Sederhanakan kondisional dalam predikat"
  • [SPARK-40667] [SC-113136][sql] Merefaktor Pilihan Sumber Data File
  • [SPARK-40370] [SC-110677][sql] Migrasi kegagalan pemeriksaan jenis ke kelas kesalahan di CAST
  • [SPARK-40611] [SC-113105][sql] Meningkatkan performa setInterval & getInterval untuk UnsafeRow
  • [SPARK-40733] [SC-113126][sql] Membuat isi SERDEPROPERTIES dalam hasil ShowCreateTableAsSerdeCommand memiliki urutan tetap
  • [SPARK-40585] [SC-112180][sql] Mendukung penanda dalam tanda kutip ganda
  • [SPARK-40772] [SC-112992][sql] Tingkatkan spark.sql.adaptive.skewJoin.skewedPartitionFactor untuk mendukung nilai Double
  • [SPARK-40565] [SC-112417][sql] Jangan dorong filter non-deterministik ke sumber file V2
  • [SPARK-8731] [SC-112784] Beeline tidak berfungsi dengan opsi -e saat dimulai di latar belakang
  • [SPARK-35242] [SC-111398][sql] Mendukung pengubahan basis data default dari katalog sesi
  • [SPARK-40426] [SC-110672][sql] Mengembalikan peta dari SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] Optimalkan performa pola kode keys.zipWithIndex.toMap
  • [SPARK-40521] [SC-112430][sql] Hanya mengembalikan partisi yang ada dalam PartitionsAlreadyExistException dari pembuatan partisi Hive
  • [SPARK-40705] [SC-112567][sql] Menangani kasus penggunaan array yang dapat diubah saat mengonversi Baris ke JSON untuk Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Mendukung penurunan beberapa kolom
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Hapus operasi interpolator string berlebihan
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Urutkan parameter pesan kesalahan berdasarkan nama dalam format JSON
  • [SPARK-40403] [SC-110564][sql] Hitung ukuran array yang tidak aman menggunakan panjang untuk menghindari ukuran negatif dalam pesan kesalahan
  • [SPARK-40482] [SC-110831][sql] Kembali SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Berikan parameter pesan kesalahan ke pengecualian sebagai peta
  • [SPARK-40628] [SC-112414][sql] Jangan dorong kondisi gabungan semi/anti kiri yang kompleks melalui proyek
  • [SPARK-40562] [SC-111455][sql] Tambahkan spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] Tambahkan PushProjectionThroughLimit untuk Pengoptimal
  • [SPARK-39200] [SC-111244][core] Membuat Penyimpanan Fallback membaca sepenuhnya konten
  • [SPARK-38717] [SC-111241][sql] Tangani perilaku pelestarian spesifikasi bucket Hive
  • [SPARK-40385] [SC-111123][sql] Perbaiki jalur yang ditafsirkan untuk konstruktor objek pendamping
  • [SPARK-40216] [SC-112413][sql] Ekstrak metode ParquetUtils.prepareWrite umum untuk mendeduplikasi kode dalam ParquetFileFormat dan ParquetWrite
  • [SPARK-40636] [SC-112160][core] Perbaiki log acak yang tersisa di BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Memperbaiki race condition dalam penanganan entri stageTCMP dari ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][sql] Perbaiki bug dalam aturan MergeScalarSubqueries dengan subkueri berlapis
  • [SPARK-40612] [SC-111933][core] Memperbaiki prinsipal yang digunakan untuk perpanjangan token delegasi pada manajer sumber daya non-YARN
  • [SPARK-40595] [SC-111662][sql] Meningkatkan pesan kesalahan untuk hubungan CTE yang tidak digunakan
  • [SPARK-40314] [SC-111879][sql][PYTHON] Tambahkan pengikatan Scala dan Python untuk inline dan inline_outer
  • [SPARK-40416] [SC-110945][sql] Memindahkan pesan kesalahan subkueri ekspresi CheckAnalysis agar menggunakan kerangka kerja kesalahan baru
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() harus melemparkan pengecualian dari sub komponennya
  • [SPARK-40509] [SC-111644][ss][PYTHON] Tambahkan contoh untuk applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() harus melemparkan pengecualian dari fungsi child-nya
  • [SPARK-40016] [SQL] Hapus TryEval yang tidak perlu dalam implementasi try_sum()
  • [SPARK-40527] [SC-111224][sql] Simpan nama bidang struktur atau kunci peta di CreateStruct
  • [SPARK-38098] [SC-111178][python] Tambahkan dukungan untuk ArrayType dari StructType berlapis ke konversi berbasis panah
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Menyediakan konteks kueri dalam AnalysisException
  • [SPARK-40492] [SC-111324][ss] Lakukan pemeliharaan sebelum melakukan pembongkaran pada streaming StateStore
  • [SPARK-40487] [SC-111124][sql] Membuat defaultJoin di BroadcastNestedLoopJoinExec berjalan secara paralel
  • [SPARK-40474] [SC-111273][sql] Mengoreksi inferensi skema CSV dan perilaku penguraian data pada kolom dengan tanggal campuran dan tanda waktu
  • [SPARK-40508] [SC-111066][sql] Perlakukan partisi yang tidak diketahui sebagai UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Perbaiki konfigurasi untuk mengontrol "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][ss][PYTHON] Tambahkan suite pengujian untuk applyInPandasWithState di PySpark
  • [SPARK-40434] [SC-111125][ss][PYTHON] Implementasi applyInPandasWithState di PySpark

Pembaruan pemeliharaan

Lihat pembaruan pemeliharaan Databricks Runtime 12.0.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Pustaka Python yang diinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttoken 2.0.5
atribut 21.4.0 panggilan balik 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 hitam 22.3.0 pemutih 4.1.0
boto3 1.21.32 botocore 1.24.32 sertifikat 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 kriptografi 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
dekorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
titik masuk 0,4 menjalankan 0.8.3 ikhtisar-faset 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
tidak selaras 0.8.4 ekstensi mypy 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
buku catatan 6.4.8 numpy 1.21.5 kemasan 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
spesifikasi jalur 0.9.0 kambing hitam 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Bantal 9.0.1 pip 21.2.4
platformdir 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 permintaan 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 ketekunan 8.0.1
selesai 0.13.1 jalur tes 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets=5.0.5 5.1.1 typing_extensions 4.1.1 pembaruan otomatis 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 roda 0.37.0 widgetsnbextension 3.6.1

Pustaka R yang diinstal

Library R diinstal dari snapshot Microsoft CRAN pada 2022-11-11.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 dasar 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 gumpalan 1.2.3
sepatu bot 1.3-28 menyeduh 1,0-8 brio 1.1.3
sapu 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 kelas 7.3-20 cli 3.4.1
clipr 0.8.0 Jam 0.6.1 klaster 2.1.4
codetools 0.2-18 ruang warna 2.0-3 commonmark 1.8.1
pengompilasi 4.2.2 konfigurasi 0.3.1 cpp11 0.4.3
crayon 1.5.2 Kredensial 1.3.2 curl 4.3.3
data.table 1.14.4 kumpulan data 4.2.2 DBI 1.1.3
dbplyr 2.2.1 deskripsi 1.4.2 devtools 2.4.5
diffobj 0.3.5 ikhtisar 0.6.30 bercahaya dari bawah 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
elipsis 0.3.2 menilai 0,18 penggemar 1.0.3
warna 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 asing 0.8-82
bengkel pandai besi / membentuk / menciptakan 0.2.0 fs 1.5.2 masa depan 1.29.0
future.apply 1.10.0 gargle 1.2.1 generik 0.1.3
Gert 1.9.1 ggplot2 3.4.0 GH 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
lem 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 grafis 4.2.2 grDevices 4.2.2
jaringan 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 helm keselamatan 1.2.0 tempat perlindungan 2.5.1
lebih tinggi 0,9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Pengiterasi 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
pelabelan 0.4.2 nanti 1.3.0 lattice 0.20-45
lava 1.7.0 siklus hidup 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASS 7.3-58 Matrix 1.5-1 memoise 2.0.1
metode 4.2.2 mgcv 1.8-41 pantomim 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 paralel 4.2.2
secara paralel 1.32.1 pilar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 pujian 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 kemajuan 1.2.2
progressr 0.11.0 janji-janji 1.2.0.1 proto 1.0.0
proksi 0.4-27 ps 1.7.2 Purrr (suara dengkuran kucing) 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
pertandingan ulang 1.0.1 pertandingan ulang2 2.1.2 remotes 2.4.2
Contoh yang dapat direproduksi 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 timbangan 1.2.1
selectr 0.4-2 informasi sesi 1.2.2 bentuk 1.4.6
mengkilap 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spasial 7.3-11 splines 4.2.2
sqldf 0,4-11 SQUAREM 2021.1 statistik 4.2.2
stats4 4.2.2 string 1.7.8 stringr 1.4.1
kelangsungan hidup 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 pembentukan teks 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 perubahan waktu 0.1.1 timeDate 4021.106
tinytex 0,42 alat 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 gunakan ini 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
kumis 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger penganalisis kinerja 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfigurasi 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
pengunggahan-berkas-umum unggah file umum 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0,21%
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrik-pemeriksaan kesehatan 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrik-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrik-servlet 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative kelas 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-umum 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine asinan 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow Format panah 7.0.0
org.apache.arrow inti-memori-panah 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (teks umum) 1.10.0
org.apache.curator kurator-klien 2.13.0
org.apache.curator kerangka kurator 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy tanaman ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet pengkodean parquet 1.12.3-databricks-0001
org.apache.parquet struktur-format-parquet 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus anotasi audiens 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 pencari-sumber-osgi 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap ganjal 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka uji 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1