Databricks Runtime 12.1 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 12.1, didukung oleh Apache Spark 3.3.1.

Databricks merilis versi ini pada Januari 2023.

Fitur dan peningkatan baru

• Fitur tabel Delta Lake yang didukung untuk manajemen protokol
• I/O prediktif untuk pembaruan ada di pratinjau publik
• Catalog Explorer sekarang tersedia untuk semua persona
• Dukungan untuk beberapa operator stateful dalam satu kueri streaming
• Dukungan untuk buffer protokol ada di Pratinjau Umum
• Dukungan untuk autentikasi Confluent Schema Registry
• Dukungan untuk berbagi riwayat tabel dengan berbagi Berbagi Delta
• Dukungan untuk streaming dengan berbagi Berbagi Delta
• Versi tabel menggunakan tanda waktu sekarang didukung untuk tabel Berbagi Delta dalam katalog
• Dukungan untuk fitur WHEN NOT MATCHED BY SOURCE pada MERGE INTO
• Kumpulan statistik yang dioptimalkan untuk CONVERT TO DELTA
• Dukungan Unity Catalog untuk melepas tetesan tabel

Fitur tabel Delta Lake yang didukung untuk manajemen protokol

Azure Databricks telah memperkenalkan dukungan untuk fitur tabel Delta Lake, yang memperkenalkan bendera granular yang menentukan fitur mana yang didukung oleh tabel tertentu. Lihat Bagaimana Azure Databricks mengelola kompatibilitas fitur Delta Lake?.

I/O prediktif untuk pembaruan ada di pratinjau publik

I/O prediktif sekarang mempercepat DELETEoperasi , MERGE, dan UPDATE untuk tabel Delta dengan vektor penghapusan diaktifkan pada komputasi yang diaktifkan Photon. Lihat Apa itu I/O prediktif?.

Catalog Explorer sekarang tersedia untuk semua persona

Catalog Explorer sekarang tersedia untuk semua persona Azure Databricks saat menggunakan Databricks Runtime 7.3 LTS ke atas.

Dukungan untuk beberapa operator stateful dalam satu kueri streaming

Pengguna sekarang dapat menautkan operator stateful dengan mode tambahan dalam kueri streaming. Tidak semua operator didukung sepenuhnya. Gabung interval waktu stream-stream dan flatMapGroupsWithState tidak mengizinkan operator stateful lainnya untuk ditautkan.

Dukungan untuk buffer protokol ada di Pratinjau Umum

Anda dapat menggunakan from_protobuf fungsi dan to_protobuf untuk bertukar data antara jenis biner dan struct. Lihat Buffer protokol baca dan tulis.

Dukungan untuk autentikasi Confluent Schema Registry

Integrasi Azure Databricks dengan Confluent Schema Registry sekarang mendukung alamat registri skema eksternal dengan autentikasi. Fitur ini tersedia untuk from_avrofungsi , to_avro, from_protobuf, dan to_protobuf . Lihat Protobuf atau Avro.

Dukungan untuk berbagi riwayat tabel dengan berbagi Berbagi Delta

Sekarang Anda dapat berbagi tabel dengan riwayat lengkap menggunakan Berbagi Delta, yang memungkinkan penerima melakukan kueri perjalanan waktu dan mengkueri tabel menggunakan Spark Structured Streaming. WITH HISTORY direkomendasikan alih-alih CHANGE DATA FEED, meskipun yang terakhir terus didukung. Lihat ALTER SHARE dan Tambahkan tabel ke bagikan.

Dukungan untuk streaming dengan berbagi Berbagi Delta

Spark Structured Streaming sekarang berfungsi dengan format deltasharing pada tabel Berbagi Delta sumber yang telah dibagikan menggunakan WITH HISTORY.

Versi tabel menggunakan tanda waktu sekarang didukung untuk tabel Berbagi Delta dalam katalog

Sekarang Anda dapat menggunakan sintaks TIMESTAMP AS OF SQL dalam SELECT pernyataan untuk menentukan versi tabel Berbagi Delta yang dipasang dalam katalog. Tabel harus dibagikan menggunakan WITH HISTORY.

Dukungan untuk WHEN NOT MATCHED BY SOURCE untuk MERGE INTO

Sekarang Anda dapat menambahkan WHEN NOT MATCHED BY SOURCE klausa untuk MERGE INTO memperbarui atau menghapus baris dalam tabel yang dipilih yang tidak memiliki kecocokan dalam tabel sumber berdasarkan kondisi penggabungan. Klausa baru tersedia di SQL, Python, Scala, dan Java. Lihat MERGE INTO.

Pengumpulan statistik yang dioptimalkan untuk CONVERT TO DELTA

Pengumpulan statistik untuk CONVERT TO DELTA operasi sekarang jauh lebih cepat. Ini mengurangi jumlah beban kerja yang mungkin digunakan NO STATISTICS untuk efisiensi.

Dukungan Unity Catalog untuk melepas tetesan tabel

Fitur ini awalnya dirilis di Pratinjau Umum. Ini adalah GA per 25 Oktober 2023.

Anda sekarang dapat membatalkan pengelompokan tabel terkelola atau eksternal yang dihilangkan dalam skema yang ada dalam waktu tujuh hari setelah dihilangkan. Lihat UNDROP TABLE dan SHOW TABLES DROPPED.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • filelock dari 3.8.0 hingga 3.8.2
  • platformdir dari 2.5.4 hingga 2.6.0
  • setuptools dari 58.0.4 hingga 61.2.0
• Pustaka R yang ditingkatkan:
• Pustaka Java yang ditingkatkan:
  • io.delta.delta-sharing-spark_2.12 dari 0.5.2 hingga 0.6.2
  • org.apache.hive.hive-storage-api dari 2.7.2 hingga 2.8.1
  • org.apache.parquet.parquet-column dari 1.12.3-databricks-0001 ke 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common dari 1.12.3-databricks-0001 hingga 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding dari 1.12.3-databricks-0001 ke 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures dari 1.12.3-databricks-0001 hingga 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop dari 1.12.3-databricks-0001 ke 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson dari 1.12.3-databricks-0001 ke 1.12.3-databricks-0002
  • org.tukaani.xz dari 1.8 hingga 1.9

Apache Spark

Databricks Runtime 12.1 menyertakan Apache Spark 3.3.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 12.0 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-41405] [SC-119769][12.1.0] Kembalikan "[SC-119411][SQL] Pusatkan logika resolusi kolom" dan "[SC-117170][SPARK-41338][SQL] Atasi referensi luar dan kolom normal dalam batch penganalisis yang sama"
• [SPARK-41405] [SC-119411][SQL] Memusatkan logika resolusi kolom
• [SPARK-41859] [SC-119514][SQL] CreateHiveTableAsSelectCommand harus mengatur bendera penimpaan dengan benar
• [SPARK-41659] [SC-119526][SAMBUNGKAN][12.X] Mengaktifkan doctest di pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][SQL] Memperbaiki regresi perf pembaca ORC karena fitur nilai DEFAULT
• [SPARK-41807] [SC-119399][CORE] Hapus kelas kesalahan yang tidak ada: UNSUPPORTED_FEATURE. DISTRIBUTE_BY
• [SPARK-41578] [12.x][SC-119273][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][SAMBUNGKAN] Menyimpulkan nama dari daftar kamus di SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][SPARK-41705][SAMBUNGKAN][12.X] Memindahkan dokumentasi dan skrip Spark Connect ke dokumentasi dev/ dan Python
• [SPARK-41534] [SC-119456][SAMBUNGKAN][SQL][12.x] Menyiapkan modul klien awal untuk Spark Connect
• [SPARK-41365] [SC-118498][UI][3.3] Halaman UI tahapan gagal dimuat untuk proksi di lingkungan yarn tertentu
• [SPARK-41481] [SC-118150][CORE][SQL] Gunakan INVALID_TYPED_LITERAL kembali alih-alih _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][SQL] Mengunjungi kembali penanganan ekspresi stateful
• [SPARK-41726] [SC-119248][SQL] Buka OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][SC-118348][SQL] Mendukung kueri SQL berparameter berdasarkan sql()
• [SPARK-41066] [SC-119344][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.sampleBy dan DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][SC-119012][SQL][SEMUA TES] Menarik keluar tulisan v1 ke WriteFiles
• [SPARK-41565] [SC-118868][SQL] Menambahkan kelas kesalahan UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][SQL] Fungsi DECODE mengembalikan hasil yang salah ketika diteruskan NULL
• [SPARK-41554] [SC-119274] perbaikan perubahan skala Desimal ketika skala menurun oleh m...
• [SPARK-41065] [SC-119324][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.freqItems dan DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][SPARK-41745][SAMBUNGKAN][12.X] Uji dokumen yang dapat diperpanjang dan tambahkan alias kolom yang hilang ke count()
• [SPARK-41069] [SC-119310][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.approxQuantile dan DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][SAMBUNGKAN][PyTHON] Membuat fungsi from_json mendukung Skema DataType
• [SPARK-41804] [SC-119382][SQL] Pilih ukuran elemen yang benar untuk InterpretedUnsafeProjection array UDT
• [SPARK-41786] [SC-119308][SAMBUNGKAN][PyTHON] Fungsi pembantu Deduplikasi
• [SPARK-41745] [SC-119378][SPARK-41789][12.X] Membuat createDataFrame daftar dukungan Baris
• [SPARK-41344] [SC-119217][SQL] Buat kesalahan lebih jelas ketika tabel tidak ditemukan di katalog SupportsCatalogOptions
• [SPARK-41803] [SC-119380][SAMBUNGKAN][PyTHON] Menambahkan fungsi yang hilang log(arg1, arg2)
• [SPARK-41808] [SC-119356][SAMBUNGKAN][PyTHON] Membuat opsi dukungan fungsi JSON
• [SPARK-41779] [SC-119275][SPARK-41771][SAMBUNGKAN][PyTHON] Buat __getitem__ filter dukungan dan pilih
• [SPARK-41783] [SC-119288][SPARK-41770][SAMBUNGKAN][PyTHON] Membuat dukungan op kolom Tidak Ada
• [SPARK-41440] [SC-119279][SAMBUNGKAN][PyTHON] Hindari operator cache untuk Sampel umum.
• [SPARK-41785] [SC-119290][SAMBUNGKAN][PyTHON] Alat GroupedData.mean
• [SPARK-41629] [SC-119276][SAMBUNGKAN] Dukungan untuk Ekstensi Protokol dalam Relasi dan Ekspresi
• [SPARK-41417] [SC-118000][CORE][SQL] Ganti nama _LEGACY_ERROR_TEMP_0019 menjadi INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][SAMBUNGKAN][12.X] Penanganan Kesalahan yang Tepat untuk Spark Connect Server / Client
• [SPARK-41292] [SC-119357][SAMBUNGKAN][12.X] Jendela Dukungan di namespace pyspark.sql.window
• [SPARK-41493] [SC-119339][SAMBUNGKAN][PyTHON] Membuat opsi dukungan fungsi csv
• [SPARK-39591] [SC-118675][SS] Pelacakan Kemajuan Asinkron
• [SPARK-41767] [SC-119337][SAMBUNGKAN][PyTHON][12.X] Alat Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][SAMBUNGKAN][PyTHON] Alat DataFrame.stat.corr
• [SPARK-41655] [SC-119323][SAMBUNGKAN][12.X] Mengaktifkan doctest di pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][SAMBUNGKAN] Mencampur ClientId dalam cache SparkSession
• [SPARK-41354] [SC-119194][SAMBUNGKAN] Tambahkan RepartitionByExpression ke proto
• [SPARK-41784] [SC-119289][SAMBUNGKAN][PyTHON] Tambahkan hilang __rmod__ di Kolom
• [SPARK-41778] [SC-119262][SQL] Menambahkan alias "reduce" ke ArrayAggregate
• [SPARK-41067] [SC-119171][SAMBUNGKAN][PyTHON] Alat DataFrame.stat.cov
• [SPARK-41764] [SC-119216][SAMBUNGKAN][PyTHON] Buat nama op string internal konsisten dengan FunctionRegistry
• [SPARK-41734] [SC-119160][SAMBUNGKAN] Menambahkan pesan induk untuk Katalog
• [SPARK-41742] [SC-119263] Mendukung df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][SAMBUNGKAN][PyTHON] Perbaiki ops aritmatika: __neg__, , __pow____rpow__
• [SPARK-41062] [SC-118182][SQL] Ganti nama UNSUPPORTED_CORRELATED_REFERENCE menjadi CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][SAMBUNGKAN][PyTHON] Perbaiki Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][SAMBUNGKAN][PyTHON][12.X] Menerapkan unwrap_udt fungsi
• [SPARK-41333] [SC-119195][SPARK-41737] Alat GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][SAMBUNGKAN][PyTHON] Perbaiki Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][SQL] Mendukung resolusi alias kolom lateral implisit pada Agregat
• [SPARK-41529] [SC-119207][SAMBUNGKAN][12.X] Menerapkan SparkSession.stop
• [SPARK-41729] [SC-119205][CORE][SQL][12.X] Ganti nama _LEGACY_ERROR_TEMP_0011 menjadi UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][SAMBUNGKAN][12.X] Cetak Deduplikasi dan repr_html di LogicalPlan
• [SPARK-41740] [SC-119169][SAMBUNGKAN][PyTHON] Alat Column.name
• [SPARK-41733] [SC-119163][SQL][SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan ResolveWindowTime
• [SPARK-41732] [SC-119157][SQL][SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
• [SPARK-41498] [SC-119018] Menyebarkan metadata melalui Union
• [SPARK-41731] [SC-119166][SAMBUNGKAN][PyTHON][12.X] Menerapkan pengakses kolom
• [SPARK-41736] [SC-119161][SAMBUNGKAN][PyTHON] pyspark_types_to_proto_types harus mendukung ArrayType
• [SPARK-41473] [SC-119092][SAMBUNGKAN][PyTHON] Menerapkan format_number fungsi
• [SPARK-41707] [SC-119141][SAMBUNGKAN][12.X] Menerapkan API Katalog di Spark Connect
• [SPARK-41710] [SC-119062][SAMBUNGKAN][PyTHON] Alat Column.between
• [SPARK-41235] [SC-119088][SQL][PyTHON]Fungsi urutan tinggi: implementasi array_compact
• [SPARK-41518] [SC-118453][SQL] Menetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][SAMBUNGKAN][PyTHON] Menerapkan sequence fungsi
• [SPARK-41703] [SC-119060][SAMBUNGKAN][PyTHON] Menggabungkan NullType dan typed_null dalam Literal
• [SPARK-41722] [SC-119090][SAMBUNGKAN][PyTHON] Menerapkan 3 fungsi jendela waktu yang hilang
• [SPARK-41503] [SC-119043][SAMBUNGKAN][PyTHON] Menerapkan Fungsi Transformasi Partisi
• [SPARK-41413] [SC-118968][SQL] Hindari pengacakan di Storage-Partitioned Join saat kunci partisi tidak cocok, tetapi ekspresi gabungan kompatibel
• [SPARK-41700] [SC-119046][SAMBUNGKAN][PyTHON] Buka FunctionBuilder
• [SPARK-41706] [SC-119094][SAMBUNGKAN][PyTHON] pyspark_types_to_proto_types harus mendukung MapType
• [SPARK-41702] [SC-119049][SAMBUNGKAN][PyTHON] Menambahkan ops kolom yang tidak valid
• [SPARK-41660] [SC-118866][SQL] Hanya sebarkan kolom metadata jika digunakan
• [SPARK-41637] [SC-119003][SQL] ORDER BY ALL
• [SPARK-41513] [SC-118945][SQL] Menerapkan akumulator untuk mengumpulkan metrik jumlah baris per pemeta
• [SPARK-41647] [SC-119064][SAMBUNGKAN][12.X] Deduplikasi docstring di pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][SAMBUNGKAN][PyTHON] Membuat dukungan operasi kolom decimal
• [SPARK-41383] [SC-119015][SPARK-41692][SPARK-41693] Menerapkan rollup, cube dan pivot
• [SPARK-41635] [SC-118944][SQL] GROUP BY ALL
• [SPARK-41645] [SC-119057][SAMBUNGKAN][12.X] Deduplikasi docstring di pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][SAMBUNGKAN][PyTHON] Pindahkan Ekspresi ke expressions.py
• [SPARK-41687] [SC-118949][SAMBUNGKAN] Deduplikasi docstring di pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][SAMBUNGKAN] Deduplikasi docstring di pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][SAMBUNGKAN] Factor GroupedData keluar ke group.py
• [SPARK-41292] [SC-119038][SPARK-41640][SPARK-41641][SAMBUNGKAN][PyTHON][12.X] Menerapkan Window fungsi
• [SPARK-41675] [SC-119031][SC-118934][SAMBUNGKAN][PyTHON][12.X] Membuat dukungan Column op datetime
• [SPARK-41672] [SC-118929][SAMBUNGKAN][PyTHON] Mengaktifkan fungsi yang tidak digunakan lagi
• [SPARK-41673] [SC-118932][SAMBUNGKAN][PyTHON] Alat Column.astype
• [SPARK-41364] [SC-118865][SAMBUNGKAN][PyTHON] Menerapkan broadcast fungsi
• [SPARK-41648] [SC-118914][SAMBUNGKAN][12.X] Deduplikasi docstring di pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][SAMBUNGKAN][12.X] Deduplikasi docstring di pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][SAMBUNGKAN][12.X] Deduplikasi docstring di pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][SAMBUNGKAN][PyTHON][12.X] Menerapkan fungsi Lambda lainnya
• [SPARK-41441] [SC-118557][SQL] Dukungan Hasilkan tanpa output anak yang diperlukan untuk menghosting referensi luar
• [SPARK-41669] [SC-118923][SQL] Pemangkasan awal di canCollapseExpressions
• [SPARK-41639] [SC-118927][SQL][PROTOBUF] : Hapus ScalaReflectionLock dari SchemaConverters
• [SPARK-41464] [SC-118861][SAMBUNGKAN][PyTHON] Alat DataFrame.to
• [SPARK-41434] [SC-118857][SAMBUNGKAN][PyTHON] Implementasi awal LambdaFunction
• [SPARK-41539] [SC-118802][SQL] Remap statistik dan batasan terhadap output dalam rencana logis untuk LogicalRDD
• [SPARK-41396] [SC-118786][SQL][PROTOBUF] Dukungan bidang OneOf dan pemeriksaan rekursi
• [SPARK-41528] [SC-118769][SAMBUNGKAN][12.X] Gabungkan namespace Spark Connect dan PySpark API
• [SPARK-41568] [SC-118715][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][SAMBUNGKAN][PyTHON] Alat DataFrame.randomSplit
• [SPARK-41583] [SC-118718][SC-118642][SAMBUNGKAN][PROTOBUF] Tambahkan Spark Connect dan protobuf ke setup.py dengan menentukan dependensi
• [SPARK-27561] [SC-101081][12.x][SQL] Mendukung resolusi alias kolom lateral implisit pada Project
• [SPARK-41535] [SC-118645][SQL] Atur null dengan benar untuk bidang interval kalender di InterpretedUnsafeProjection dan InterpretedMutableProjection
• [SPARK-40687] [SC-118439][SQL] Mendukung fungsi bawaan masking data 'mask'
• [SPARK-41520] [SC-118440][SQL] Pisahkan AND_OR TreePattern untuk memisahkan AND dan OR TreePatterns
• [SPARK-41349] [SC-118668][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.hint
• [SPARK-41546] [SC-118541][SAMBUNGKAN][PyTHON] pyspark_types_to_proto_types harus mendukung StructType.
• [SPARK-41334] [SC-118549][SAMBUNGKAN][PyTHON] Memindahkan SortOrder proto dari relasi ke ekspresi
• [SPARK-41387] [SC-118450][SS] Menegaskan offset akhir saat ini dari sumber data Kafka untuk Trigger.AvailableNow
• [SPARK-41508] [SC-118445][CORE][SQL] Ganti nama _LEGACY_ERROR_TEMP_1180 menjadi UNEXPECTED_INPUT_TYPE dan hapus _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][SAMBUNGKAN][PyTHON] Terapkan Kolom. {when, otherwise} dan Function when with UnresolvedFunction
• [SPARK-41541] [SC-118460][SQL] Memperbaiki panggilan ke metode anak yang salah di SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][SAMBUNGKAN][PyTHON] Alat DataFrame.subtract
• [SPARK-41248] [SC-118436][SC-118303][SQL] Tambahkan "spark.sql.json.enablePartialResults" untuk mengaktifkan/menonaktifkan hasil parsial JSON
• [SPARK-41437] Kembalikan "[SC-117601][SQL] Jangan optimalkan kueri input dua kali untuk v1 write fallback"
• [SPARK-41472] [SC-118352][SAMBUNGKAN][PyTHON] Menerapkan fungsi string/biner lainnya
• [SPARK-41526] [SC-118355][SAMBUNGKAN][PyTHON] Alat Column.isin
• [SPARK-32170] [SC-118384] [CORE] Tingkatkan spekulasi melalui metrik tugas tahapan.
• [SPARK-41524] [SC-118399][SS] Membedakan SQLConf dan extraOptions di StateStoreConf untuk penggunaannya di RocksDBConf
• [SPARK-41465] [SC-118381][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][SQL] Dukungan LongToUnsafeRowMap ignoresDuplicatedKey
• [SPARK-41409] [SC-118302][CORE][SQL] Ganti nama _LEGACY_ERROR_TEMP_1043 menjadi WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][SAMBUNGKAN][PyTHON] Alat DataFrame.colRegex
• [SPARK-41437] [SC-117601][SQL] Jangan optimalkan kueri input dua kali untuk fallback tulis v1
• [SPARK-41314] [SC-117172][SQL] Menetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][SAMBUNGKAN][PyTHON] Refaktor LiteralExpression untuk mendukung DataType
• [SPARK-41448] [SC-118046] Membuat ID pekerjaan MR yang konsisten di FileBatchWriter dan FileFormatWriter
• [SPARK-41456] [SC-117970][SQL] Meningkatkan performa try_cast
• [SPARK-41495] [SC-118125][SAMBUNGKAN][PyTHON] Menerapkan collection fungsi: P~Z
• [SPARK-41478] [SC-118167][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][SQL] Pesan kesalahan refaktor untuk NUM_COLUMNS_MISMATCH membuatnya lebih umum
• [SPARK-41404] [SC-118016][SQL] Refaktor ColumnVectorUtils#toBatch untuk membuat ColumnarBatchSuite#testRandomRows pengujian dataType yang lebih primitif
• [SPARK-41468] [SC-118044][SQL] Memperbaiki penanganan PlanExpression di EquivalentExpressions
• [SPARK-40775] [SC-118045][SQL] Memperbaiki entri deskripsi duplikat untuk pemindaian file V2
• [SPARK-41492] [SC-118042][SAMBUNGKAN][PyTHON] Menerapkan fungsi MISC
• [SPARK-41459] [SC-118005][SQL] memperbaiki output log operasi server thrift kosong
• [SPARK-41395] [SC-117899][SQL] InterpretedMutableProjection harus digunakan setDecimal untuk mengatur nilai null untuk desimal dalam baris yang tidak aman
• [SPARK-41376] [SC-117840][CORE][3.3] Koreksi logika pemeriksaan Netty preferDirectBufs pada awal pelaksana
• [SPARK-41484] [SC-118159][SC-118036][SAMBUNGKAN][PyTHON][12.x] Menerapkan collection fungsi: E~M
• [SPARK-41389] [SC-117426][CORE][SQL] Gunakan WRONG_NUM_ARGS kembali alih-alih _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][SQL] Jenis tanggal dan tanda waktu dapat di-cast ke TimestampNTZ
• [SPARK-41435] [SC-117810][SQL] Ubah untuk memanggil invalidFunctionArgumentsErrorcurdate() kapan expressions tidak kosong
• [SPARK-41187] [SC-118030][CORE] Memori LiveExecutorLeak di AppStatusListener saat ExecutorLost terjadi
• [SPARK-41360] [SC-118083][CORE] Hindari pendaftaran ulang BlockManager jika pelaksana telah hilang
• [SPARK-41378] [SC-117686][SQL] Statistik Kolom Dukungan di DS v2
• [SPARK-41402] [SC-117910][SQL][SAMBUNGKAN][12.X] Mengambil alih prettyName dari StringDecode
• [SPARK-41414] [SC-118041][SAMBUNGKAN][PyTHON][12.x] Menerapkan fungsi tanggal/tanda waktu
• [SPARK-41329] [SC-117975][SAMBUNGKAN] Mengatasi impor melingkar di Spark Connect
• [SPARK-41477] [SC-118025][SAMBUNGKAN][PyTHON] Menyimpulkan dengan benar jenis data bilangan bulat harfiah
• [SPARK-41446] [SC-118024][SAMBUNGKAN][PyTHON][12.x] Membuat createDataFrame skema dukungan dan jenis himpunan data input lainnya
• [SPARK-41475] [SC-117997][SAMBUNGKAN] Memperbaiki kesalahan perintah lint-scala dan kesalahan ketik
• [SPARK-38277] [SC-117799][SS] Hapus batch tulis setelah penerapan penyimpanan status RocksDB
• [SPARK-41375] [SC-117801][SS] Hindari KafkaSourceOffset terbaru yang kosong
• [SPARK-41412] [SC-118015][SAMBUNGKAN] Alat Column.cast
• [SPARK-41439] [SC-117893][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.melt dan DataFrame.unpivot
• [SPARK-41399] [SC-118007][SC-117474][SAMBUNGKAN] Merefaktor pengujian terkait kolom ke test_connect_column
• [SPARK-41351] [SC-117957][SC-117412][SAMBUNGKAN][12.x] Kolom harus mendukung operator !=
• [SPARK-40697] [SC-117806][SC-112787][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
• [SPARK-41349] [SC-117594][SAMBUNGKAN][12.X] Menerapkan DataFrame.hint
• [SPARK-41338] [SC-117170][SQL] Mengatasi referensi luar dan kolom normal dalam batch penganalisis yang sama
• [SPARK-41436] [SC-117805][SAMBUNGKAN][PyTHON] Menerapkan collection fungsi: A~C
• [SPARK-41445] [SC-117802][SAMBUNGKAN] Menerapkan DataFrameReader.parquet
• [SPARK-41452] [SC-117865][SQL] to_char harus mengembalikan null ketika format null
• [SPARK-41444] [SC-117796][SAMBUNGKAN] Dukungan read.json()
• [SPARK-41398] [SC-117508][SQL] Melonggarkan batasan pada Storage-Partitioned Join saat kunci partisi setelah pemfilteran runtime tidak cocok
• [SPARK-41228] [SC-117169][SQL] Ganti nama & Tingkatkan pesan kesalahan untuk COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][SAMBUNGKAN][PyTHON] Menerapkan count_distinct dan sum_distinct fungsi
• [SPARK-41433] [SC-117596][SAMBUNGKAN] Membuat Ukuran Batch Panah Maks dapat dikonfigurasi
• [SPARK-41397] [SC-117590][SAMBUNGKAN][PyTHON] Menerapkan bagian dari fungsi string/biner
• [SPARK-41382] [SC-117588][SAMBUNGKAN][PyTHON] Menerapkan product fungsi
• [SPARK-41403] [SC-117595][SAMBUNGKAN][PyTHON] Alat DataFrame.describe
• [SPARK-41366] [SC-117580][SAMBUNGKAN] DF.groupby.agg() harus kompatibel
• [SPARK-41369] [SC-117584][SAMBUNGKAN] Menambahkan sambungkan umum ke jar berbayang server
• [SPARK-41411] [SC-117562][SS] Marka air Operator Multi-Stateful mendukung perbaikan bug
• [SPARK-41176] [SC-116630][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][SAMBUNGKAN][PyTHON][12.X] Menerapkan fungsi agregasi
• [SPARK-41363] [SC-117470][SAMBUNGKAN][PyTHON][12.X] Menerapkan fungsi normal
• [SPARK-41305] [SC-117411][SAMBUNGKAN] Meningkatkan Dokumentasi untuk Proto Perintah
• [SPARK-41372] [SC-117427][SAMBUNGKAN][PyTHON] Menerapkan DataFrame TempView
• [SPARK-41379] [SC-117420][SS][PyTHON] Menyediakan sesi spark kloning di DataFrame dalam fungsi pengguna untuk sink foreachBatch di PySpark
• [SPARK-41373] [SC-117405][SQL][KESALAHAN] Ganti nama CAST_WITH_FUN_SUGGESTION menjadi CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][SQL] Metode refaktor ColumnVectorUtils#populate untuk digunakan PhysicalDataType alih-alih DataType
• [SPARK-41355] [SC-117423][SQL] Penanganan masalah validasi nama tabel apache hive
• [SPARK-41390] [SC-117429][SQL] Memperbarui skrip yang digunakan untuk menghasilkan register fungsi di UDFRegistration
• [SPARK-41206] [SC-117233][SC-116381][SQL] Ganti nama kelas _LEGACY_ERROR_TEMP_1233 kesalahan menjadi COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][SAMBUNGKAN][PyTHON][12.X] Menerapkan fungsi matematika
• [SPARK-40970] [SC-117308][SAMBUNGKAN][PyTHON] Daftar Dukungan[Kolom] untuk argumen On Join
• [SPARK-41345] [SC-117178][SAMBUNGKAN] Tambahkan Petunjuk untuk Menyambungkan Proto
• [SPARK-41226] [SC-117194][SQL][12.x] Refaktor jenis Spark dengan memperkenalkan jenis fisik
• [SPARK-41317] [SC-116902][SAMBUNGKAN][PyTHON][12.X] Menambahkan dukungan dasar untuk DataFrameWriter
• [SPARK-41347] [SC-117173][SAMBUNGKAN] Menambahkan cast ke ekspresi proto
• [SPARK-41323] [SC-117128][SQL] Current_schema Dukungan
• [SPARK-41339] [SC-117171][SQL] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya membersihkan
• [SPARK-41227] [SC-117165][SAMBUNGKAN][PyTHON] Menerapkan gabungan silang DataFrame
• [SPARK-41346] [SC-117176][SAMBUNGKAN][PyTHON] Menerapkan asc dan desc fungsi
• [SPARK-41343] [SC-117166][SAMBUNGKAN] Memindahkan penguraian FunctionName ke sisi server
• [SPARK-41321] [SC-117163][SAMBUNGKAN] Bidang target dukungan untuk UnresolvedStar
• [SPARK-41237] [SC-117167][SQL] Gunakan kembali kelas UNSUPPORTED_DATATYPE kesalahan untuk _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][SQL] Gunakan INVALID_SCHEMA.NON_STRING_LITERAL kembali alih-alih _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PyTHON][R][SS][AVRO] Mengoptimalkan penggunaan konstruktor StructType
• [SPARK-41335] [SC-117135][SAMBUNGKAN][PyTHON] Mendukung IsNull dan IsNotNull di Kolom
• [SPARK-41332] [SC-117131][SAMBUNGKAN][PyTHON] Perbaiki nullOrdering di SortOrder
• [SPARK-41325] [SC-117132][SAMBUNGKAN][12.X] Memperbaiki avg() yang hilang untuk GroupBy di DF
• [SPARK-41327] [SC-117137][CORE] Perbaiki SparkStatusTracker.getExecutorInfos dengan mengaktifkan/OffHeapStorageMemory info
• [SPARK-41315] [SC-117129][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.replace dan DataFrame.na.replace
• [SPARK-41328] [SC-117125][SAMBUNGKAN][PyTHON] Menambahkan API logis dan string ke Kolom
• [SPARK-41331] [SC-117127][SAMBUNGKAN][PyTHON] Tambahkan orderBy dan drop_duplicates
• [SPARK-40987] [SC-117124][CORE] BlockManager#removeBlockInternal harus memastikan kunci tidak terkunci dengan baik
• [SPARK-41268] [SC-117102][SC-116970][SAMBUNGKAN][PyTHON] Refaktor "Kolom" untuk Kompatibilitas API
• [SPARK-41312] [SC-116881][SAMBUNGKAN][PyTHON][12.X] Menerapkan DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][SQL] Menambahkan kelas kesalahan INVALID_FORMAT
• [SPARK-41272] [SC-116742][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][SQL] Gunakan INVALID_SCHEMA kembali alih-alih _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][PyTHON][SS][12.X] Transmisikan instans NumPy ke jenis primitif Python dalam pembaruan GroupState
• [SPARK-41174] [SC-116609][CORE][SQL] Menyebarkan kelas kesalahan kepada pengguna untuk tidak valid formatto_binary()
• [SPARK-41264] [SC-116971][SAMBUNGKAN][PyTHON] Membuat dukungan Literal lebih banyak jenis data
• [SPARK-41326] [SC-116972] [SAMBUNGKAN] Memperbaiki deduplikasi kehilangan input
• [SPARK-41316] [SC-116900][SQL] Mengaktifkan rekursi ekor sedapat mungkin
• [SPARK-41297] [SC-116931] [SAMBUNGKAN] [PyTHON] Mendukung Ekspresi String dalam filter.
• [SPARK-41256] [SC-116932][SC-116883][SAMBUNGKAN] Menerapkan DataFrame.withColumn
• [SPARK-41182] [SC-116632][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][SQL] Memigrasikan kesalahan opsi peta ke kelas kesalahan
• [SPARK-40940] [SC-115993][12.x] Hapus pemeriksa operator multi-stateful untuk kueri streaming.
• [SPARK-41310] [SC-116885][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.toDF
• [SPARK-41179] [SC-116631][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][SQL] BHJ LeftAnti tidak memperbarui numOutputRows saat codegen dinonaktifkan
• [SPARK-41148] [SC-116878][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.dropna dan DataFrame.na.drop
• [SPARK-41217] [SC-116380][SQL] Menambahkan kelas kesalahan FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][SAMBUNGKAN][PyTHON] Meningkatkan DataFrame.count()
• [SPARK-41301] [SC-116786] [SAMBUNGKAN] Homogenisasi Perilaku untuk SparkSession.range()
• [SPARK-41306] [SC-116860][SAMBUNGKAN] Meningkatkan dokumentasi proto Connect Expression
• [SPARK-41280] [SC-116733][SAMBUNGKAN] Menerapkan DataFrame.tail
• [SPARK-41300] [SC-116751] [SAMBUNGKAN] Skema yang tidak diatur ditafsirkan sebagai Skema
• [SPARK-41255] [SC-116730][SC-116695] [SAMBUNGKAN] Ganti nama RemoteSparkSession
• [SPARK-41250] [SC-116788][SC-116633][SAMBUNGKAN][PyTHON] DataFrame. toPandas tidak boleh mengembalikan dataframe panda opsional
• [SPARK-41291] [SC-116738][SAMBUNGKAN][PyTHON] DataFrame.explain harus mencetak dan mengembalikan Tidak Ada
• [SPARK-41278] [SC-116732][SAMBUNGKAN] Membersihkan QualifiedAttribute yang tidak digunakan di Expression.proto
• [SPARK-41097] [SC-116653][CORE][SQL][SS][PROTOBUF] Menghapus basis konversi koleksi redundan pada kode Scala 2.13
• [SPARK-41261] [SC-116718][PyTHON][SS] Memperbaiki masalah untuk applyInPandasWithState ketika kolom kunci pengelompokan tidak ditempatkan secara berurutan dari awal
• [SPARK-40872] [SC-116717][3.3] Fallback ke blok acak asli ketika potongan acak yang digabungkan dorong berukuran nol
• [SPARK-41114] [SC-116628][SAMBUNGKAN] Mendukung data lokal untuk LocalRelation
• [SPARK-41216] [SC-116678][SAMBUNGKAN][PyTHON] Alat DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][SAMBUNGKAN][PyTHON] Mendukung lebih banyak jenis data bawaan
• [SPARK-41230] [SC-116674][SAMBUNGKAN][PyTHON] Hapus str dari jenis ekspresi agregat
• [SPARK-41224] [SC-116652][SPARK-41165][SPARK-41184][SAMBUNGKAN] Implementasi pengumpulan berbasis Panah yang Dioptimalkan untuk mengalirkan dari server ke klien
• [SPARK-41222] [SC-116625][SAMBUNGKAN][PyTHON] Menyatukan definisi pengetikan
• [SPARK-41225] [SC-116623] [SAMBUNGKAN] [PyTHON] Nonaktifkan fungsi yang tidak didukung.
• [SPARK-41201] [SC-116526][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.SelectExpr di klien Python
• [SPARK-41203] [SC-116258] [SAMBUNGKAN] Mendukung Dataframe.tansform di klien Python.
• [SPARK-41213] [SC-116375][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.__repr__ dan DataFrame.dtypes
• [SPARK-41169] [SC-116378][SAMBUNGKAN][PyTHON] Alat DataFrame.drop
• [SPARK-41172] [SC-116245][SQL] Memigrasikan kesalahan ref ambigu ke kelas kesalahan
• [SPARK-41122] [SC-116141][SAMBUNGKAN] Menjelaskan API dapat mendukung mode yang berbeda
• [SPARK-41209] [SC-116584][SC-116376][PyTHON] Meningkatkan inferensi jenis PySpark dalam metode _merge_type
• [SPARK-41196] [SC-116555][SC-116179] [SAMBUNGKAN] Homogenisasi versi protobuf di seluruh server Spark connect untuk menggunakan versi utama yang sama.
• [SPARK-35531] [SC-116409][SQL] Memperbarui statistik tabel apache hive tanpa konversi yang tidak perlu
• [SPARK-41154] [SC-116289][SQL] Penembolokan relasi yang salah untuk kueri dengan spesifikasi perjalanan waktu
• [SPARK-41212] [SC-116554][SC-116389][SAMBUNGKAN][PyTHON] Alat DataFrame.isEmpty
• [SPARK-41135] [SC-116400][SQL] Ganti nama UNSUPPORTED_EMPTY_LOCATION menjadi INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][SQL] Menambahkan API ekstensi untuk melakukan normalisasi rencana untuk penembolokan
• [SPARK-41054] [SC-116447][UI][CORE] Mendukung RocksDB sebagai KVStore di antarmuka pengguna langsung
• [SPARK-38550] [SC-115223]Kembalikan "[SQL][CORE] Gunakan penyimpanan berbasis disk untuk menyimpan lebih banyak informasi debug untuk antarmuka pengguna langsung"
• [SPARK-41173] [SC-116185][SQL] Pindah require() dari konstruktor ekspresi string
• [SPARK-41188] [SC-116242][CORE][ML] Atur executorEnv OMP_NUM_THREADS menjadi spark.task.cpus secara default untuk proses JVM pelaksana spark
• [SPARK-41130] [SC-116155][SQL] Ganti nama OUT_OF_DECIMAL_TYPE_RANGE menjadi NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][SQL] Mengurangi konversi koleksi saat membuat AttributeMap
• [SPARK-41139] [SC-115983][SQL] Tingkatkan kelas kesalahan: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][PROTOBUF] Memerlukan bayangan untuk jar kelas Java, meningkatkan penanganan kesalahan
• [SPARK-40999] [SC-116168] Penyebaran petunjuk ke subkueri
• [SPARK-41017] [SC-116054][SQL] Pemangkasan kolom dukungan dengan beberapa Filter nondeterministik
• [SPARK-40834] [SC-114773][SQL] Menggunakan SparkListenerSQLExecutionEnd untuk melacak status SQL akhir di UI
• [SPARK-41118] [SC-116027][SQL] to_number/try_to_number harus kembali null ketika format adalah null
• [SPARK-39799] [SC-115984][SQL] DataSourceV2: Menampilkan antarmuka katalog
• [SPARK-40665] [SC-116210][SC-112300][SAMBUNGKAN] Hindari menyematkan Spark Connect di rilis biner Apache Spark
• [SPARK-41048] [SC-116043][SQL] Meningkatkan partisi dan pengurutan output dengan cache AQE
• [SPARK-41198] [SC-116256][SS] Memperbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
• [SPARK-41199] [SC-116244][SS] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
• [SPARK-40957] [SC-116261][SC-114706] Menambahkan cache memori di HDFSMetadataLog
• [SPARK-40940] Kembalikan "[SC-115993] Hapus pemeriksa operator Multi-stateful untuk kueri streaming."
• [SPARK-41090] [SC-116040][SQL] Lempar Pengecualian untuk db_name.view_name saat membuat tampilan sementara oleh API Himpunan Data
• [SPARK-41133] [SC-116085][SQL] Mengintegrasikan UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION ke dalam NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][SC-111442][SAMBUNGKAN] Penerapan Code Dump 9
• [SPARK-40448] [SC-114447][SC-111314][SAMBUNGKAN] Build Spark Connect sebagai Plugin Driver dengan Dependensi Berbayang
• [SPARK-41096] [SC-115812][SQL] Mendukung pembacaan jenis FIXED_LEN_BYTE_ARRAY parkquet
• [SPARK-41140] [SC-115879][SQL] Ganti nama kelas _LEGACY_ERROR_TEMP_2440 kesalahan menjadi INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][SQL] Ketidakcocokan antara FileSourceScanExec dan Orc dan ParquetFileFormat tentang menghasilkan output kolom
• [SPARK-41155] [SC-115991][SQL] Menambahkan pesan kesalahan ke SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Hapus pemeriksa operator multi-stateful untuk kueri streaming.
• [SPARK-41098] [SC-115790][SQL] Ganti nama GROUP_BY_POS_REFERS_AGG_EXPR menjadi GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][SQL] Migrasikan kegagalan pemeriksaan jenis pemformatan angka ke kelas kesalahan
• [SPARK-41059] [SC-115658][SQL] Ganti nama _LEGACY_ERROR_TEMP_2420 menjadi NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][SQL] Konversi DATATYPE_MISMATCH. UNSPECIFIED_FRAME ke INTERNAL_ERROR
• [SPARK-40973] [SC-115132][SQL] Ganti nama _LEGACY_ERROR_TEMP_0055 menjadi UNCLOSED_BRACKETED_COMMENT

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 12.1.

Lingkungan sistem

• Sistem Operasi: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Danau Delta: 2.2.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2022-11-11.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)