Databricks Runtime 14.3 LTS

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 14.3 LTS, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada Februari 2024.

Fitur dan peningkatan baru

• Dukungan sistem file ruang kerja di PySpark User-Defined Functions (UDF) pada kluster bersama
• Dukungan untuk pengoptimalan vektor MERGE penghapusan tanpa Photon
• API katalog Spark sekarang didukung penuh dalam mode akses bersama
• Delta UniForm sekarang tersedia secara umum
• fungsi SQL Baru EXECUTE IMMEDIATE
• Komputasi ulang statistik lompati data untuk tabel Delta
• Informasi status kueri untuk kueri streaming stateful
• Menggunakan ID Microsoft Entra untuk autentikasi Kafka pada kluster bersama
• Dukungan ditambahkan untuk pemangkasan file dan partisi untuk meningkatkan performa kueri
• Mendeklarasikan variabel sementara dalam Sesi SQL
• Pembaruan thriftserver untuk menghapus fitur yang tidak digunakan
• Menggunakan file truststore dan keystore dalam volume Katalog Unity
• Dukungan format file XML asli (Pratinjau Umum)
• Dukungan untuk penyimpanan Cloudflare R2 (Pratinjau Umum)
• Akses Spark dan dbutils ke dukungan file ruang kerja pada kluster Unity Catalog akses bersama
• Skrip init dan dukungan pustaka kluster pada kluster Unity Catalog akses bersama

Dukungan sistem file ruang kerja di PySpark User-Defined Functions (UDF) pada kluster bersama

UDF PySpark pada kluster bersama sekarang dapat mengimpor modul Python dari folder Git, file ruang kerja, atau volume UC.

Untuk informasi selengkapnya tentang bekerja dengan modul di folder Git atau file ruang kerja, lihat Bekerja dengan modul Python dan R.

Dukungan untuk pengoptimalan vektor MERGE penghapusan tanpa Photon

Photon tidak lagi diperlukan untuk MERGE operasi guna memanfaatkan pengoptimalan vektor penghapusan. Lihat Apa itu vektor penghapusan?.

API katalog Spark sekarang didukung penuh dalam mode akses bersama

Anda sekarang dapat menggunakan semua fungsi dalam spark.catalog API di Python dan Scala pada komputasi yang dikonfigurasi dengan mode akses bersama.

Delta UniForm sekarang tersedia secara umum

UniForm sekarang tersedia secara umum dan menggunakan IcebergCompatV2 fitur tabel. Sekarang Anda dapat mengaktifkan atau memutakhirkan UniForm pada tabel yang sudah ada. Lihat tabel Read Delta dengan klien Iceberg.

EXECUTE IMMEDIATE fungsi SQL baru

Anda sekarang dapat menggunakan sintaks EXECUTE IMMEDIATE untuk mendukung kueri berparameter di SQL. Lihat EXECUTE IMMEDIATE.

Komputasi ulang statistik lompati data untuk tabel Delta

Anda sekarang dapat mengolah ulang statistik yang disimpan di log Delta setelah mengubah kolom yang digunakan untuk melewatkan data. Lihat Menentukan kolom statistik Delta.

Informasi status kueri untuk kueri streaming stateful

Sekarang Anda dapat mengkueri data dan metadata status Streaming Terstruktur. Lihat Membaca informasi status Streaming Terstruktur.

Menggunakan ID Microsoft Entra untuk autentikasi Kafka pada kluster bersama

Anda sekarang dapat mengautentikasi layanan Azure Event Hubs melalui OAuth dengan ID Microsoft Entra pada komputasi yang dikonfigurasi dengan mode akses bersama. Lihat Autentikasi Perwakilan Layanan dengan ID Microsoft Entra dan Azure Event Hubs.

Dukungan ditambahkan untuk pemangkasan file dan partisi untuk meningkatkan performa kueri

Untuk mempercepat beberapa kueri yang mengandalkan kesetaraan toleran null dalam kondisi JOIN, kami sekarang mendukung DynamicFilePruning dan DynamicPartitionPruning untuk operator EqualNullSafe di JOIN.

Mendeklarasikan variabel sementara dalam Sesi SQL

Rilis ini memperkenalkan kemampuan untuk mendeklarasikan variabel sementara dalam sesi yang dapat diatur dan kemudian dirujuk dari dalam kueri. Lihat Variabel.

Pembaruan thriftserver untuk menghapus fitur yang tidak digunakan

Kode Thriftserver telah diperbarui untuk menghapus kode untuk fitur usang. Karena perubahan ini, konfigurasi berikut tidak lagi didukung:

• JAR tambahan Apache Hive, yang dikonfigurasi menggunakan hive.aux.jars.path properti , tidak didukung lagi untuk hive-thriftserver koneksi.
• File init global Apache Hive (.hiverc), yang lokasinya dikonfigurasi menggunakan hive.server2.global.init.file.location properti atau HIVE_CONF_DIR variabel lingkungan, tidak didukung lagi untuk hive-thriftserver koneksi.

Menggunakan file truststore dan keystore dalam volume Katalog Unity

Anda sekarang dapat menggunakan file truststore dan keystore dalam volume Unity Catalog untuk mengautentikasi ke Confluent Schema Registry untuk data buffer avro atau protokol. Lihat dokumentasi untuk buffer avro atau protokol.

Dukungan format file XML asli (Pratinjau Umum)

Dukungan format file XML asli sekarang ada di Pratinjau Umum. Dukungan format file XML memungkinkan penyerapan, kueri, dan penguraian data XML untuk pemrosesan atau streaming batch. Ini dapat secara otomatis menyimpulkan dan mengembangkan skema dan jenis data, mendukung ekspresi SQL seperti from_xml, dan dapat menghasilkan dokumen XML. Ini tidak memerlukan jar eksternal dan berfungsi dengan mulus dengan Auto Loader, read_files, COPY INTO, dan Delta Live Tables. Lihat Membaca dan menulis file XML.

Dukungan untuk penyimpanan Cloudflare R2 (Pratinjau Umum)

Anda sekarang dapat menggunakan Cloudflare R2 sebagai penyimpanan cloud untuk data yang terdaftar di Unity Catalog. Cloudflare R2 ditujukan terutama untuk kasus penggunaan Berbagi Delta di mana Anda ingin menghindari biaya keluar data yang dibebankan oleh penyedia cloud saat data melintasi wilayah. Penyimpanan R2 mendukung semua data Databricks dan aset AI yang didukung di AWS S3, Azure Data Lake Storage Gen2, dan Google Cloud Storage. Lihat Menggunakan replika Cloudflare R2 atau memigrasikan penyimpanan ke R2 dan Membuat kredensial penyimpanan untuk menyambungkan ke Cloudflare R2.

Akses Spark dan dbutils ke dukungan file ruang kerja pada kluster Unity Catalog akses bersama

Akses Spark dan dbutils baca dan tulis ke file ruang kerja sekarang didukung pada kluster Katalog Unity dalam mode akses bersama. Lihat Bekerja dengan file ruang kerja.

Skrip init dan dukungan pustaka kluster pada kluster Unity Catalog akses bersama

Penginstalan skrip init cakupan kluster dan pustaka Python dan JAR pada kluster Katalog Unity dalam mode akses bersama, termasuk penginstalan menggunakan kebijakan kluster, sekarang tersedia secara umum. Databricks merekomendasikan penginstalan skrip dan pustaka init dari volume Unity Catalog.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • fastjsonschema dari 2.19.0 ke 2.19.1
  • filelock dari 3.12.4 ke 3.13.1
  • googleapis-common-protos dari 1.61.0 hingga 1.62.0
  • kemasan dari 22.0 hingga 23.2
• Pustaka R yang ditingkatkan:
  • asing dari 0,8-82 menjadi 0,8-85
  • nlme dari 3.1-162 ke 3.1-163
  • rpart dari 4.1.19 ke 4.1.21
• Pustaka Java yang ditingkatkan:
  • com.databricks.databricks-sdk-java dari 0.7.0 hingga 0.13.0
  • org.apache.orc.orc-core dari 1.9.1-shaded-protobuf ke 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce dari 1.9.1-shaded-protobuf ke 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims dari 1.9.1 hingga 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 dari 2.9.0 hingga 2.11.0

Apache Spark

Databricks Runtime 14.3 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 14.2 (EoS), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:

• [SPARK-46541] [SC-153546][SQL][SAMBUNGKAN] Memperbaiki referensi kolom ambigu dalam gabungan mandiri
• [SPARK-45433] Kembalikan "[SC-145163][SQL] Perbaiki infer skema CSV/JSON...
• [SPARK-46723] [14.3][SASP-2792][SC-153425][SAMBUNGKAN][SCALA] Membuat addArtifact dapat dicoba kembali
• [SPARK-46660] [SC-153391][SAMBUNGKAN] Memasang ulangExecute meminta pembaruan keakuratan SessionHolder
• [SPARK-46670] [SC-153273][PyTHON][SQL] Membuat DataSourceManager dapat mengkloning sendiri dengan memisahkan Sumber Data Python statis dan runtime
• [SPARK-46720] [SC-153410][SQL][PyTHON] Refaktor Sumber Data Python untuk menyelaraskan dengan Sumber Data bawaan DSv2 lainnya
• [SPARK-46684] [SC-153275][PyTHON][SAMBUNGKAN] Perbaiki CoGroup.applyInPandas/Arrow untuk meneruskan argumen dengan benar
• [SPARK-46667] [SC-153271][SC-153263][SQL] XML: Melemparkan kesalahan pada beberapa sumber data XML
• [SPARK-46382] [SC-151881][SQL]XML: Default ignoreSurroundingSpaces ke true
• [SPARK-46382] [SC-153178][SQL] XML: Perbarui dokumen untuk ignoreSurroundingSpaces
• [SPARK-45292] Kembalikan "[SC-151609][SQL][HIVE] Hapus Jambu Biji dari kelas bersama dari IsolatedClientLoader"
• [SPARK-45292] [SC-151609][SQL][HIVE] Menghapus Jambu biji dari kelas bersama dari IsolatedClientLoader
• [SPARK-46311] [SC-150137][CORE] Mencatat status akhir driver selama Master.removeDriver
• [SPARK-46413] [SC-151052][PyTHON] Memvalidasi returnType dari Arrow Python UDF
• [SPARK-46633] [WARMFIX][SC-153092][SQL] Perbaiki pembaca Avro untuk menangani blok panjang nol
• [SPARK-46537] [SC-151286][SQL] Mengonversi NPE dan menegaskan dari perintah ke kesalahan internal
• [SPARK-46179] [SC-151678][SQL] Tambahkan CrossDbmsQueryTestSuites, yang menjalankan DBMS lain terhadap file emas dengan DBMS lain, dimulai dengan Postgres
• [SPARK-44001] [SC-151413][PROTOBUF] Tambahkan opsi untuk memungkinkan pembungkusan protobuf jenis pembungkus terkenal protobuf
• [SPARK-40876] [SC-151786][SQL] Melebarkan promosi jenis untuk desimal dengan skala yang lebih besar dalam pembaca Parquet
• [SPARK-46605] [SC-151769][SAMBUNGKAN] Membuat lit/typedLit fungsi dalam dukungan modul sambungkan s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005]Validasi harfiah [SQL] tidak boleh menelusuri paling detail ke bidang null
• [SPARK-37039] [SC-153094][PS] Perbaiki Series.astype untuk bekerja dengan benar dengan nilai yang hilang
• [SPARK-46312] [SC-150163][CORE] Gunakan lower_camel_case di store_types.proto
• [SPARK-46630] [SC-153084][SQL] XML: Memvalidasi nama elemen XML saat menulis
• [SPARK-46627] [SC-152981][SS][UI] Memperbaiki konten tipsalat garis waktu pada antarmuka pengguna streaming
• [SPARK-46248] [SC-151774][SQL] XML: Dukungan untuk opsi ignoreCorruptFiles dan ignoreMissingFiles
• [SPARK-46386] [SC-150766][PyTHON] Meningkatkan pernyataan pengamatan (pyspark.sql.observation)
• [SPARK-46581] [SC-151789][CORE] Perbarui komentar di isZero di AccumulatorV2
• [SPARK-46601] [SC-151785] [CORE] Memperbaiki kesalahan log dalam handleStatusMessage
• [SPARK-46568] [SC-151685][PyTHON] Jadikan opsi sumber data Python sebagai kamus yang tidak peka huruf besar/kecil
• [SPARK-46611] [SC-151783][CORE] Hapus ThreadLocal dengan mengganti SimpleDateFormat dengan DateTimeFormatter
• [SPARK-46604] [SC-151768][SQL] Membuat Literal.apply dukungan s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][SQL][PyTHON] Perbaiki nama output pyspark.sql.functions.user dan session_user
• [SPARK-46621] [SC-151794][PyTHON] Alamat null dari Pengecualian.getMessage dalam pengecualian yang diambil Py4J
• [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader harus menghormati mode memori saat membuat vektor kolom untuk kolom yang hilang
• [SPARK-46613] [SC-151778][SQL][PyTHON] Mencatat pengecualian penuh saat gagal mencari Sumber Data Python
• [SPARK-46559] [SC-151364][MLLIB] Bungkus export dalam nama paket dengan backticks
• [SPARK-46522] [SC-151784][PyTHON] Memblokir pendaftaran sumber data Python dengan konflik nama
• [SPARK-45580] [SC-149956][SQL] Menangani kasus di mana subkueri berlapis menjadi gabungan keberadaan
• [SPARK-46609] [SC-151714][SQL] Hindari ledakan eksponensial di PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][SQL] Perbaiki NPE saat menjelaskan perluasan kolom tanpa statistik col
• [SPARK-46599] [SC-147661][SC-151770][SQL] XML: Gunakan TypeCoercion.findTightestCommonType untuk pemeriksaan kompatibilitas
• [SPARK-40876] [SC-151129][SQL] Melebarkan promosi jenis di pembaca Parquet
• [SPARK-46179] [SC-151069][SQL] Menarik kode ke fungsi yang dapat digunakan kembali di SQLQueryTestSuite
• [SPARK-46586] [SC-151679][SQL] Dukungan s.c.immutable.ArraySeq seperti customCollectionCls dalam MapObjects
• [SPARK-46585] [SC-151622][CORE] Secara langsung dibangun metricPeaks sebagai immutable.ArraySeq alih-alih digunakan mutable.ArraySeq.toSeq dalam Executor
• [SPARK-46488] [SC-151173][SQL] Melewati pemangkasanSemua panggilan selama penguraian tanda waktu
• [SPARK-46231] [SC-149724][PyTHON] Migrasikan semua sisa NotImplementedError & TypeError ke kerangka kerja kesalahan PySpark
• [SPARK-46348] [SC-150281][CORE] Dukung spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][CORE] Spark HA Durasi pemulihan log
• [SPARK-46358] [SC-150307][SAMBUNGKAN] Menyederhanakan pemeriksaan kondisi di ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][SQL]Ganti waktu/tanggal saat ini sebelum mengevaluasi ekspresi tabel sebaris.
• [SPARK-46563] [SC-151441][SQL] Lihat simpleString tidak mengikuti conf spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Kurangi kedalaman tumpukan dengan mengganti (string|array).ukuran dengan (string|array).length
• [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(semua bidang dari struct) mengakibatkan kegagalan asersi
• [SPARK-46565] [SC-151414][PyTHON] Memperbaiki kelas kesalahan dan pesan kesalahan untuk sumber data Python
• [SPARK-46576] [SC-151614][SQL] Meningkatkan pesan kesalahan untuk mode penyimpanan sumber data yang tidak didukung
• [SPARK-46540] [SC-151355][PyTHON] Menghormati nama kolom saat sumber data Python membaca output fungsi bernama Objek baris
• [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite membocorkan SessionState hive
• [SPARK-44556] [SC-151562][SQL] Gunakan OrcTail kembali saat mengaktifkan vectorizedReader
• [SPARK-46587] [SC-151618][SQL] XML: Perbaiki konversi bilangan bulat besar XSD
• [SPARK-46382] [SC-151297][SQL] XML: Mengambil nilai yang diselingi antar elemen
• [SPARK-46567] [SC-151447][CORE] Hapus ThreadLocal untuk ReadAheadInputStream
• [SPARK-45917] [SC-151269][PyTHON][SQL] Pendaftaran otomatis Sumber Data Python saat startup
• [SPARK-28386] [SC-151014][SQL] Tidak dapat menyelesaikan kolom ORDER BY dengan GROUP BY dan HAVING
• [SPARK-46524] [SC-151446][SQL] Meningkatkan pesan kesalahan untuk mode penyimpanan yang tidak valid
• [SPARK-46294] [SC-150672][SQL] Membersihkan semantik nilai init vs nol
• [SPARK-46301] [SC-150100][CORE] Dukung spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][SQL] Hapus cek c>=0 dari ExternalCatalogUtils#needsEscaping karena selalu benar
• [SPARK-46553] [SC-151360][PS] FutureWarning untuk interpolate dengan dtype objek
• [SPARK-45914] [SC-151312][PyTHON] Penerapan dukungan dan batalkan API untuk penulisan sumber data Python
• [SPARK-46543] [SC-151350][PyTHON][SAMBUNGKAN] Buat json_tuple melempar PySparkValueError untuk bidang kosong
• [SPARK-46520] [SC-151227][PyTHON] Mode timpa dukungan untuk penulisan sumber data Python
• [SPARK-46502] [SC-151235][SQL] Mendukung jenis tanda waktu di UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][SAMBUNGKAN] Meneruskan parameter pesan dalam metadata dari ErrorInfo
• [SPARK-46397] Kembalikan fungsi sha2 "[SC-151311][PYTHON][CONNECT] harus menaikkan PySparkValueError untuk tidak valid numBits"
• [SPARK-46170] [SC-149472][SQL] Mendukung menyuntikkan aturan strategi pasca-perencana kueri adaptif di SparkSessionExtensions
• [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable tidak boleh memuat tabel
• [SPARK-46397] [SC-151311][PyTHON][SAMBUNGKAN] Fungsi sha2 harus dinaikkan PySparkValueError untuk tidak valid numBits
• [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables tidak melemparkan pengecualian ketika tabel atau tampilan tidak ditemukan
• [SPARK-46272] [SC-151012][SQL] Mendukung CTAS menggunakan sumber DSv2
• [SPARK-46480] [SC-151127][CORE][SQL] Memperbaiki NPE saat upaya tugas cache tabel
• [SPARK-46100] [SC-149051][CORE][PyTHON] Kurangi kedalaman tumpukan dengan mengganti (string|array).ukuran dengan (string|array).length
• [SPARK-45795] [SC-150764][SQL] DS V2 mendukung Mode push down
• [SPARK-46485] [SC-151133][SQL] V1Write tidak boleh menambahkan Sortir saat tidak diperlukan
• [SPARK-46468] [SC-151121] [SQL] Menangani bug COUNT untuk subkueri EXISTS dengan Agregat tanpa mengelompokkan kunci
• [SPARK-46246] [SC-150927][SQL] EXECUTE IMMEDIATE dukungan SQL
• [SPARK-46498] [SC-151199][CORE] Hapus shuffleServiceEnabled dari o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][SQL] Atur konfigurasi rebase ke CORRECTED mode secara default
• [SPARK-45525] [SC-151120][SQL][PyTHON] Dukungan untuk penulisan sumber data Python menggunakan DSv2
• [SPARK-46505] [SC-151187][SAMBUNGKAN] Membuat ambang batas byte dapat dikonfigurasi di ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][SQL] Menghapus konfigurasi SQL rebasing tanggalwaktu warisan
• [SPARK-46443] [SC-151123][SQL] Presisi dan skala desimal harus diputuskan oleh dialek H2.
• [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Memperbaiki Bagan Tumpukan Durasi Operasi di Halaman Streaming Terstruktur
• [SPARK-46207] [SC-151068][SQL] Mendukung MergeInto di DataFrameWriterV2
• [SPARK-46452] [SC-151018][SQL] Menambahkan API baru di DataWriter untuk menulis iterator rekaman
• [SPARK-46273] [SC-150313][SQL] Dukungan INSERT INTO/OVERWRITE menggunakan sumber DSv2
• [SPARK-46344] [SC-150267][CORE] Peringatkan dengan benar ketika driver berhasil ada tetapi master terputus
• [SPARK-46284] [SC-149944][PyTHON][SAMBUNGKAN] Menambahkan session_user fungsi ke Python
• [SPARK-46043] [SC-149786][SQL] Dukungan membuat tabel menggunakan sumber DSv2
• [SPARK-46323] [SC-150191][PyTHON] Perbaiki nama output pyspark.sql.functions.now
• [SPARK-46465] [SC-151059][PyTHON][SAMBUNGKAN] Tambahkan Column.isNaN di PySpark
• [SPARK-46456] [SC-151050][CORE] Tambahkan spark.ui.jettyStopTimeout untuk mengatur batas waktu berhenti server Jetty untuk membuka blokir matikan SparkContext
• [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: izinkan peningkatan jenis bilangan bulat yang tidak ditandatangani
• [SPARK-46399] [SC-151013][14.x][Inti] Menambahkan status keluar ke peristiwa Akhir Aplikasi untuk penggunaan Spark Listener
• [SPARK-46423] [SC-150752][PyTHON][SQL] Membuat instans Sumber Data Python di DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][PyTHON][SQL] Mendukung metrik Python di Sumber Data Python
• [SPARK-46330] [SC-151015] Pemuatan blok UI Spark untuk waktu yang lama ketika HybridStore diaktifkan
• [SPARK-46378] [SC-150397][SQL] Masih hapus Urutkan setelah mengonversi Agregat ke Proyek
• [SPARK-45506] [SC-146959][SAMBUNGKAN] Menambahkan dukungan URI ivy ke addArtifact SparkConnect
• [SPARK-45814] [SC-147871][SAMBUNGKAN][SQL]Buat ArrowConverters.createEmptyArrowBatch panggilan close() untuk menghindari kebocoran memori
• [SPARK-46427] [SC-150759][PyTHON][SQL] Ubah deskripsi Sumber Data Python menjadi cukup jelas
• [SPARK-45597] [SC-150730][PyTHON][SQL] Mendukung pembuatan tabel menggunakan sumber data Python di SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][PyTHON] Menambahkan getMessageParameters dan dukungan getQueryContext
• [SPARK-46453] [SC-150897][SAMBUNGKAN] Lempar pengecualian dari internalError() dalam SessionHolder
• [SPARK-45758] [SC-147454][SQL] Memperkenalkan pemeta untuk codec kompresi hadoop
• [SPARK-46213] [PyTHON] Memperkenalkan PySparkImportError kerangka kerja kesalahan
• [SPARK-46230] [SC-149960][PyTHON] Migrasikan RetriesExceeded ke kesalahan PySpark
• [SPARK-45035] [SC-145887][SQL] Memperbaiki ignoreCorruptFiles/ignoreMissingFiles dengan CSV/JSON multibaris akan melaporkan kesalahan
• [SPARK-46289] [SC-150846][SQL] Mendukung pengurutan UDT dalam mode yang ditafsirkan
• [SPARK-46229] [SC-150798][PyTHON][SAMBUNGKAN] Menambahkan applyInArrow ke groupBy dan cogroup di Spark Connect
• [SPARK-46420] [SC-150847][SQL] Menghapus transportasi yang tidak digunakan di SparkSQLCLIDriver
• [SPARK-46226] [PyTHON] Migrasikan semua yang tersisa RuntimeError ke dalam kerangka kerja kesalahan PySpark
• [SPARK-45796] [SC-150613][SQL] Support MODE() DALAM GROUP (ORDER BY col)
• [SPARK-40559] [SC-149686][PyTHON][14.X] Menambahkan applyInArrow ke groupBy dan cogroup
• [SPARK-46069] [SC-149672][SQL] Mendukung jenis tanda waktu unwrap ke jenis tanggal
• [SPARK-46406] [SC-150770][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][SS] Mengonversi IllegalStateException ke internalError dalam iterator sesi
• [SPARK-45807] [SC-150751][SQL] Meningkatkan VIEWCatalog API
• [SPARK-46009] [SC-149771][SQL][SAMBUNGKAN] Menggabungkan aturan penguraian PercentileCont dan PercentileDisc ke dalam functionCall
• [SPARK-46403] [SC-150756][SQL] Dekodekan biner parquet dengan metode getBytesUnsafe
• [SPARK-46389] [SC-150779][CORE] Tutup RocksDB/LevelDB instans secara manual saat checkVersion melempar Pengecualian
• [SPARK-46360] [SC-150376][PyTHON] Meningkatkan penelusuran kesalahan pesan kesalahan dengan API baru getMessage
• [SPARK-46233] [SC-149766][PyTHON] Migrasikan semua yang tersisa AttributeError ke dalam kerangka kerja kesalahan PySpark
• [SPARK-46394] [SC-150599][SQL] Memperbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true
• [SPARK-45964] [SC-148484][SQL] Hapus aksesor sql privat dalam paket XML dan JSON di bawah paket katalis
• [SPARK-45856] [SC-148691] Pindahkan ArtifactManager dari Spark Connect ke SparkSession (sql/core)
• [SPARK-46409] [SC-150714][SAMBUNGKAN] Memperbaiki skrip peluncuran spark-connect-scala-client
• [SPARK-46416] [SC-150699][CORE] Tambahkan @tailrec ke HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][SQL] Membatasi charset di encode()
• [SPARK-46253] [SC-150416][PyTHON] Merencanakan baca sumber data Python menggunakan MapInArrow
• [SPARK-46339] [SC-150266][SS] Direktori dengan nama nomor batch tidak boleh diperlakukan sebagai log metadata
• [SPARK-46353] [SC-150396][CORE] Refaktor untuk meningkatkan RegisterWorker cakupan pengujian unit
• [SPARK-45826] [SC-149061][SQL] Menambahkan konfigurasi SQL untuk jejak tumpukan dalam konteks kueri DataFrame
• [SPARK-45649] [SC-150300][SQL] Menyatukan kerangka kerja persiapan untuk OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][CORE] Perbaiki Master untuk memperbarui pekerja dari UNKNOWN ke ALIVE di RegisterWorker msg
• [SPARK-46388] [SC-150496][SQL] HiveAnalysis melewatkan penjaga pola query.resolved
• [SPARK-46401] [SC-150609][CORE] Gunakan !isEmpty() pada RoaringBitmap alih-alih getCardinality() > 0 di RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][SQL] Mengklasifikasikan pengecualian dalam katalog tabel JDBC
• [SPARK-45798] [SC-150513][SAMBUNGKAN] Tindak lanjut: menambahkan serverSessionId ke SessionHolderInfo
• [SPARK-46153] [SC-146564][SC-150508][SQL] XML: Menambahkan dukungan TimestampNTZType
• [SPARK-46075] [SC-150393][SAMBUNGKAN] Penyempurnaan SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Ganti penggunaan dokumentasi setConf yang salah dengan conf.set
• [SPARK-46202] [SC-150420][SAMBUNGKAN] Mengekspos API ArtifactManager baru untuk mendukung direktori target kustom
• [SPARK-45824] [SC-147648][SQL] Menerapkan kelas kesalahan di ParseException
• [SPARK-45845] [SC-148163][SS][UI] Menambahkan jumlah baris status yang dikeluarkan ke antarmuka pengguna streaming
• [SPARK-46316] [SC-150181][CORE] Aktifkan buf-lint-action pada core modul
• [SPARK-45816] [SC-147656][SQL] Mengembalikan NULL saat meluap selama transmisi dari tanda waktu ke bilangan bulat
• [SPARK-46333] [SC-150263][SQL] Ganti IllegalStateException dengan SparkException.internalError dalam katalis
• [SPARK-45762] [SC-148486][CORE] Mendukung manajer acak yang ditentukan dalam jar pengguna dengan mengubah urutan startup
• [SPARK-46239] [SC-149752][CORE] Sembunyikan Jetty info
• [SPARK-45886] [SC-148089][SQL] Output pelacakan tumpukan penuh dalam callSite konteks DataFrame
• [SPARK-46290] [SC-150059][PyTHON] Mengubah saveMode menjadi bendera boolean untuk DataSourceWriter
• [SPARK-45899] [SC-148097][SAMBUNGKAN] Mengatur errorClass dalam errorInfoToThrowable
• [SPARK-45841] [SC-147657][SQL] Mengekspos pelacakan tumpukan dengan DataFrameQueryContext
• [SPARK-45843] [SC-147721][CORE] Dukungan killall dalam REST Submission API
• [SPARK-46234] [SC-149711][PyTHON] Memperkenalkan PySparkKeyError kerangka kerja kesalahan PySpark
• [SPARK-45606] [SC-147655][SQL] Pembatasan rilis pada filter runtime multi-lapisan
• [SPARK-45725] [SC-147006][SQL] Menghapus filter runtime in subkueri non-default
• [SPARK-45694] [SC-147314][SPARK-45695][SQL] Membersihkan penggunaan View.force API yang tidak digunakan lagi dan ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][SQL] Membuat withOrigin lebih banyak generik
• [SPARK-46292] [SC-150086][CORE][UI] Memperlihatkan ringkasan pekerja di MasterPage
• [SPARK-45685] [SC-146881][CORE][SQL] Gunakan LazyList alih-alih Stream
• [SPARK-45888] [SC-149945][SS] Menerapkan kerangka kerja kelas kesalahan ke Sumber Data Status (Metadata)
• [SPARK-46261] [SC-150111][SAMBUNGKAN] DataFrame.withColumnsRenamed harus menjaga urutan dict/map
• [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] Pembersihan SeqOps.view dan ArrayOps.view konversi
• [SPARK-46029] [SC-149255][SQL] Lolos dari kuotasi tunggal, _ dan % untuk pushdown DS V2
• [SPARK-46275] [SC-150189] Protobuf: Mengembalikan null dalam mode permisif saat deserialisasi gagal.
• [SPARK-46320] [SC-150187][CORE] Dukung spark.master.rest.host
• [SPARK-46092] [SC-149658][SQL] Jangan mendorong ke bawah filter grup baris Parquet yang meluap
• [SPARK-46300] [SC-150097][PyTHON][SAMBUNGKAN] Cocokkan pencocokan perilaku kecil di Kolom dengan cakupan pengujian penuh
• [SPARK-46298] [SC-150092][PyTHON][SAMBUNGKAN] Cocokkan peringatan penghentian, kasus pengujian, dan kesalahan Catalog.createExternalTable
• [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Bersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan StringContext/StringOps/RightProjection/LeftProjection/Either dan jenis penggunaan BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][SQL] Dukungan SHOW TABLE EXTENDED di v2
• [SPARK-45737] [SC-147011][SQL] Hapus yang tidak perlu .toArray[InternalRow] di SparkPlan#executeTake
• [SPARK-46249] [SC-149797][SS] Memerlukan kunci instans untuk memperoleh metrik RocksDB untuk mencegah balapan dengan operasi latar belakang
• [SPARK-46260] [SC-149940][PyTHON][SQL] DataFrame.withColumnsRenamed harus menghormati urutan dict
• [SPARK-46274] [SC-150043] [SQL] Perbaiki ComputeStats() operator Rentang untuk memeriksa validitas panjang sebelum mengonversi
• [SPARK-46040] [SC-149767][SQL][Python] Perbarui API UDTF untuk kolom partisi/pengurutan 'analisis' untuk mendukung ekspresi umum
• [SPARK-46287] [SC-149949][PyTHON][SAMBUNGKAN] DataFrame.isEmpty harus bekerja dengan semua jenis data
• [SPARK-45678] [SC-146825][CORE] Sampul BufferReleasingInputStream.available/reset di bawah tryOrFetchFailedException
• [SPARK-45667] [SC-146716][CORE][SQL][SAMBUNGKAN] Bersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][SQL] memperkenalkan select * except sintaksis
• [SPARK-46269] [SC-149816][PS] Mengaktifkan lebih banyak pengujian fungsi kompatibilitas NumPy
• [SPARK-45807] [SC-149851][SQL] Tambahkan createOrReplaceView(..) / replaceView(..) ke ViewCatalog
• [SPARK-45742] [SC-147212][CORE][SAMBUNGKAN][MLLIB][PyTHON] Perkenalkan fungsi implisit untuk Array Scala untuk dibungkus ke dalam immutable.ArraySeq.
• [SPARK-46205] [SC-149655][CORE] Meningkatkan PersistenceEngine performa dengan KryoSerializer
• [SPARK-45746] [SC-149359][Python] Mengembalikan pesan kesalahan tertentu jika metode 'analisis' atau 'eval' UDTF menerima atau mengembalikan nilai yang salah
• [SPARK-46186] [SC-149707][SAMBUNGKAN] Memperbaiki transisi status ilegal saat ExecuteThreadRunner terganggu sebelum dimulai
• [SPARK-46262] [SC-149803][PS] Aktifkan pengujian untuk np.left_shift objek Pandas-on-Spark.
• [SPARK-45093] [SC-149679][SAMBUNGKAN][PyTHON] Mendukung penanganan dan konversi kesalahan dengan benar untuk AddArtifactHandler
• [SPARK-46188] [SC-149571][Doc][3.5] Perbaiki CSS tabel yang dihasilkan dokumen Spark
• [SPARK-45940] [SC-149549][PyTHON] Menambahkan InputPartition ke antarmuka DataSourceReader
• [SPARK-43393] [SC-148301][SQL] Bug luapan ekspresi urutan alamat.
• [SPARK-46144] [SC-149466][SQL] Fail INSERT INTO ... Pernyataan REPLACE jika kondisi berisi subkueri
• [SPARK-46118] [SC-149096][SQL][SS][SAMBUNGKAN] Gunakan SparkSession.sessionState.conf alih-alih SQLContext.conf dan tandai SQLContext.conf sebagai tidak digunakan lagi
• [SPARK-45760] [SC-147550][SQL] Tambahkan Dengan ekspresi untuk menghindari ekspresi duplikat
• [SPARK-43228] [SC-149670][SQL] Kunci gabungan juga cocok dengan PartitioningCollection di CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][PS] Uji SparkPandasNotImplementedError dengan membersihkan kode yang tidak digunakan
• [SPARK-46119] [SC-149205][SQL] Mengambil alih toString metode untuk UnresolvedAlias
• [SPARK-46206] [SC-149674][PS] Menggunakan pengecualian cakupan yang lebih sempit untuk prosesor SQL
• [SPARK-46191] [SC-149565][CORE] Meningkatkan FileSystemPersistenceEngine.persist kesalahan msg jika file yang ada
• [SPARK-46036] [SC-149356][SQL] Menghapus kelas kesalahan dari fungsi raise_error
• [SPARK-46055] [SC-149254][SQL] Menulis ulang implementasi API Database Katalog
• [SPARK-46152] [SC-149454][SQL] XML: Menambahkan dukungan DecimalType dalam inferensi skema XML
• [SPARK-45943] [SC-149452][SQL] Memindahkan DetermineTableStats ke aturan resolusi
• [SPARK-45887] [SC-148994][SQL] Menyelaraskan implementasi codegen dan non-codegen Encode
• [SPARK-45022] [SC-147158][SQL] Menyediakan konteks untuk kesalahan API himpunan data
• [SPARK-45469] [SC-145135][CORE][SQL][SAMBUNGKAN][PyTHON] Ganti toIterator dengan iterator untuk IterableOnce
• [SPARK-46141] [SC-149357][SQL] Ubah default untuk spark.sql.legacy.ctePrecedencePolicy menjadi CORRECTED
• [SPARK-45663] [SC-146617][CORE][MLLIB] Ganti IterableOnceOps#aggregate dengan IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][SQL] Menggunakan kembali objek Literal dalam aturan ComputeCurrentTime
• [SPARK-45803] [SC-147489][CORE] Hapus yang tidak lagi digunakan RpcAbortException
• [SPARK-46148] [SC-149350][PS] Memperbaiki pengujian pyspark.pandas.mlflow.load_model (Python 3.12)
• [SPARK-46110] [SC-149090][PyTHON] Menggunakan kelas kesalahan dalam modul katalog, conf, connect, observation, pandas
• [SPARK-45827] [SC-149203][SQL] Perbaikan varian dengan codegen dan pembaca vektor dinonaktifkan
• [SPARK-46080] Kembalikan "[SC-149012][PYTHON] Upgrade Cloudpickle ke 3.0.0"
• [SPARK-45460] [SC-144852][SQL] Ganti scala.collection.convert.ImplicitConversions ke scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][SQL] Menghapus resolusi khusus UnresolvedNamespace untuk perintah tertentu
• [SPARK-45600] [SC-148976][PyTHON] Membuat tingkat sesi pendaftaran sumber data Python
• [SPARK-46074] [SC-149063][SAMBUNGKAN][SCALA] Detail tidak mencukup dalam pesan kesalahan pada kegagalan UDF
• [SPARK-46114] [SC-149076][PyTHON] Menambahkan PySparkIndexError untuk kerangka kerja kesalahan
• [SPARK-46120] [SC-149083][SAMBUNGKAN][PyTHON] Menghapus fungsi pembantu DataFrame.withPlan
• [SPARK-45927] [SC-148660][PyTHON] Memperbarui penanganan jalur untuk sumber data Python
• [SPARK-46062] [14.x][SC-148991][SQL] Sinkronkan bendera isStreaming antara definisi CTE dan referensi
• [SPARK-45698] [SC-146736][CORE][SQL][SS] Bersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan Buffer
• [SPARK-46064] [SC-148984][SQL][SS] Pindahkan EliminateEventTimeWatermark ke penganalisis dan ubah agar hanya berlaku pada anak yang diselesaikan
• [SPARK-45922] [SC-149038][SAMBUNGKAN][KLIEN] Refaktor coba lagi minor (tindak lanjuti beberapa kebijakan)
• [SPARK-45851] [SC-148419][SAMBUNGKAN][SCALA] Mendukung beberapa kebijakan di klien scala
• [SPARK-45974] [SC-149062][SQL] Menambahkan penilaian scan.filterAttributes yang tidak kosong untuk RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][SAMBUNGKAN] Dataset.groupingSets di klien Scala Spark Connect
• [SPARK-45136] [SC-146607][SAMBUNGKAN] Tingkatkan ClosureCleaner dengan dukungan Amonite
• [SPARK-46084] [SC-149020][PS] Operasi pengecoran jenis data refaktor untuk jenis Kategoris.
• [SPARK-46083] [SC-149018][PyTHON] Jadikan SparkNoSuchElementException sebagai API kesalahan kanonis
• [SPARK-46048] [SC-148982][PyTHON][SAMBUNGKAN] Mendukung DataFrame.groupingSets di Python Spark Connect
• [SPARK-46080] [SC-149012][PyTHON] Meningkatkan Cloudpickle ke 3.0.0
• [SPARK-46082] [SC-149015][PyTHON][SAMBUNGKAN] Memperbaiki representasi string protobuf untuk Pandas Functions API dengan Spark Connect
• [SPARK-46065] [SC-148985][PS] Refaktor (DataFrame|Series).factorize() untuk menggunakan create_map.
• [SPARK-46070] [SC-148993][SQL] Mengkompilasi pola regex di SparkDateTimeUtils.getZoneId di luar perulangan panas
• [SPARK-46063] [SC-148981][PyTHON][SAMBUNGKAN] Meningkatkan pesan kesalahan yang terkait dengan jenis argumen di cute, rollup, groupby, dan pivot
• [SPARK-44442] [SC-144120][MESOS] Menghapus dukungan Mesos
• [SPARK-45555] [SC-147620][PyTHON] Menyertakan objek yang dapat di-debug untuk pernyataan yang gagal
• [SPARK-46048] [SC-148871][PyTHON][SQL] Mendukung DataFrame.groupingSets di PySpark
• [SPARK-45768] [SC-147304][SQL][PyTHON] Jadikan faulthandler sebagai konfigurasi runtime untuk eksekusi Python di SQL
• [SPARK-45996] [SC-148586][PyTHON][SAMBUNGKAN] Menampilkan pesan persyaratan dependensi yang tepat untuk Spark Connect
• [SPARK-45681] [SC-146893][UI] Mengkloning versi js UIUtils.errorMessageCell untuk penyajian kesalahan yang konsisten pada UI
• [SPARK-45767] [SC-147225][CORE] Hapus TimeStampedHashMap dan UT-nya
• [SPARK-45696] [SC-148864][CORE] Memperbaiki metode tryCompleteWith dalam sifat Promise tidak digunakan lagi
• [SPARK-45503] [SC-146338][SS] Tambahkan Conf untuk Mengatur Kompresi RocksDB
• [SPARK-45338] [SC-143934][CORE][SQL] Ganti scala.collection.JavaConverters ke scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][SQL] Perbaiki ArrayIndexOutOfBoundsException di conv()
• [SPARK-45912] [SC-144982][SC-148467][SQL] Peningkatan XSDToSchema API: Ubah ke HDFS API untuk aksesibilitas penyimpanan cloud
• [SPARK-45819] [SC-147570][CORE] Dukungan clear dalam REST Submission API
• [SPARK-45552] [14.x][SC-146874][PS] Memperkenalkan parameter fleksibel ke assertDataFrameEqual
• [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Menyediakan antarmuka untuk sumber Streaming lainnya untuk menambahkan _metadata kolom
• [SPARK-45929] [SC-148692][SQL] Mendukung operasi groupingSets di api dataframe
• [SPARK-46012] [SC-148693][CORE] EventLogFileReader tidak boleh membaca log bergulir jika file status aplikasi hilang
• [SPARK-45965] [SC-148575][SQL] Memindahkan ekspresi partisi DSv2 ke functions.partitioning
• [SPARK-45971] [SC-148541][CORE][SQL] Koreksi nama paket menjadi SparkCollectionUtilsorg.apache.spark.util
• [SPARK-45688] [SC-147356][SPARK-45693][CORE] Bersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan MapOps & Perbaiki method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][SC-148497][SQL] Hapus treatEmptyValuesAsNulls dan gunakan nullValue opsi sebagai gantinya di XML
• [SPARK-45988] [SC-148580][SPARK-45989][PyTHON] Memperbaiki typehints untuk menangani list GenericAlias di Python 3.11+
• [SPARK-45999] [SC-148595][PS] Gunakan khusus PandasProduct di cumprod
• [SPARK-45986] [SC-148583][ML][PyTHON] Perbaikan pyspark.ml.torch.tests.test_distributor di Python 3.11
• [SPARK-45994] [SC-148581][PyTHON] Ubah description-file menjadi description_file
• [SPARK-45575] [SC-146713][SQL] Opsi perjalanan waktu dukungan untuk API baca df
• [SPARK-45747] [SC-148404][SS] Gunakan informasi kunci awalan dalam metadata status untuk menangani status baca untuk agregasi jendela sesi
• [SPARK-45898] [SC-148213][SQL] Menulis ulang API tabel katalog untuk menggunakan rencana logis yang tidak terselesaikan
• [SPARK-45828] [SC-147663][SQL] Menghapus metode yang tidak digunakan lagi di dsl
• [SPARK-45990] [SC-148576][SPARK-45987][PyTHON][SAMBUNGKAN] Tingkatkan protobuf ke 4.25.1 untuk mendukung Python 3.11
• [SPARK-45911] [SC-148226][CORE] Jadikan TLS1.3 default untuk RPC SSL
• [SPARK-45955] [SC-148429][UI] Ciutkan Dukungan untuk detail Flamegraph dan pembuangan utas
• [SPARK-45936] [SC-148392][PS] Mengoptimalkan Index.symmetric_difference
• [SPARK-45389] [SC-144834][SQL][3.5] Aturan pencocokan MetaException yang benar tentang mendapatkan metadata partisi
• [SPARK-45655] [SC-148085][SQL][SS] Mengizinkan ekspresi non-deterministik di dalam AggregateFunctions di CollectMetrics
• [SPARK-45946] [SC-148448][SS] Memperbaiki penggunaan penulisan FileUtils yang tidak digunakan lagi untuk meneruskan charset default di RocksDBSuite
• [SPARK-45511] [SC-148285][SS] Sumber Data Status - Pembaca
• [SPARK-45918] [SC-148293][PS] Mengoptimalkan MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][SAMBUNGKAN][PyTHON] Mengembalikan metrik yang diamati dari perintah
• [SPARK-45867] [SC-147916][CORE] Dukung spark.worker.idPattern
• [SPARK-45945] [SC-148418][SAMBUNGKAN] Menambahkan fungsi pembantu untuk parser
• [SPARK-45930] [SC-148399][SQL] Mendukung UDF non-deterministik di MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][Python] Membuat API UDTF Python untuk berhenti menggunakan baris dari tabel input
• [SPARK-45731] [SC-147929][SQL] Perbarui juga statistik partisi dengan ANALYZE TABLE perintah
• [SPARK-45868] [SC-148355][SAMBUNGKAN] Pastikan spark.table gunakan parser yang sama dengan vanilla spark
• [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec menyebarkan partisi harus menghormati CoalescedHashPartitioning
• [SPARK-45710] [SC-147428][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_21 kesalahan[59.60.61.62]
• [SPARK-45915] [SC-148306][SQL] Perlakukan desimal(x, 0) sama dengan IntegralType di PromoteStrings
• [SPARK-45786] [SC-147552][SQL] Memperbaiki hasil perkalian desimal dan pembagian yang tidak akurat
• [SPARK-45871] [SC-148084][SAMBUNGKAN] Konversi pengumpulan pengoptimalan yang terkait dengan .toBuffer dalam connect modul
• [SPARK-45822] [SC-147546][SAMBUNGKAN] SparkConnectSessionManager mungkin mencari sparkcontext yang dihentikan
• [SPARK-45913] [SC-148289][PyTHON] Buat atribut internal privat dari kesalahan PySpark.
• [SPARK-45827] [SC-148201][SQL] Tambahkan jenis data Varian di Spark.
• [SPARK-44886] [SC-147876][SQL] Memperkenalkan klausul CLUSTER BY untuk CREATE/REPLACE TABLE
• [SPARK-45756] [SC-147959][CORE] Dukung spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][SAMBUNGKAN] Menegaskan ID sesi sisi server
• [SPARK-45896] [SC-148091][SQL] Buat ValidateExternalType dengan jenis yang diharapkan dengan benar
• [SPARK-45902] [SC-148123][SQL] Hapus fungsi resolvePartitionColumns yang tidak digunakan dari DataSource
• [SPARK-45909] [SC-148137][SQL] Hapus NumericType cast jika dapat dengan aman di-cast IsNotNull
• [SPARK-42821] [SC-147715][SQL] Menghapus parameter yang tidak digunakan dalam metode splitFiles
• [SPARK-45875] [SC-148088][CORE] Hapus MissingStageTableRowData dari core modul
• [SPARK-45783] [SC-148120][PyTHON][SAMBUNGKAN] Meningkatkan pesan kesalahan saat mode Spark Connect diaktifkan tetapi URL jarak jauh tidak diatur
• [SPARK-45804] [SC-147529][UI] Tambahkan konfigurasi spark.ui.threadDump.flamegraphEnabled untuk mengaktifkan/menonaktifkan grafik api
• [SPARK-45664] [SC-146878][SQL] Memperkenalkan pemeta untuk codec kompresi orc
• [SPARK-45481] [SC-146715][SQL] Memperkenalkan pemeta untuk codec kompresi parket
• [SPARK-45752] [SC-148005][SQL] Menyederhanakan kode untuk memeriksa hubungan CTE yang tidak direferensikan
• [SPARK-44752] [SC-146262][SQL] XML: Memperbarui Dokumen Spark
• [SPARK-45752] [SC-147869][SQL] CTE yang tidak direferensikan harus diperiksa oleh CheckAnalysis0
• [SPARK-45842] [SC-147853][SQL] Refaktor API Fungsi Katalog untuk menggunakan penganalisis
• [SPARK-45639] [SC-147676][SQL][PyTHON] Mendukung pemuatan sumber data Python di DataFrameReader
• [SPARK-45592] [SC-146977][SQL] Masalah kebenaran di AQE dengan InMemoryTableScanExec
• [SPARK-45794] [SC-147646][SS] Memperkenalkan sumber metadata status untuk mengkueri informasi metadata status streaming
• [SPARK-45739] [SC-147059][PyTHON] Tangkap IOException alih-alih EOFException saja untuk faulthandler
• [SPARK-45677] [SC-146700] Pengelogan kesalahan yang lebih baik untuk Api Pengamatan
• [SPARK-45544] [SC-146873][CORE] Mengintegrasikan dukungan SSL ke dalam TransportContext
• [SPARK-45654] [SC-147152][PyTHON] Menambahkan API tulis sumber data Python
• [SPARK-45771] [SC-147270][CORE] Aktifkan spark.eventLog.rolling.enabled secara default
• [SPARK-45713] [SC-146986][PyTHON] Dukungan mendaftarkan sumber data Python
• [SPARK-45656] [SC-146488][SQL] Memperbaiki pengamatan saat pengamatan bernama dengan nama yang sama pada himpunan data yang berbeda
• [SPARK-45808] [SC-147571][SAMBUNGKAN][PyTHON] Penanganan kesalahan yang lebih baik untuk Pengecualian SQL
• [SPARK-45774] [SC-147353][CORE][UI] Dukungan spark.master.ui.historyServerUrl di ApplicationPage
• [SPARK-45776] [SC-147327][CORE] Hapus pemeriksaan null defensif untuk MapOutputTrackerMaster#unregisterShuffle ditambahkan di SPARK-39553
• [SPARK-45780] [SC-147410][SAMBUNGKAN] Menyebarkan semua threadlocal klien Spark Connect di InheritableThread
• [SPARK-45785] [SC-147419][CORE] Dukungan spark.deploy.appNumberModulo untuk memutar nomor aplikasi
• [SPARK-45793] [SC-147456][CORE] Meningkatkan codec kompresi bawaan
• [SPARK-45757] [SC-147282][ML] Hindari komputasi ulang NNZ di Binarizer
• [SPARK-45209] [SC-146490][CORE][UI] Dukungan Grafik Api Untuk Halaman Pembuangan Utas Pelaksana
• [SPARK-45777] [SC-147319][CORE] Dukungan spark.test.appId di LocalSchedulerBackend
• [SPARK-45523] [SC-146331][PyTHON] Refaktor pemeriksaan null untuk memiliki pintasan
• [SPARK-45711] [SC-146854][SQL] Memperkenalkan pemeta untuk codec kompresi avro
• [SPARK-45523] [SC-146077][Python] Mengembalikan pesan kesalahan yang berguna jika UDTF mengembalikan Tidak Ada untuk kolom yang tidak dapat diubah ke null
• [SPARK-45614] [SC-146729][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_215 kesalahan[6,7,8]
• [SPARK-45755] [SC-147164][SQL] Meningkatkan Dataset.isEmpty() dengan menerapkan batas global 1
• [SPARK-45569] [SC-145915][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2153 kesalahan
• [SPARK-45749] [SC-147153][CORE][WEBUI] Perbaiki Spark History Server untuk mengurutkan Duration kolom dengan benar
• [SPARK-45754] [SC-147169][CORE] Dukung spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][SQL] Sederhanakan DataFrameStatFunctions.countMinSketch dengan CountMinSketchAgg
• [SPARK-45753] [SC-147167][CORE] Dukung spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][CORE][UI] Tingkatkan MasterPage untuk memperlihatkan Resource kolom hanya jika ada
• [SPARK-45112] [SC-143259][SQL] Menggunakan resolusi berbasis UnresolvedFunction dalam fungsi Himpunan Data SQL

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 14.3.

Lingkungan sistem

• Sistem Operasi: Ubuntu 22.04.3 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Danau Delta: 3.1.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret CRAN Manajer Paket Posit pada 2023-02-10.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)