Databricks Runtime 16.1

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 16.1, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada Desember 2024.

Perubahan perilaku

Perubahan penting: Penanganan ekspresi reguler Photon sekarang konsisten dengan Apache Spark

Dalam Databricks Runtime 15.4 ke atas, penanganan ekspresi reguler di Photon diperbarui agar sesuai dengan perilaku penanganan ekspresi reguler Apache Spark. Sebelumnya, fungsi ekspresi reguler yang dijalankan oleh Photon, seperti split() dan regexp_extract(), menerima beberapa ekspresi reguler yang ditolak oleh pengurai Spark. Untuk mempertahankan konsistensi dengan Apache Spark, kueri Photon sekarang akan gagal untuk ekspresi reguler yang dianggap Spark tidak valid.

Karena perubahan ini, Anda mungkin melihat kesalahan jika kode Spark Anda menyertakan ekspresi reguler yang tidak valid. Misalnya, ekspresi split(str_col, '{'), yang berisi kurung kurawal yang tidak cocok dan sebelumnya diterima oleh Photon, sekarang gagal. Untuk memperbaiki ekspresi ini, Anda dapat menghindari karakter kurung kurawal: split(str_col, '\\{').

Perilaku Photon dan Spark juga berbeda untuk beberapa pencocokan ekspresi reguler karakter non-ASCII. Ini juga diperbarui sehingga Photon cocok dengan perilaku Apache Spark.

Jenis data VARIANT tidak dapat lagi digunakan dengan operasi yang memerlukan perbandingan

Di Databricks Runtime 16.1 ke atas, Anda tidak dapat menggunakan klausul atau operator berikut dalam kueri yang menyertakan jenis data VARIANT:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Selain itu, Anda tidak dapat menggunakan fungsi DataFrame ini:

• df.dropDuplicates()
• df.repartition()

Operasi ini melakukan perbandingan, dan perbandingan yang menggunakan jenis data VARIAN menghasilkan hasil yang tidak ditentukan dan tidak didukung di Databricks. Jika Anda menggunakan jenis VARIAN di beban kerja atau tabel Azure Databricks Anda, Databricks merekomendasikan perubahan berikut:

• Perbarui kueri atau ekspresi untuk secara eksplisit melemparkan nilai VARIANT ke jenis data non-VARIANT.
• Jika Anda memiliki bidang yang harus digunakan dengan salah satu operasi di atas, ekstrak bidang tersebut dari jenis data VARIANT dan simpan menggunakan jenis data non-VARIANT.

Untuk mempelajari selengkapnya, lihat data varian Kueri .

Fitur dan peningkatan baru

• Dukungan untuk kolase di Apache Spark ada di Pratinjau Umum
• Dukungan untuk kolatasi di Delta Lake ada di Pratinjau Umum
• Mode penyedot debu ada di Pratinjau Umum LITE
• Dukungan untuk memparametrisasi klausa USE CATALOG with IDENTIFIER
• COMMENT ON COLUMN dukungan untuk tabel dan tampilan
• fungsi SQL Baru
• Pemanggilan parameter bernama untuk lebih banyak fungsi
• Parameter SYNC METADATA ke perintah REPAIR TABLE didukung dengan metastore Apache Hive
• Integritas data yang ditingkatkan untuk batch Apache Arrow terkompresi
• Dukungan ditambahkan untuk metode Scala pada komputasi mode akses bersama Unity Catalog
• Driver JDBC Teradata Bawaan
• dukungan StreamingQueryListener untuk Scala
• Driver Oracle JDBC Bawaan
• Kesalahan lebih rinci untuk tabel Delta yang diakses dengan jalur

Dukungan untuk pengurutan di Apache Spark sedang dalam tahap Pratinjau Umum

Anda sekarang dapat menetapkan kolasi yang menyesuaikan bahasa, tidak peka huruf besar/kecil, dan tidak peka terhadap akses ke kolom dan ekspresi STRING. Kolasi ini digunakan untuk perbandingan string, pengurutan, operasi pengelompokan, dan banyak fungsi string. Lihat Collation.

Dukungan untuk kolasi di Delta Lake dalam Pratinjau Umum

Sekarang Anda dapat menentukan kolase untuk kolom saat membuat atau mengubah tabel Delta. Lihat dukungan Collation untuk Delta Lake.

Modus LITE untuk vakum sedang dalam Pratinjau Publik

Anda sekarang dapat menggunakan VACUUM table_name LITE untuk melakukan operasi vakum dengan bobot lebih ringan yang memanfaatkan metadata di log transaksi Delta. Lihat mode Lengkap vs. mode ringan dan VACUUM.

Dukungan untuk memparametrisasi klausa USE CATALOG with IDENTIFIER

Di Databricks Runtime 16.1 ke atas, klausa IDENTIFIER didukung untuk pernyataan USE CATALOG. Dengan dukungan ini, Anda dapat membuat parameter katalog saat ini berdasarkan variabel string atau penanda parameter.

COMMENT ON COLUMN dukungan untuk tabel dan tampilan

Di Databricks Runtime 16.1 ke atas, pernyataan COMMENT ON mendukung perubahan komentar untuk kolom tampilan dan tabel.

Fungsi SQL baru

Dalam Databricks Runtime 16.1 ke atas, fungsi SQL bawaan baru berikut tersedia:

• dayname(expr) mengembalikan akronim bahasa Inggris tiga huruf untuk hari dalam seminggu untuk tanggal tertentu.
• uniform(expr1, expr2 [,seed]) mengembalikan nilai acak dengan nilai independen dan terdistribusi secara identik dalam rentang angka yang ditentukan.
• randstr(length) mengembalikan string acak dari length karakter alfa-numerik.

Pemanggilan parameter bernama untuk lebih banyak fungsi

Dalam Databricks Runtime 16.1 ke atas, fungsi berikut mendukung pemanggilan parameter bernama:

• varian_meledak
• variant_explode_outer
• sebaris
• inline_outer
• posexplode
• posexplode_outer

Parameter SYNC METADATA pada perintah REPAIR TABLE terintegrasi dengan metastore Hive

Di Databricks Runtime 16.1 ke atas, Anda dapat menggunakan parameter SYNC METADATA dengan perintah REPAIR TABLE untuk memperbarui metadata tabel terkelola metastore Apache Hive. Lihat REPAIR TABLE.

Peningkatan integritas data untuk batch terkompresi Apache Arrow

Dalam Databricks Runtime 16.1 ke atas, untuk melindungi lebih lanjut dari kerusakan data, setiap batch Arrow yang terkompresi LZ4 sekarang menyertakan isi LZ4 dan checksum blok. Lihat Deskripsi Format Kerangka LZ4.

Dukungan untuk metode Scala pada komputasi mode akses bersama Unity Catalog telah ditambahkan.

Dalam Databricks Runtime 16.1 ke atas, pada komputasi mode akses bersama Unity Catalog, dukungan ditambahkan untuk metode Scala berikut: Dataset.flatMapGroups(), Dataset.mapGroups(), dan DataStreamWriter.foreach().

Driver Bawaan JDBC Teradata

Di Databricks Runtime 16.1 ke atas, Driver Teradata JDBC dibangun ke dalam Azure Databricks. Jika Anda menggunakan JAR driver JDBC yang diunggah pelanggan melalui DriverManager, Anda harus menulis ulang skrip untuk secara eksplisit menggunakan JAR kustom. Jika tidak, driver bawaan akan digunakan. Pengemudi ini hanya mendukung Federasi Lakehouse. Untuk penggunaan lain, Anda harus menyediakan driver Anda sendiri.

Dukungan StreamingQueryListener untuk Scala

Anda sekarang dapat menggunakan StreamingQueryListener di Scala pada komputasi yang dikonfigurasi dengan mode akses bersama.

Driver JDBC Bawaan Oracle

Di Databricks Runtime 16.1 ke atas, Driver Oracle JDBC dibangun ke dalam Azure Databricks. Jika Anda menggunakan JAR driver JDBC yang diunggah pelanggan melalui DriverManager, Anda harus menulis ulang skrip untuk secara eksplisit menggunakan JAR kustom. Jika tidak, driver bawaan akan digunakan. Pengemudi ini hanya mendukung Federasi Lakehouse. Untuk penggunaan lain, Anda harus menyediakan driver Anda sendiri.

Kesalahan yang lebih detail untuk tabel Delta yang diakses dengan jalur

Pengalaman pesan kesalahan baru untuk tabel Delta yang diakses menggunakan jalur sekarang tersedia. Semua pengecualian sekarang diteruskan ke pengguna. Pengecualian DELTA_MISSING_DELTA_TABLE sekarang dicadangkan ketika file dasar tidak dapat dibaca sebagai tabel Delta.

Perubahan lainnya

Mengganti nama kode kesalahan untuk sumber Streaming Terstruktur cloudFiles

Rilis ini mencakup perubahan untuk mengganti nama kode kesalahan berikut:

• _LEGACY_ERROR_TEMP_DBR_0143 diganti namanya menjadi CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 diganti namanya menjadi CF_INCORRECT_BATCH_USAGE .

Perbaikan bug

Jenis berlapis sekarang menerima batasan NULL dengan benar

Rilis ini memperbaiki bug yang memengaruhi beberapa kolom jenis berlapis yang dihasilkan Delta, misalnya, STRUCT. Kolom ini terkadang akan salah menolak ekspresi berdasarkan batasan NULL atau NOT NULL bidang berlapis. Ini telah diperbaiki.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • ipyflow-core dari 0.0.198 hingga 0.0.201
  • pyccolo dari 0.0.52 ke 0.0.65
• Pustaka R yang ditingkatkan:
• Pustaka Java yang ditingkatkan:
  • io.delta.delta-sharing-client_2.12 dari 1.2.1 hingga 1.2.2
  • org.lz4.lz4-java dari 1.8.0 hingga 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.2-linux-x86_64 hingga 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 menyertakan Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 16.0, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-50482] [SC-182879][CORE] Konfigurasi no-op spark.shuffle.spill yang tidak digunakan lagi
• [SPARK-50032] [SC-182706][SQL][16.x] Izinkan penggunaan nama kolase yang sepenuhnya memenuhi syarat
• [SPARK-50467] [SC-182823][PYTHON] Tambahkan __all__ untuk fungsi bawaan
• [SPARK-48898] [SC-182828][SQL] Fix Variant shredding bug
• [SPARK-50441] [SC-182668][SQL] Perbaiki pengidentifikasi parametris yang tidak berfungsi saat merujuk CTEs
• [SPARK-50446] [SC-182639][PYTHON] Tingkat keserentakan di Python UDF yang dioptimalkan menggunakan Apache Arrow
• [SPARK-50430] [SC-182536][CORE] Gunakan Properties.clone standar alih-alih klon manual
• [SPARK-50471] [SC-182790][PYTHON] Mendukung Penulis Sumber Data Python berbasis Panah
• [SPARK-50466] [SC-182791][PYTHON] Memperbaiki docstring untuk fungsi string - bagian 1
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integrasi Timer API Baru dan Initial State API dengan Timer
• [SPARK-50437] [SC-182586][SS] Mengurangi overhead pembuatan deserializer di TransformWithStateExec
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Tambahkan Dukungan untuk Chaining o...
• [SPARK-49294] [SC-182730][UI] Tambahkan atribut lebar untuk kotak centang shuffle-write-time.
• [SPARK-50426] [SC-182540][PYTHON] Hindari pencarian sumber data Python statis saat menggunakan sumber data bawaan atau Java
• [SPARK-48356] [SC-182603][SQL] Dukungan untuk pernyataan FOR
• [SPARK-50333] [SC-182136][SQL] Dukungan Codegen untuk CsvToStructs (melalui pemanggilan & RuntimeReplaceable)
• [SPARK-50285] [SC-182575] Metrik untuk komitmen ke instans StagedTable
• [SPARK-50081] [SC-182344][SQL] Dukungan Codegen untuk XPath*(oleh Invoke & RuntimeReplaceable)
• [SPARK-50440] [SC-182592] [SQL] Refactor AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] Dukungan Codegen untuk SchemaOfCsv(oleh Memanggil & RuntimeReplaceable)
• [SPARK-49873] [SC-178577][SQL] memperbaiki kegagalan pasca penggabungan pada pengujian kesalahan
• [SPARK-50118] [SC-181259][CONNET] Reset cache status terisolasi saat tugas berjalan
• [SPARK-49873] [SC-178577][SQL] Menetapkan kelas kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197][CORE] Dukungan spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] Tambahkan fungsi DAYNAME
• [SPARK-50270] [SC-181179][SS][PYTHON] Menambahkan metrik status kustom untuk TransformWithStateInPandas
• [SPARK-50118] Membatalkan "[SC-181259][CONNECT] Reset cache status terisolasi ketika tugas sedang berjalan"
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Tambahkan API DataFrame untuk fungsi bernilai tabel
• [SPARK-49470] [SC-175736][UI] Memperbarui lembar gaya dan javascript dataTables dari 1.13.5 ke 1.13.11
• [SPARK-50235] Kembalikan “[SC-180786][SQL] Bersihkan sumber daya ColumnVector setelah memproses semua baris di ColumnarToRowExec”
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] Memicu createDataFrameConfig RPC maksimal satu kali
• [SPARK-50387] [SC-182441][SS] Perbarui kondisi untuk kedaluwarsa timer dan tes yang relevan
• [SPARK-50287] [SC-182400][SQL] Gabungkan opsi tabel dan relasi saat membuat WriteBuilder di FileTable
• [SPARK-50066] [SC-181484][SQL] Dukungan Codegen untuk SchemaOfXml (oleh Invoke & RuntimeReplaceable)
• [SPARK-50092] [SC-181568][SQL] Perbaiki perilaku konektor PostgreSQL untuk array multidmensional
• [SPARK-50318] [SC-181641][SQL] Tambahkan IntervalUtils.makeYearMonthInterval untuk menghilangkan duplikasi kode antara kode yang ditafsirkan dan codegen
• [SPARK-50312] [SC-181646][SQL] Kesalahan pengoperan parameter SparkThriftServer createServer ketika kerberos bernilai benar
• [SPARK-50246] [SC-181468][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] Dari json/xml tidak boleh mengubah kolase dalam skema yang diberikan
• [SPARK-50250] [SC-181466][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] Reset cache status terisolasi saat tugas berjalan
• [SPARK-50235] [SC-180786][SQL] Bersihkan sumber daya ColumnVector setelah memproses semua baris di ColumnarToRowExec
• [SPARK-50156] [SC-180781][SQL] Integrasikan _LEGACY_ERROR_TEMP_2113 ke dalam UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][SQL] Mengintegrasikan _LEGACY_ERROR_TEMP_0028 ke dalam UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] Dukungan Codegen untuk StructsToJson(to_json)
• [SPARK-50055] [SC-180978][SQL] Tambahkan alternatif TryMakeInterval
• [SPARK-50397] [SC-182367][CORE] Hapus argumen --ip dan -i yang tidak digunakan lagi dari Master/Worker
• [SPARK-50238] [SC-181434][PYTHON] Tambahkan Dukungan Varian di PySpark UDFs/UDTFs/UDAFs dan Python UC UDFs
• [SPARK-50079] [SC-179830][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][EXAMPLE] Tambahkan contoh REST API submit-sql.sh
• [SPARK-49966] [SC-179501][SQL] Gunakan Invoke untuk mengimplementasikan JsonToStructs(from_json)
• [SPARK-50302] [SC-182518][SS] Pastikan ukuran indeks sekunder sama dengan ukuran indeks utama untuk variabel stateful TransformWithState dengan TTL
• [SPARK-50301] [SC-182241][SS][16.x] Membuat metrik TransformWithState mencerminkan arti intuitif mereka
• [SPARK-50175] [SC-182140][SQL] Ubah perhitungan prioritas kolase
• [SPARK-50148] [SC-180292][SQL] Buat StaticInvoke kompatibel dengan metode yang mendeklarasikan lemparan pengecualian
• [SPARK-50280] [SC-181214][PYTHON] Menata ulang pengurutan hasil dan pengisian tempat kosong di compute_hist
• [SPARK-50190] [SC-182458][PYTHON] Hapus dependensi langsung Numpy dari Histogram
• [SPARK-50382] [SC-182368][CONNECT] Tambahkan dokumentasi untuk informasi umum tentang pengembangan aplikasi dengan/memperluas Spark Connect
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] Hindari menggunakan classproperty di threadpool untuk klien Python Connect
• [SPARK-49566] [SC-182239][SQL] Tambahkan sintaks pipa SQL untuk operator EXTEND
• [SPARK-50036] [SC-179533][CORE][PYTHON] Sertakan SPARK_LOG_SCHEMA dalam konteks shell REPL
• [SPARK-49859] [SC-178259][CONNECT] Ganti multiprocessing.ThreadPool dengan ThreadPoolExecutor
• [SPARK-50141] [SC-182378][PYTHON] Membuat lpad dan rpad menerima argumen Jenis kolom
• [SPARK-50379] [SC-182142][SQL] Memperbaiki penanganan DayTimeIntevalType di WindowExecBase
• [SPARK-49954] [SC-179110][SQL] Dukungan Codegen untuk SchemaOfJson (oleh Invoke & RuntimeReplaceable)
• [SPARK-50398] [SC-182341][CORE] Gunakan ExitCode 0 untuk penggunaan --help dalam skrip Spark
• [SPARK-50377] [SC-182238][SQL] Memungkinkan untuk mengevaluasi RuntimeReplaceable yang dapat dilipat
• [SPARK-50241] [SC-181444][SQL] Ganti NullIntolerant Mixin dengan metode Expression.nullIntolerant
• [SPARK-50084] [SC-179672][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] Integrasikan _LEGACY_ERROR_TEMP_0039 ke dalam UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][SS] Tambahkan metrik kustom untuk pemantauan waktu yang digunakan pada status awal proses dalam transformWithState
• [SPARK-50029] [SC-179531][SQL] Buat StaticInvoke kompatibel dengan metode yang mengembalikan Any
• [SPARK-49990] [SC-179497][SQL] Meningkatkan performa randStr
• [SPARK-50048] [SC-179528][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] Ubah _LEGACY_ERROR_TEMP_2104 menjadi INTERNAL_ERROR
• [SPARK-49665] [SC-180054][SQL] Pangkas dukungan kolase untuk fungsi string
• [SPARK-48549] [SC-176472][SQL][PYTHON] Tingkatkan fungsi SQL sentences
• [SPARK-50022] [SC-179503][CORE][UI] Perbaiki MasterPage untuk menyembunyikan tautan Antarmuka Pengguna Aplikasi saat UI dinonaktifkan
• [SPARK-50087] [SC-182152] Penanganan ekspresi boolean yang kuat dalam CASE WHEN untuk MsSqlServer dan konektor di masa mendatang
• [SPARK-49991] [SC-179481][SQL] Buat HadoopMapReduceCommitProtocol menghormati 'mapreduce.output.basename' untuk menghasilkan nama file
• [SPARK-50038] [SC-179521][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] Perbaiki ApplicationPage untuk menyembunyikan tautan Antarmuka Pengguna Aplikasi saat UI dinonaktifkan
• [SPARK-49911] [SC-179111][SQL] Perbaiki semantik dukungan kesetaraan biner
• [SPARK-50025] [SC-179496][SQL] Integrasikan _LEGACY_ERROR_TEMP_1253 ke dalam EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][SS] Perbaiki bug pada pengoptimalan saat menambahkan input ke penyimpanan status dalam gabungan stream-stream
• [SPARK-50004] [SC-179499][SQL] Integrasikan _LEGACY_ERROR_TEMP_3327 ke dalam FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator harus mengikuti kontrak dalam ConstantFolding
• [SPARK-50340] [SC-181859][SQL] Unwrap UDT dalam kueri input INSERT
• [SPARK-50237] [SC-181660][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] Memperbaiki masalah perubahan urutan kolom output setelah pengoptimalan AQE
• [SPARK-49773] [SC-178369][SQL] Pengecualian Java yang tidak tertangkap dari make_timestamp() dengan zona waktu yang salah
• [SPARK-49977] [SC-179265][SQL] Gunakan komputasi berulang berbasis tumpukan untuk menghindari pembuatan banyak objek Daftar Scala untuk pohon ekspresi mendalam
• [SPARK-50153] [SC-181591][SQL] Tambahkan name ke RuleExecutor untuk membuat pencetakan log QueryExecutionMetricslebih jelas
• [SPARK-50320] [SC-181668][CORE] Jadikan --remote opsi resmi dengan menghapus peringatan experimental
• [SPARK-49909] [SC-179492]Kembalikan "[SQL] Perbaiki nama cantik beberapa ekspresi"
• [SPARK-50330] [SC-180720][SC-181764][SQL] Tambahkan arahan ke simpul Sortir dan Window
• [SPARK-50364] [SC-182003][SQL] Terapkan serialisasi untuk jenis LocalDateTime di Row.jsonValue
• [SPARK-50016] [SC-182139][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] Dukungan untuk deleteIfExists pada TransformWithStateInPandas
• [SPARK-49757] [SC-177824][SQL] Mendukung ekspresi IDENTIFIER dalam pernyataan SETCATALOG
• [SPARK-50315] [SC-181886][SQL] Mendukung metrik kustom untuk penulisan V1Fallback
• [SPARK-42838] [SC-181509][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] Refactor ResolveSQLOnFile
• [SPARK-48344] [SC-181967][SQL] Siapkan Skrip SQL untuk penambahan Kerangka Kerja Eksekusi
• [SPARK-49345] [SC-174786][CONNECT] Pastikan menggunakan Sesi Spark yang sedang berjalan saat ini
• [SPARK-49925] [SC-178882][SQL] Tambahkan pengujian untuk urutan berdasarkan dengan string yang disusun
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] Meningkatkan pesan kesalahan dan impor dalam pemetaan PySpark
• [SPARK-49368] [SC-174999][CONNECT] Hindari mengakses kelas protobuf lite secara langsung
• [SPARK-50056] [SC-181378][SQL] Dukungan Codegen untuk ParseUrl (oleh Invoke & RuntimeReplaceable)
• [SPARK-49601] [SC-180770][SS][PYTHON] Mendukung Penanganan Status Awal untuk TransformWithStateInPandas
• [SPARK-49908] [SC-178768][SQL] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][SS] Mengatasi batasan perhitungan metrik dengan sumber streaming DSv1
• [SPARK-49874] [SC-178303][SQL] Hapus penentu kolase trim dan ltrim.
• [SPARK-49513] [SC-180339][SS] Tambahkan Dukungan untuk timer dalam transformWithStateInPandas API
• [SPARK-49119] [SC-175607][SQL] Memperbaiki inkonsistensi show columns sintaks antara v1 dan v2
• [SPARK-49206] [SC-173704][CORE][UI] Tambahkan tabel Environment Variables ke Master EnvironmentPage
• [SPARK-49934] [SC-179581][SQL] Tambahkan cast implisit untuk mengakses peta kolase dengan literal
• [SPARK-50049] [SC-181659][SQL] Mendukung metrik driver kustom secara tertulis ke tabel v2
• [SPARK-50171] [SC-180295][PYTHON] Jadikan numpy opsional untuk plot KDE
• [SPARK-49962] [SC-179320][SQL] Sederhanakan hierarki kelas AbstractStringTypes
• [SPARK-50226] [SC-181483][SQL] Koreksi MakeDTInterval dan MakeYMInterval untuk menangani pengecualian Java
• [SPARK-48775] [SC-170801][SQL][STS] Ganti SQLContext dengan SparkSession di STS
• [SPARK-49015] [SC-175688][CORE] Connect Server harus menghormati spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] Memisahkan penyelesaian fungsi untuk digunakan kembali dalam Penganalisis sekali lintas
• [SPARK-49995] [SC-180762][SQL] Tambahkan dukungan argumen bernama ke lebih banyak TVF
• [SPARK-49268] [SC-174903][CORE] Mencatat pengecualian IO di penyedia riwayat SHS
• [SPARK-48123] [SC-164989][Core] Menyediakan skema tabel konstan untuk mengkueri log terstruktur
• [SPARK-49217] [SC-174904][CORE] Mendukung konfigurasi ukuran buffer terpisah di UnsafeShuffleWriter
• [SPARK-50325] [SC-181664][SQL][16.x] Pemisahan resolusi alias agar dapat digunakan kembali dalam Penganalisis satu kali lintas
• [SPARK-50322] [SC-181665][SQL] Perbaiki pengidentifikasi berparameter dalam sub-kueri
• [SPARK-48400] [SC-175283][CORE] Promosikan PrometheusServlet ke DeveloperApi
• [SPARK-50118] Membatalkan "[SC-181259][CONNECT] Reset cache status terisolasi ketika tugas sedang berjalan"
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] Mendukung Python 3.13 di Spark Connect
• [SPARK-50152] [SC-181264][SS] Dukungan handleInitialState dengan pembaca sumber data status
• [SPARK-50260] [SC-181271][CONNECT] Refaktor dan optimalkan Spark C...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Memigrasikan logInfo dengan variabel ke kerangka kerja pengelogan terstruktur
• [SPARK-49312] [SC-174672][PYTHON] Meningkatkan pesan kesalahan untuk assertSchemaEqual
• [SPARK-49439] [SC-175236][SQL] Perbaiki nama cantik ekspresi FromProtobuf & ToProtobuf
• [SPARK-50092] [ES-1258521] Perbaiki perilaku konektor PostgreSQL untuk array multidmensional
• [SPARK-49913] [SC-181565][SQL] Tambahkan pemeriksaan nama label unik dalam cakupan berlabel berlapis
• [SPARK-49563] [SC-181465][SQL] Tambahkan sintaks pipa SQL untuk operator WINDOW
• [SPARK-49661] [SC-179021][SQL] Menerapkan pengurutan pemangkasan, hashing, dan perbandingan.
• [SPARK-38912] [SC-181543][PYTHON] Hapus komentar yang terkait dengan classmethod dan properti
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Meningkatkan manajemen pemetaan file RocksDB SST, dan memperbaiki masalah dengan memuat ulang versi yang sama dengan rekam jepret yang ada
• [SPARK-49002] Membatalkan “[SC-172846][SQL] Secara konsisten menangani lokasi yang tidak valid di WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49668] [SC-178268][SQL] Terapkan dukungan kunci pengurutan untuk pengurutan pemangkasan
• [SPARK-50262] [SC-181193][SQL] Melarang jenis kompleks spesifikasi selama mengubah kolase
• [SPARK-48898] [SC-181435][SQL] Tambahkan fungsi penghancur varian
• [SPARK-48273] [SC-181381]Batalkan “[SQL] Perbaiki penulisan ulang terlambat PlanWithUnresolvedIdentifier
• [SPARK-50222] [SC-180706][CORE] Dukungan spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] Dukungan spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] Penggantian IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 harus NullIntolerant
• [SPARK-50247] [SC-180962][CORE] Tentukan BLOCK_MANAGER_REREGISTRATION_FAILED sebagai ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] Sederhanakan TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] Memungkinkan operator TransformWithState menggunakan pengodean Avro
• [SPARK-50267] [SC-181180][ML] Tingkatkan TargetEncoder.fit dengan API DataFrame
• [SPARK-37178] [SC-180939][ML] Tambahkan Pengodean Target ke ml.feature
• [SPARK-50118] [SC-181259][CONNET] Reset cache status terisolasi saat tugas berjalan
• [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Membuat lit(ndarray) dengan np.int8 menghormati jenis data numpy
• [SPARK-50256] [SC-181048][SQL] Tambahkan validasi ringan untuk memeriksa apakah rencana logis menjadi tidak terselesaikan setelah setiap aturan pengoptimal
• [SPARK-50196] [SC-180932][CONNECT] Perbaiki konteks kesalahan Python untuk menggunakan konteks yang tepat
• [SPARK-50274] [SC-181181][CORE] Menghindari penggunaan setelah penutupan dalam DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] Mendukung parameter opsional "kolom" pada plot "kotak", "kde" dan "hist"
• [SPARK-50273] [SC-181178][SS] Meningkatkan pencatatan untuk kasus akuisisi/rilis kunci RocksDB
• [SPARK-50033] [SC-180720][SC-180659][SQL] Tambahkan petunjuk ke simpul logical.Aggregate()
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Perbaiki rilis penguncian tambahan RocksDB karena pendengar penyelesaian tugas
• [SPARK-50253] [SC-180969][SS] Stream-Stream Join tidak boleh mengambil ID titik pemeriksaan jika tidak didukung.
• [SPARK-50255] [SC-180964][PYTHON] Hindari pengubahan tipe data yang tidak perlu di compute_hist
• [SPARK-50228] [SC-180780][SQL] Pindahkan aturan RewriteCollationJoin ke FinishAnalysis
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Sesuaikan "presisi" menjadi bagian dari kwarg untuk plot kotak
• [SPARK-49637] [SC-180160][SQL] Mengubah pesan kesalahan untuk INVALID_FRACTION_OF_SECOND
• [SPARK-49530] [SC-180658][PYTHON] Dapatkan sesi aktif dari dataframe
• [SPARK-50195] [SC-180654][CORE] Perbaiki StandaloneRestServer untuk menyebarkan spark.app.name ke SparkSubmit dengan benar
• [SPARK-50229] [SC-180773] Kurangi penggunaan memori pada driver untuk skema lebar dengan mengurangi masa pakai objek AttributeReference yang dibuat selama perencanaan logis
• [SPARK-50231] [SC-180815][PYTHON] Buat fungsi instr menerima Kolom substring
• [SPARK-49854] [SC-179812][16.x][SQL] Manajer artefak kloning selama kloning sesi
• [SPARK-50219] [SC-180694][SQL] Refaktor ApplyCharTypePadding sehingga metode pembantu dapat digunakan dalam penyelesai akses tunggal
• [SPARK-50077] [SC-179827][SQL] Memperkenalkan objek pola baru untuk LogicalRelation untuk membantu menghindari pola param penuh default
• [SPARK-50128] [Backport][16x][SC-180677][SS] Tambahkan API handel prosesor stateful menggunakan encoder implisit di Scala
• [SPARK-50061] [SC-179961][SQL] Aktifkan analisis tabel untuk kolom kolase
• [SPARK-49993] [SC-180084][SQL] Meningkatkan pesan kesalahan untuk Jumlah dan Rata-Rata
• [SPARK-49638] [SC-179665][SQL] Hapus saran konfigurasi ANSI di INVALID_URL
• [SPARK-50204] [SC-180660][SQL] Pisahkan HiveTableRelation resolusi jalur baca
• [SPARK-50193] [SC-180651][SS] Perbaiki penanganan pengecualian untuk memvalidasi mode waktu
• [SPARK-50179] [SC-180342][CORE] Buat properti spark.app.name opsional di REST API
• [SPARK-50068] [SC-180300][SQL] Refaktorisasi TypeCoercion dan AnsiTypeCoercion untuk memisahkan transformasi node tunggal
• [SPARK-49411] [SC-179483][SS] Mengkomunikasikan ID Titik Pemeriksaan Penyimpanan Status antara driver dan operator stateful
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET harus mempertahankan pemesanan data
• [SPARK-49506] [SC-180165][SQL] Optimalkan ArrayBinarySearch untuk array yang dapat dilipat
• [SPARK-50097] [SC-179908][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] Tambahkan try_make_timestamp(_ltz dan _ntz) dan pengujian terkait
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] Mendukung plot histogram
• [SPARK-50015] [SC-179964][SQL] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Memindahkan file scala dan java ke folder default mereka
• [SPARK-49980] [SC-180353][CORE][SQL] Memperbaiki potensi kebocoran aliran file yang disebabkan oleh gangguan dalam tugas yang dibatalkan
• [SPARK-49010] [SC-172304][SQL][XML] Tambahkan pengujian unit untuk sensitivitas kasus inferensi skema XML
• [SPARK-49562] [SC-180211][SQL] Tambahkan sintaks pipa SQL untuk agregasi
• [SPARK-49663] [SC-180239][SQL] Aktifkan saran RTRIM dalam ekspresi kolase
• [SPARK-48965] [SC-175926][SQL] Gunakan skema yang benar di Dataset#toJSON
• [SPARK-48493] [SC-175893][PYTHON] Tingkatkan Pembaca Sumber Data Python dengan dukungan langsung Batch Arrow untuk meningkatkan kinerja
• [SPARK-49734] [SC-180226][PYTHON] Tambahkan argumen seed untuk fungsi shuffle
• [SPARK-50174] [16.x][SC-180253][SQL] Memisahkan resolusi UnresolvedCatalogRelation
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] Mendukung plot kepadatan/kde
• [SPARK-49805] [SC-180218][SQL][ML] Hapus fungsi private[xxx] dari function.scala
• [SPARK-49808] [SC-179490][SQL] Memperbaiki kebuntuan dalam eksekusi subkueri karena katup malas
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] Plot kotak dukungan
• [SPARK-50008] [SC-179290][PS][CONNECT] Hindari operasi yang tidak perlu di attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][PS][CONNECT] Refaktorisasi pemanggilan fungsi internal
• [SPARK-49683] [SC-178341][SQL] Kolase pemangkasan blok
• [SPARK-49939] [SC-178941][SQL] Dukungan Codegen untuk json_object_keys (oleh Invoke & RuntimeReplaceable)
• [SPARK-50031] [SC-179582][SQL] Tambahkan ekspresi TryParseUrl
• [SPARK-49766] [SC-178933][SQL] Dukungan Codegen untuk json_array_length (oleh Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][SS] Gunakan urutan simpul EventTimeWatermark yang stabil untuk menghitung marka air
• [SPARK-49540] [SC-180145][PS] Menyatukan penggunaan distributed_sequence_id
• [SPARK-50060] [SC-179965][SQL] Penonaktifan konversi antara berbagai jenis kolasi dalam TypeCoercion dan AnsiTypeCoercion
• [SPARK-49004] [SC-173244][CONNECT] Gunakan registri terpisah untuk fungsi internal Column API
• [SPARK-49811] [SC-177888][SQL]Ganti Nama StringTypeAnyCollation
• [SPARK-49202] [SC-180059][PS] Terapkan ArrayBinarySearch untuk histogram
• [SPARK-49203] [SC-175734][SQL] Tambahkan ekspresi untuk java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][CORE] Perbaiki Pelaporan Salah Kesalahan Fatal sebagai Pengecualian yang Tidak Tertangkap dalam SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][SQL] Pengurutan yang menggunakan ICU harus menyertakan versi pustaka ICU yang digunakan.
• [SPARK-49985] [SC-179644][SQL] Hapus dukungan untuk jenis interval dalam Varian
• [SPARK-49103] [SC-173066][CORE] Dukungan spark.master.rest.filters
• [SPARK-50090] [SC-179819] Refaktor ResolveBinaryArithmetic untuk memisahkan transformasi simpul tunggal
• [SPARK-49902] [SC-179650][SQL] Menangkap kesalahan runtime yang mendasarinya di RegExpReplace
• [SPARK-49126] [SC-173342][CORE] Pindahkan definisi konfigurasi spark.history.ui.maxApplications ke History.scala
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] Pesan kesalahan yang lebih baik saat menggunakan profiler memori pada editor tanpa nomor baris
• [SPARK-50062] [SC-179835][SQL] Mendukung pengurutan berdasarkan InSet
• [SPARK-50035] [Backport][16x][SC-179530][SS] Menambahkan dukungan untuk fungsi handleExpiredTimer yang eksplisit sebagai bagian dari prosesor stateful
• [SPARK-49982] [SC-179814][SQL] Perbaiki caching negatif di InMemoryRelation
• [SPARK-49082] [SC-173350][SQL] Melebarkan promosi jenis di AvroDeserializer
• [SPARK-50088] [SC-179680][SQL] Refaktor UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] Tambahkan dukungan untuk umpan perubahan baca untuk jenis peta dan daftar yang digunakan dalam prosesor stateful
• [SPARK-49846] [SC-179506][SS] Tambahkan metrik numUpdatedStateRows dan numRemovedStateRows untuk digunakan dengan operator transformWithState
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Buat lit terima str dan tipe bool numpy ndarray
• [SPARK-49821] [SC-179527][SS][PYTHON] Terapkan dukungan MapState dan TTL untuk TransformWithStateInPandas
• [SPARK-49558] [SC-179485][SQL] Tambahkan sintaks pipa SQL untuk LIMIT/OFFSET dan ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][LC-4080][SQL] Perbaiki canPlanAsBroadcastHashJoin untuk mematuhi petunjuk penggabungan acak
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] Membuat lit berfungsi dengan ndarray numpy kosong
• [SPARK-50018] [SC-179488][SQL] Membuat AbstractStringType dapat diserialisasikan
• [SPARK-50016] [SC-179491][SQL] Meningkatkan kesalahan ketidakcocokan kolase eksplisit
• [SPARK-50010] [SC-179487][SQL] Memperluas kesalahan ketidakcocokan kolase implisit
• [SPARK-48749] [SC-170116][SQL] Menyederhanakan UnaryPositive dan menghilangkan Aturan Katalisnya dengan RuntimeReplaceable
• [SPARK-49857] [SC-178576][SQL] Tambahkan storageLevel ke Dataset localCheckpoint API
• [SPARK-50058] [SC-179538][SQL] Memisahkan fungsi normalisasi rencana untuk kemudian menggunakannya dalam pengujian Analyzer dengan satu lintasan
• [SPARK-50052] [SC-179535][PYTHON][16.X] Membuat NumpyArrayConverter mendukung ndarray str kosong
• [SPARK-47261] [SC-173665][SQL] Tetapkan nama yang lebih baik untuk kesalahan _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173, dan _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][CORE] Tandai KryoRegistrator dengan antarmuka DeveloperApi
• [SPARK-48949] [SC-173070][SQL] SPJ: Pemfilteran partisi runtime
• [SPARK-50044] [SC-179523][PYTHON] Memperbaiki docstring beberapa fungsi matematika
• [SPARK-48757] [SC-170113][CORE] Membuat IndexShuffleBlockResolver memiliki konstruktor eksplisit
• [SPARK-50037] [SQL] Refaktor AttributeSeq.resolve(...)
• [SPARK-48782] [SC-177056][SQL] Tambahkan dukungan untuk menjalankan prosedur dalam katalog
• [SPARK-49057] [SC-173081][SQL] Jangan blokir perulangan AQE saat mengirimkan tahapan kueri
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Tambahkan sintaks SQL Kolom Identitas
• [SPARK-48773] [SC-170773] Dokumentasikan konfigurasi "spark.default.parallelism" menggunakan kerangka kerja pembangun konfigurasi
• [SPARK-48735] [SC-169810][SQL] Peningkatan Performa untuk fungsi BIN
• [SPARK-48900] [SC-172433] Tambahkan bidang reason untuk semua panggilan internal untuk pembatalan pekerjaan/tahap
• [SPARK-48488] [SC-167605][CORE] Perbaiki metode log[info|warning|error] di SparkSubmit
• [SPARK-48708] [SC-169809][CORE] Hapus tiga pendaftaran jenis yang tidak perlu dari KryoSerializer
• [SPARK-49958] [SC-179312][PYTHON] Python API untuk fungsi validasi string
• [SPARK-49979] [SC-179264][SQL] Perbaiki masalah gantung AQE saat mengumpulkan dua kali pada rencana yang gagal
• [SPARK-48729] [SC-169795][SQL] Tambahkan antarmuka UserDefinedFunction untuk mewakili fungsi SQL
• [SPARK-49997] [SC-179279][SQL] Integrasikan _LEGACY_ERROR_TEMP_2165 ke dalam MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][SS]Pembuatan partisi berbasis ukuran selama proses pembacaan data dari Kafka
• [SPARK-48129] [SC-165006][PYTHON] Menyediakan skema tabel konstan di PySpark untuk mengkueri log terstruktur
• [SPARK-49951] [SC-179259][SQL] Menetapkan kondisi kesalahan yang tepat untuk LEGACY_ERROR_TEMP(1099|3085)
• [SPARK-49971] [SC-179278][SQL] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277][SQL] Integrasikan _LEGACY_ERROR_TEMP_1252 ke dalam EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][CONNECT] Singkirkan kunci global dari Spark Connect Service
• [SPARK-49957] [SC-179202][SQL] Scala API untuk fungsi validasi string
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener tidak boleh terpengaruh oleh spark.interrupt()
• [SPARK-49643] [SC-179239][SQL] Gabungkan _LEGACY_ERROR_TEMP_2042 ke ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][SQL] Memperbaiki ColumnarArray.copy() untuk membaca nilai null dari offset yang benar
• [SPARK-49956] Batalkan perubahan “[SC-179070] Kolasi yang dinonaktifkan dengan ekspresi collect_set”
• [SPARK-49987] [SC-179180][SQL] Perbaiki prompt kesalahan saat seedExpression tidak dapat dilipat di randstr
• [SPARK-49948] [SC-179158][PS][CONNECT] Tambahkan parameter "presisi" ke panda pada plot kotak Spark
• [SPARK-49970] [SC-179167][SQL] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_2069
• [SPARK-49916] [SC-179108][SQL] Melempar pengecualian yang sesuai untuk ketidakcocokan jenis antara ColumnType dan jenis data dalam beberapa baris
• [SPARK-49956] [SC-179070] Pengurutan yang dinonaktifkan dengan ekspresi collect_set
• [SPARK-49974] [16.x][SC-179071][SQL] Pindahkan resolveRelations(...) dari Analyzer.scala
• [SPARK-47259] [SC-176437][SQL] Memberikan nama pada kondisi kesalahan untuk kesalahan interval
• [SPARK-47430] [SC-173679][SQL] Rework group menurut jenis peta untuk memperbaiki pengecualian referensi ikatan
• [SPARK-49067] [SC-172616][SQL] Pindahkan utf-8 literal ke metode internal kelas UrlCodec
• [SPARK-49955] [SC-178989][SQL] nilai null tidak berarti file yang rusak saat mengurai RDD string JSON
• [SPARK-49393] [SC-175212][SQL] Gagal secara default di API plugin katalog yang tidak digunakan lagi
• [SPARK-49952] [SC-178985][SQL] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224][SQL] Membatasi charset di JsonOptions
• [SPARK-49892] [SC-178975][SQL] Menetapkan kelas kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][SQL] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244][SQL] Menetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_105[3-4] dan _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][SQL] Menangani nol dan satu dalam ReorderAssociativeOperator
• [SPARK-49891] [SC-178970][SQL] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_2271
• [SPARK-49918] [SC-178748][CORE] Gunakan akses hanya-baca ke konfigurasi di SparkContext jika sesuai
• [SPARK-49666] [SC-177891][SQL] Tambahkan penanda fitur untuk fitur pengurutan pemangkasan
• [SPARK-48885] [SC-171050][SQL] Membuat beberapa subkelas RuntimeReplaceable menggantikan ke lazy val
• [SPARK-49932] [SC-178931][CORE] Gunakan rilis tryWithResource sumber daya JsonUtils#toJsonString untuk menghindari kebocoran memori
• [SPARK-49949] [SC-178978][PS] Hindari tugas analisis yang tidak perlu di attach_sequence_column
• [SPARK-49924] [SC-178935][SQL] Pertahankan containsNull setelah penggantian ArrayCompact
• [SPARK-49121] [SC-174787][SQL] Dukungan from_protobuf dan to_protobuf untuk fungsi SQL
• [SPARK-47496] [SC-160529][SQL] Dukungan Java SPI terhadap pendaftaran dialek JDBC dinamis
• [SPARK-49359] [SC-174895][SQL] Izinkan implementasi StagedTableCatalog kembali ke penulisan non-atomik
• [SPARK-49895] [SC-178543][SQL][ES-1270338] Meningkatkan pesan kesalahan saat menghadapi koma di akhir dalam klausa SELECT
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Pemetaan Dokumen Jenis Data Spark SQL dari Microsoft SQL Server dan menambahkan pengujian
• [SPARK-46037] [SC-175495][SQL] Perbaikan kebenaran untuk build Shuffled Hash Join yang tersisa tanpa codegen
• [SPARK-47813] [SC-162615][SQL] Ganti getArrayDimension dengan updateExtraColumnMeta
• [SPARK-49542] [SC-178765][SQL] Kesalahan evaluasi pengecualian transformasi partisi
• [SPARK-47172] [SC-169537][CORE] Tambahkan dukungan untuk AES-GCM untuk enkripsi RPC
• [SPARK-47666] [SC-161476][SQL] Mengatasi NPE saat membaca array bit MySQL sebagai LongType
• [SPARK-48947] [SC-174239][SQL] Gunakan nama charset berukuran kecil untuk mengurangi cache yang hilang di Charset.forName
• [SPARK-49909] [SC-178552][SQL] Perbaiki nama indah untuk beberapa ekspresi
• [SPARK-47647] [SC-161377][SQL] Membuat sumber data MySQL dapat membaca bit(n>1) sebagai BinaryType seperti Postgres
• [SPARK-46622] [SC-153004][CORE] Mengambil alih metode toString untuk o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][PYTHON] Membuat penamaan parameter PySparkException konsisten dengan JVM
• [SPARK-49889] [SC-178474][PYTHON] Tambahkan trim argumen untuk fungsitrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][SQL] Perbaiki pemetaan tipe data kesalahan pada Konektor MySQL/J
• [SPARK-47628] [SC-161257][SQL] Perbaiki masalah array bit Postgres 'Tidak dapat ditransmisikan ke boolean'
• [SPARK-49843] [SC-178084][ES-1268164][SQL] Perbaiki komentar perubahan pada kolom char/varchar
• [SPARK-49549] [SC-178764][SQL] Tetapkan nama ke kondisi kesalahan _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49791] [SC-177730][SQL] Membuat DelegatingCatalogExtension lebih dapat diperluas
• [SPARK-49559] [SC-178551][SQL] Tambahkan sintaks pipa SQL untuk operasi set
• [SPARK-49906] [SC-178536][SQL] Memperkenalkan dan menggunakan kesalahan CONFLICTING_DIRECTORY_STRUCTURES untuk PartitioningUtils
• [SPARK-49877] [SC-178392][SQL] Ubah tanda tangan fungsi classifyException: tambahkan argumen isRuntime
• [SPARK-47501] [SC-160532][SQL] Tambahkan convertDateToDate seperti convertTimestampToTimestamp yang ada untuk JdbcDialect
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType harus mengembalikan anak dalam kesalahan
• [SPARK-47462] [SC-160460][SQL] Menyelaraskan pemetaan jenis numerik lain yang tidak ditandatangani dengan TINYINT di MySQLDialect
• [SPARK-47435] [SC-160129][SQL] Memperbaiki masalah luapan MySQL UNSIGNED TINYINT yang disebabkan oleh SPARK-45561
• [SPARK-49398] [SC-176377][SQL] Meningkatkan kesalahan untuk parameter dalam kueri CACHE TABLE dan CREATE VIEW
• [SPARK-47263] [SC-177012][SQL] Menetapkan nama ke kondisi warisan _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] Memperbaiki prompt ketika ascendingOrder adalah DataTypeMismatch di SortArray
• [SPARK-49806] [SC-178304][SQL][CONNECT] Hapus blank space berlebihan setelah show di klien Scala dan Connect
• [SPARK-47258] [SC-175032][SQL] Menetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] Tambahkan sintaks pipa SQL untuk operator JOIN
• [SPARK-49836] [SC-178339][SQL][SS] Perbaiki kueri yang mungkin rusak saat jendela disediakan untuk window/session_window fn
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Menangani pemetaan tanda waktu SQL untuk Postgres dan MySQL
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] Mendukung plot lingkaran
• [SPARK-49824] [SC-178251][SS][CONNECT] Meningkatkan pengelogan di SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] Perbaiki representasi string operasi bidang kolom
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] Plot area dukungan
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] Dukungan plot sebar
• [SPARK-49744] [SC-178363][SS][PYTHON] Terapkan dukungan TTL untuk ListState di TransformWithStateInPandas
• [SPARK-49879] [SC-178334][CORE] Pindahkan TransportCipherUtil ke file terpisah untuk menghilangkan peringatan kompilasi Java
• [SPARK-49866] [SC-178353][SQL] Meningkatkan pesan kesalahan untuk menjelaskan tabel dengan kolom partisi
• [SPARK-49867] [SC-178302][ES-1260570][SQL] Meningkatkan pesan kesalahan saat indeks berada di luar batas saat memanggil GetColumnByOrdinal
• [SPARK-49607] [SC-177373][PYTHON] Memperbarui pendekatan pengambilan sampel untuk plot berbasis sampel
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] Mendukung plot bilah horizontal dan vertikal
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] Mendukung plot garis dengan backend plotly
• [SPARK-49444] [SC-177692][ES-1203248][SQL] UnivocityParser yang Dimodifikasi untuk melempar pengecualian runtime yang disebabkan oleh ArrayIndexOutOfBounds dengan lebih banyak pesan berorientasi pengguna
• [SPARK-49870] [SC-178262][PYTHON] Tambahkan dukungan Python 3.13 di Spark Classic
• [SPARK-49560] [SC-178121][SQL] Tambahkan sintaks pipa SQL untuk operator TABLESAMPLE
• [SPARK-49864] [SC-178305][SQL] Tingkatkan pesan BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274][SQL] Membuat kesalahan di NamedParametersSupport generic untuk menangani fungsi dan prosedur
• [SPARK-49358] [SC-178158][SQL] Ekspresi mode untuk jenis peta dengan string yang disusun
• [SPARK-47341] [SC-178157][SQL] Perbaiki dokumentasi RuntimeConfig#get yang tidak akurat
• [SPARK-48357] [SC-178153][SQL] Dukungan untuk pernyataan LOOP
• [SPARK-49845] [SC-178059][CORE] Membuat appArgs dan environmentVariables opsional di REST API
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable harus menunjukkan apakah untuk menulis
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Menambahkan dukungan pendengar sisi klien untuk Scala
• [SPARK-48700] [SC-177978][SQL] Ekspresi modus untuk tipe kompleks (semua pengurutan)
• [SPARK-48196] [SC-177899][SQL] Ubah lazy val plans pada QueryExecution menjadi LazyTry
• [SPARK-49749] [16.x][SC-177877][CORE] Ubah tingkat log menjadi debug di BlockManagerInfo
• [SPARK-49561] [SC-177897][SQL] Tambahkan sintaks pipa SQL untuk operator PIVOT dan UNPIVOT
• [SPARK-49823] [SC-177885][SS] Hindari pembuangan selama proses mematikan dalam path penutupan rocksdb
• [SPARK-49820] [SC-177855] [PYTHON] Ubah raise IOError menjadi raise OSError
• [SPARK-49653] [SC-177266][SQL] Gabungan tunggal untuk subkueri skalar berkorelasi
• [SPARK-49552] [SC-177477][PYTHON] Tambahkan dukungan DataFrame API untuk fungsi SQL 'randstr' dan 'uniform' baru
• [SPARK-48303] [16.x][SC-166251][CORE] Mengatur Ulang LogKeys
• [SPARK-49656] [16x][Backport][SS] Tambahkan dukungan untuk variabel status dengan jenis koleksi status nilai dan opsi pembacaan umpan perubahan
• [SPARK-48112] [SC-165129][CONNECT] Mengekspos sesi di SparkConnectPlanner ke plugin
• [SPARK-48126] [16.x][SC-165309][Core] Membuat pengaturan spark.log.structuredLogging.enabled menjadi efektif
• [SPARK-49505] [SC-176873][SQL] Buat fungsi SQL baru "randstr" dan "seragam" untuk menghasilkan string atau angka acak dalam rentang
• [SPARK-49463] [SC-177474] Dukungan ListState untuk TransformWithStateInPandas
• [SPARK-48131] [SC-165007][Core] Menyatukan mdc.taskName dan task_name kunci MDC
• [SPARK-49557] [SC-177227][SQL] Tambahkan sintaks pipa SQL untuk operator WHERE
• [SPARK-49323] [16.x][SC-174689][CONNECT] Pindahkan MockObserver dari folder uji Spark Connect Server ke folder utama Server
• [SPARK-49745] [SC-177501][SS] Tambahkan perubahan untuk membaca timer terdaftar melalui pembaca sumber data status
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Remove ColumnFamilyOptions dan tambahkan konfigurasi langsung ke dbOptions di RocksDB

Dukungan pada driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver terbaru dan lakukan peningkatan (unduh ODBC, unduh JDBC).

Lihat pembaruan pemeliharaan Databricks Runtime 16.1.

Lingkungan sistem

• Sistem Operasi : Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala : 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Perpustakaan Python yang Terpasang

Pustaka R yang Terinstal

Pustaka R diinstal dari cuplikan CRAN Pengelola Paket Posit padatanggal 2024-08-04.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)