Databricks Runtime 13.2 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 13.2, didukung oleh Apache Spark 3.4.0.

Databricks merilis versi ini pada Juli 2023.

Fitur dan peningkatan baru

• Changelog checkpointing untuk penyimpanan status RocksDB
• Peningkatan keandalan untuk VACUUM dengan klon dangkal pada Unity Catalog.
• Dukungan untuk UDF Python di SQL
• Delta Lake UniForm for Iceberg sedang dalam tahap pratinjau publik
• Pengklusteran cairan Delta Lake ada di pratinjau publik
• Dukungan arsip di Azure Databricks
• IDENTIFIER dukungan klausa
• Dukungan Unity Catalog untuk Fungsi Definisi Pengguna (UDF) di Python dan Pandas
• Berbagi skema menggunakan Delta Sharing
• Perbaikan bug

Changelog checkpointing untuk penyimpanan status RocksDB

Anda dapat mengaktifkan titik pemeriksaan changelog untuk mengurangi durasi titik pemeriksaan dan latensi end-to-end pada beban kerja Streaming Terstruktur yang bersifat stateful. Databricks merekomendasikan untuk mengaktifkan titik pemeriksaan changelog untuk semua kueri Streaming Terstruktur yang stateful. Lihat Aktifkan pembuatan titik pemeriksaan changelog.

Peningkatan keandalan untuk VACUUM dengan menggunakan kloning dangkal pada Unity Catalog.

Saat Anda menggunakan tabel terkelola Unity Catalog untuk sumber dan target operasi kloning dangkal, Unity Catalog mengelola file data yang mendasar untuk meningkatkan keandalan untuk sumber dan target operasi kloning. Menjalankan VACUUM pada sumber kloning dangkal tidak akan merusak tabel hasil kloning. Lihat Klon Vakum dan Unity Catalog dangkal.

Dukungan untuk UDF Python di SQL

Anda sekarang dapat mendeklarasikan fungsi yang ditentukan pengguna menggunakan Python dalam pernyataan SQL CREATE FUNCTION di Unity Catalog. Lihat Fungsi yang ditentukan pengguna (UDF) di Unity Catalog.

Delta Lake UniForm for Iceberg sedang dalam pratinjau publik

Delta Lake Universal Format (UniForm) memungkinkan Anda membaca tabel Delta dengan klien Iceberg. Lihat Baca tabel Delta dengan klien Iceberg.

Pengklusteran cairan Delta Lake ada di pratinjau publik

Pengklusteran cairan Delta Lake menggantikan pemartisian tabel dan ZORDER untuk menyederhanakan keputusan tata letak data dan mengoptimalkan performa kueri. Lihat Gunakan pengklusteran cair untuk tabel Delta.

Dukungan pengarsipan di Azure Databricks

Dukungan arsip di Azure Databricks memperkenalkan kumpulan kemampuan yang memungkinkan Anda menggunakan kebijakan siklus hidup berbasis cloud pada penyimpanan objek cloud yang berisi tabel Delta untuk memindahkan file ke tingkat penyimpanan arsip. Lihat Dukungan arsip di Azure Databricks.

dukungan klausa IDENTIFIER

Gunakan IDENTIFIER(:mytable) untuk membuat parameter tabel, kolom, fungsi, dan nama skema dengan aman dalam banyak pernyataan SQL.

Dukungan Unity Catalog untuk Fungsi yang Ditentukan Pengguna Python dan Pandas (UDF)

Pada Databricks Runtime 13.2 ke atas, fungsi yang ditentukan pengguna (UDF) yang ditulis dalam Python didukung pada kluster yang menggunakan mode akses standar (sebelumnya mode akses bersama) di ruang kerja yang mendukung Katalog Unity. Ini termasuk UDF (User-Defined Functions) Python dan Pandas. Untuk detail tentang UDF Python, lihat Fungsi skalar yang ditentukan pengguna - Python.

Berbagi skema menggunakan Delta Sharing

Databricks Runtime 13.2 menambahkan kemampuan untuk menggunakan ALTER SHARE <share-name> ADD SCHEMA <schema-name> untuk berbagi seluruh skema menggunakan Berbagi Delta, memberikan akses penerima ke semua tabel dan tampilan dalam skema saat Anda membagikannya, bersama dengan tabel dan tampilan apa pun yang ditambahkan ke skema di masa mendatang. Lihat Tambah skema ke berbagi dan ALTER SHARE.

Perbaikan bug

• Memperbaiki bug pada pembaca JSON, di mana data diproses dalam mode PERMISSIVE jika failOnUnknownFieldsmode diaktifkan. Rekaman sekarang dihapus dalam DROPMALFORMEDparser mode atau ditulis ke badRecordsPath, jika salah satu dari opsi ini telah ditetapkan. FAILFAST melemparkan kesalahan jika jenis kolom tidak cocok.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • nodeenv dari 1.7.0 hingga 1.8.0
• Pustaka R yang ditingkatkan:
• Pustaka Java yang ditingkatkan:
  • io.delta.delta-sharing-spark_2.12 dari 0.6.7 hingga 0.7.0

Apache Spark

Databricks Runtime 13.2 mencakup Apache Spark 3.4.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 13.1 (EoS), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:

• [SPARK-42750] [SC-133452][DBRRM-273] Mendukung pernyataan Sisipkan Berdasarkan Nama
• [SPARK-43133] [SC-133728] Dukungan Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][SAMBUNGKAN][PS] Mengaktifkan SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][Sambungkan][PS] Perbaikan (NullOps|NumOps).(eq|ne) untuk Spark Connect.
• [SPARK-44021] [SC-134109][SQL] Menambahkan spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][SQL] Strip __auto_generated_subquery_name dari id dalam kesalahan
• [SPARK-43976] [SC-133375][CORE] Menangani kasus di mana modifiedConfigs tidak ada di log peristiwa
• [SPARK-32559] [SC-133992][SQL] Memperbaiki logika pemangkasan yang tidak menangani karakter kontrol ASCII dengan benar
• [SPARK-43421] [SC-132930][SS] Menerapkan Titik Pemeriksaan berbasis Changelog untuk Penyedia Penyimpanan Status RocksDB
• [SPARK-43594] [SC-133851][SQL] Menambahkan LocalDateTime ke anyToMicros
• [SPARK-43884] [SC-133867] Penanda param di DDL
• [SPARK-43398] [SC-133894][CORE] Waktu habis eksekutor seharusnya maksimum dari batas waktu tidak aktif untuk shuffle dan RDD.
• [SPARK-43610] [SC-133892][CONNECT][PS] Aktifkan InternalFrame.attach_distributed_column di Spark Connect.
• [SPARK-43971] [SC-133826][SAMBUNGKAN][PyTHON] Mendukung createDataFrame Python dengan cara streaming
• [SPARK-44006] [SC-133652][HUBUNGKAN][Python] Mendukung cache artefak
• [SPARK-43790] [SC-133468][PyTHON][SAMBUNGKAN][ML] Tambahkan copyFromLocalToFs API
• [SPARK-43921] [SC-133461][PROTOBUF] Membuat file deskriptor Protobuf pada waktu build
• [SPARK-43906] [SC-133638][SC-133404][PyTHON][SAMBUNGKAN] Menerapkan dukungan file di SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Perbaikan tipe rowsPerSecond pada Python StreamingQueryProgress
• [SPARK-43768] [SC-132398][PYTHON][CONNECT] Dukungan manajemen dependensi Python di Python Spark Connect
• [SPARK-43979] [13.X] Kembalikan "[SC-133456][SQL] CollectedMetrics harus diperlakukan sebagai yang sama untuk bergabung sendiri"
• [SPARK-42290] [SC-133696][SQL] Memperbaiki masalah ketika kesalahan OOM tidak dapat dilaporkan saat AQE aktif
• [SPARK-43943] [SC-133648][SQL][PyTHON][SAMBUNGKAN] Menambahkan fungsi matematika SQL ke Scala dan Python
• [SPARK-43747] [SC-132047][PYTHON][KONEKSI] Implementasi dukungan pyfile di SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][SPARK-43701][SAMBUNGKAN][PS] Aktifkan TimedeltaOps.(sub|rsub) dengan Spark Connect
• [SPARK-43712] [SC-133641][SPARK-43713][SAMBUNGKAN][PS] Aktifkan uji paritas: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][SQL] Meningkatkan kandidat yang disarankan untuk atribut yang belum terselesaikan
• [SPARK-43901] [SC-133454][SQL] Avro untuk mendukung tipe desimal khusus yang disimpan sebagai Long
• [SPARK-43267] [SC-133024][JDBC] Menangani kolom yang didefinisikan pengguna yang tidak diketahui di postgres sebagai string dalam array
• [SPARK-43935] [SC-133637][SQL][PyTHON][SAMBUNGKAN] Menambahkan fungsi xpath_* ke Scala dan Python
• [SPARK-43916] [SC-133647][SQL][PyTHON][SAMBUNGKAN] Menambahkan persentil ke Scala dan Python API
• [SPARK-43717] [SC-133455][SAMBUNGKAN] Klien Scala pengurangan agg tidak dapat menangani partisi null untuk input primitif Scala
• [SPARK-43984] [SC-133469][SQL][PROTOBUF] Ubah untuk digunakan foreach saat map tidak menghasilkan hasil
• [SPARK-43612] [SC-132011][SAMBUNGKAN][PyTHON] Menerapkan SparkSession.addArtifact di klien Python
• [SPARK-44002] [SC-133606][CONNECT] Memperbaiki penanganan status artefak
• [SPARK-43933] [SC-133470][SQL][PyTHON][SAMBUNGKAN] Menambahkan fungsi agregat regresi linier ke Scala dan Python
• [SPARK-43920] [SC-133614][SQL][SAMBUNGKAN] Membuat modul sql/api
• [SPARK-43979] [SC-133456][SQL] CollectedMetrics harus dianggap sebagai satu yang sama untuk gabungan sendiri
• [SPARK-43977] [SC-133373][CONNECT] Memperbaiki hasil pengecekan yang tidak terduga dari dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: memperbaiki bug di mana enums diperlakukan sebagai ints
• [SPARK-43930] [SC-133406][SQL][PyTHON][SAMBUNGKAN] Menambahkan fungsi unix_* ke Scala dan Python
• [SPARK-43807] [SC-132545][SQL] Migrasikan _LEGACY_ERROR_TEMP_1269 ke PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] Memperbaiki bug yang tidak menampilkan sql kolom untuk Percentile[Cont|Disc]
• [SPARK-42626] [SC-133248][CONNECT] Menambahkan Iterator Destruktif untuk SparkResult
• [SPARK-43333] [SC-132898][SQL] Izinkan Avro untuk mengonversi jenis union ke SQL dengan nama bidang tetap stabil sesuai dengan jenisnya.
• [SPARK-43953] [SC-133134][KONEKSI] Hapus pass
• [SPARK-43970] [SC-133403][PyTHON][SAMBUNGKAN] Menyembunyikan metode dataframe yang tidak didukung dari penyelesaian otomatis
• [SPARK-43973] [SC-133272][SS][UI] Antarmuka pengguna Streaming Terstruktur harus menampilkan kueri yang gagal dengan benar
• [SPARK-42577] [SC-125445][CORE] Menambahkan batasan upaya maks untuk tahapan untuk menghindari potensi percobaan ulang tak terbatas
• [SPARK-43841] [SC-132699][SQL] Menangani atribut kandidat tanpa awalan di StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][Tindak Lanjut]Mengubah versi dukungan konfigurasi spark.rdd.cache.visibilityTracking.enabled menjadi 3.5.0
• [SPARK-37942] [SC-130983][CORE][SQL] Memigrasikan kelas kesalahan
• [SPARK-43898] [SC-132926][CORE] Mendaftarkan secara otomatis immutable.ArraySeq$ofRef ke KryoSerializer untuk Scala 2.13
• [SPARK-43775] [SC-132891][SQL] DataSource V2: Izinkan mewakili pembaruan sebagai penghapusan dan penyisipan
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Menyediakan dukungan untuk UserDefinedType dalam createDataFrame dari pandas DataFrame dan toPandas
• [SPARK-43418] [SC-132753][SC-130685][CONNECT] Menambahkan SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][SQL] Mengubah _LEGACY_ERROR_TEMP_0036 menjadi INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] Memperbaiki penghitungan kurang akumulator dalam kasus tugas ulang dengan cache RDD
• [SPARK-43892] [SC-133006][PYTHON] Menambahkan dukungan lengkapi otomatis untuk df[|] dalam pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Menambahkan pola opsional untuk Catalog.listDatabases
• [SPARK-43205] [SC-132623] klausa IDENTIFIER
• [SPARK-43545] [SC-132378][SQL][PyTHON] Mendukung jenis tanda waktu berlapis
• [SPARK-43949] [SC-133048][PyTHON] Meningkatkan cloudpickle ke 2.2.1
• [SPARK-43760] [SC-132809][SQL] Ketergunaan Nilai Null dari Hasil Subkueri Skalar
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Perbaikan TimedeltaOps untuk Spark Connect
• [SPARK-43895] [SC-132897][SAMBUNGKAN][GO] Menyiapkan jalur paket Go
• [SPARK-43894] [SC-132892][PyTHON] Memperbaiki bug di df.cache()
• [SPARK-43509] [SC-131625][CONNECT] Mendukung pembuatan beberapa sesi Spark Connect.
• [SPARK-43882] [SC-132888][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Perbaikan NumOps untuk Spark Connect
• [SPARK-43604] [SC-132165][SQL] Refaktor INVALID_SQL_SYNTAX untuk menghindari menyematkan teks kesalahan dalam kode sumber
• [SPARK-43859] [SC-132883][SQL] Mengambil alih toString di LateralColumnAliasReference
• [SPARK-43792] [SC-132939][SQL][PyTHON][SAMBUNGKAN] Menambahkan pola opsional untuk Catalog.listCatalogs
• [SPARK-43353] Kembalikan "[SC-132734][PYTHON] Migrasikan kesalahan sesi yang tersisa ke kelas kesalahan"
• [SPARK-43375] [SC-130309][CONNECT] Meningkatkan pesan kesalahan untuk INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][CONNECT] Hapus yang redundan toSeq dari SparkConnectPlanner untuk Scala 2.13
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Perbaikan DatetimeOps untuk Spark Connect
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Perbaikan BinaryOps untuk Spark Connect
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Perbaikan NullOps untuk Spark Connect
• [SPARK-43782] [SC-132885][CORE] Mendukung konfigurasi tingkat log dengan Spark conf statis
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][SQL] Menambahkan dukungan AES IV dan AAD ke ExpressionImplUtils
• [SPARK-43795] [SC-132532][SAMBUNGKAN] Menghapus parameter yang tidak digunakan untuk SparkConnectPlanner
• [SPARK-42317] [SC-129194][SQL] Menetapkan nama ke _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][SQL] Gunakan kelas kesalahan dalam kesalahan kompilasi ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][CORE] Menghapus deklarasi yang tidak digunakan dari modul Core
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] Memindahkan kesalahan klien Spark Connect ke kelas kesalahan
• [SPARK-43799] [SC-132715][PyTHON] Menambahkan opsi biner deskriptor ke Pyspark Protobuf API
• [SPARK-43837] [SC-132678][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][SQL] Beri nama pada kelas error LEGACY_ERROR_TEMP(1254 & 1315)
• [SPARK-43886] [SC-132808][PyTHON] Terima tuple generik sebagai petunjuk mengetik Pandas UDF
• [SPARK-43530] [SC-132653][PROTOBUF] Membaca file deskriptor hanya sekali
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Perbaikan CategoricalOps untuk Spark Connect
• [SPARK-39979] [SC-132685][SQL] Tambahkan opsi untuk menggunakan vektor lebar variabel besar untuk operasi UDF panah
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Perbaikan StringOps untuk Spark Connect
• [SPARK-43353] [SC-132734][PyTHON] Memigrasikan kesalahan sesi yang tersisa ke dalam kelas kesalahan
• [SPARK-43815] [SC-132781][SQL] Tambahkan to_varchar alias untuk to_char
• [SPARK-43543] [13.x][SC-131839][PyTHON] Memperbaiki perilaku MapType berlapis di Pandas UDF
• [SPARK-43361] [SC-131789][PROTOBUF] memperbarui dokumentasi untuk kesalahan yang terkait dengan serialisasi enum
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] Sembunyikan metode yang tidak didukung dari fitur penyelesaian otomatis
• [SPARK-43022] [SC-131681][CONNECT] Mendukung fungsi protobuf untuk klien Scala
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] Migrasi NotImplementedError ke PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] Mengaktifkan rekursi ekor sedapat mungkin
• [SPARK-42421] [SC-132695][CORE] Gunakan utils untuk mendapatkan sakelar untuk alokasi dinamis yang digunakan dalam titik pemeriksaan lokal
• [SPARK-43590] [SC-132012][SAMBUNGKAN] Buat connect-jvm-client-mima-check untuk mendukung pemeriksaan mima dengan modul protobuf
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Memigrasikan kesalahan yang tersisa dari DataFrame(Pembaca|Penulis) ke dalam kelas error
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: izinkan serde dengan enum sebagai ints
• [SPARK-43789] [SC-132397][R] Menggunakan 'spark.sql.execution.arrow.maxRecordsPerBatch' pada createDataFrame di R dengan Arrow secara default
• [SPARK-43596] [SC-126994][SQL] Menangani predikat IsNull dalam rewriteDomainJoins
• [SPARK-42249] [SC-122565][SQL] Menyempurnakan tautan html untuk dokumentasi dalam pesan kesalahan.
• [SPARK-43128] [SC-131628][SAMBUNGKAN][SS] Membuat recentProgress dan lastProgress mengembalikan StreamingQueryProgress agar konsisten dengan API Scala asli
• [SPARK-43387] [SC-130448][SQL] Berikan kode kesalahan yang dapat dibaca manusia untuk _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [UI] Memperbaiki kesalahan saat menserialisasikan ExecutorPeakMetricsDistributions ke dalam respons API
• [SPARK-42958] [SC-131475][KONEKSI] Refaktor connect-jvm-client-mima-check untuk mendukung pemeriksaan Mima dengan modul avro
• [SPARK-43591] [SC-131977][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][CORE] Memanfaatkan kelas kesalahan di org.apache.spark.io
• [SPARK-43759] [SC-132189][SQL][PyTHON] Mengekspos TimestampNTZType di pyspark.sql.type
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][WEBUI] Menangani missing row.excludedInStages bidang
• [SPARK-42956] [SC-127257][CONNECT] Menyediakan dukungan untuk fungsi avro bagi klien Scala
• [SPARK-43487] [SC-131975][SQL] Memperbaiki pesan kesalahan CTE Berlapis
• [SPARK-43265] [SC-129653] Memindahkan kerangka kerja Kesalahan ke modul utils umum
• [SPARK-40912] [SC-131547][CORE]Overhead dari Pengecualian dalam KryoDeserializationStream
• [SPARK-43583] [SC-131976][CORE] dapatkan MergedBlockedMetaReqHandler dari pengganti daripada instans SaslRpcHandler
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] Buat & tetapkan tiket JIRA yang tepat untuk semua pengujian yang gagal.
• [SPARK-38469] [SC-131425][CORE] Menggunakan kelas kesalahan di org.apache.spark.network
• [SPARK-43718] [SC-132014][SQL] Mengatur nullable dengan benar untuk kunci dalam USING joins
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop harus menerima kolom kosong
• [SPARK-43743] [SC-132038][SQL] Port HIVE-12188(DoAs tidak berfungsi dengan baik di HS2 yang aman tanpa kerberos)
• [SPARK-43598] [SC-131929][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][CORE] Memperbaiki ClassNotFoundException selama migrasi
• [SPARK-43360] [SC-131526][SS][KONEKSI] Scala client StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] Menggunakan kelas kesalahan di org.apache.spark.memory
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] Ubah nama kelas kesalahan LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL] Mendukung penghapusan subekspresi untuk ekspresi pintasan
• [SPARK-38462] [SC-130449][CORE] Menambahkan kelas kesalahan INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][SQL] Perbaikan cannotBroadcastTableOverMaxTableBytesError untuk digunakan bytesToString
• [SPARK-43539] [SC-131830][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][SQL] Mengkloning rencana cache InMemoryRelation untuk mencegah rencana kloning mereferensikan objek yang sama
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] Perluas INTERNAL_ERROR dengan kategori dan tambahkan INTERNAL_ERROR_BROADCAST kelas kesalahan
• [SPARK-43281] [SC-131370][SQL] Memperbaiki masalah dimana penulis paralel tidak memperbarui metrik file
• [SPARK-43383] [SC-130660][SQL] Menambahkan rowCount statistik ke LocalRelation
• [SPARK-43574] [SC-131739][PyTHON][SQL] Dukungan untuk mengatur Python yang dapat dieksekusi untuk API fungsi UDF dan panda di pekerja selama runtime
• [SPARK-43569] [SC-131694][SQL] Hapus solusi untuk HADOOP-14067
• [SPARK-43183] [SC-128938][SS][13.x] Memperkenalkan panggilan balik baru "onQueryIdle" ke StreamingQueryListener
• [SPARK-43528] [SC-131531][SQL][PyTHON] Mendukung nama bidang duplikat di createDataFrame dengan pandas DataFrame
• [SPARK-43548] [SC-131686][SS] Hapus solusi untuk HADOOP-16255
• [SPARK-43494] [SC-131272][CORE] Langsung memanggil replicate() untuk HdfsDataOutputStreamBuilder daripada refleksi dalam SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE] Menangani hadoopProperties dan metricsProperties yang hilang
• [SPARK-42899] [SC-126456][SQL] Perbaiki DataFrame.to(skema) untuk menangani kasus di mana ada bidang berlapis yang tidak dapat diubah ke null di bidang nullable
• [SPARK-43302] [SC-129747][SQL] Jadikan Python UDAF sebagai AggregateFunction
• [SPARK-43223] [SC-131270][Sambungkan] Mengetik agg, mengurangi fungsi, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] Perluas QueryTerminatedEvent untuk berisi kelas kesalahan jika ada dalam pengecualian
• [SPARK-43359] [SC-131463][SQL] Hapus dari tabel Hive seharusnya menampilkan "UNSUPPORTED_FEATURE.TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Beralih kembali ke string yang dikodekan url
• [SPARK-43492] [SC-131227][SQL] Tambahkan alias fungsi 3-args DATE_ADD dan DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] Mendukung tipe struct dalam createDataFrame dari pandas DataFrame
• [SPARK-43386] [SC-131110][SQL] Meningkatkan daftar kolom/atribut yang disarankan di UNRESOLVED_COLUMN.WITH_SUGGESTION kelas kesalahan
• [SPARK-43443] [SC-131332][SQL] Tambahkan tolok ukur untuk inferensi jenis Tanda Waktu saat menggunakan nilai yang tidak valid
• [SPARK-43518] [SC-131420][SQL] Konversi _LEGACY_ERROR_TEMP_2029 ke INTERNAL_ERROR
• [SPARK-42604] [SC-130648][CONNECT] Menerapkan functions.typedlit
• [SPARK-42323] [ES-669513] Kembalikan "[SC-123479][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2332"
• [SPARK-43357] [SC-130649][SQL] Menyaring tipe tanggal pada kutipan tanggal
• [SPARK-43410] [SC-130526][SQL] Meningkatkan perulangan vektor untuk SkipValues Yang Dikemas
• [SPARK-43441] [SC-130995][CORE] makeDotNode seharusnya tidak gagal ketika DeterministicLevel tidak ada
• [SPARK-43324] [SC-130455][SQL] Menangani perintah UPDATE untuk sumber berbasis delta
• [SPARK-43272] [SC-131168][CORE] createFile Panggilan langsung alih-alih refleksi
• [SPARK-43296] [13.x][SC-130627][CONNECT][Python] Memigrasikan kesalahan sesi Spark Connect menjadi kelas error
• [SPARK-43405] [SC-130987][SQL] Hapus metode , , getRowFormatSQLinputRowFormatSQL yang tidak berguna outputRowFormatSQL
• [SPARK-43447] [SC-131017][R] Dukungan R 4.3.0
• [SPARK-43425] [SC-130981][SQL] Tambahkan TimestampNTZType ke ColumnarBatchRow
• [SPARK-41532] [SC-130523][SAMBUNGKAN][KLIEN] Menambah pemeriksaan untuk operasi yang melibatkan beberapa data frame
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Memigrasikan kesalahan Spark Connect Streaming Terstruktur ke dalam kelas error
• [SPARK-42992] [13.x][SC-129465][PyTHON] Memperkenalkan PySparkRuntimeError
• [SPARK-43422] [SC-130982][SQL] Menyimpan tag pada LogicalRelation dengan output metadata
• [SPARK-43390] [SC-130646][SQL] DSv2 memungkinkan CTAS/RTAS menetapkan nullabilitas skema
• [SPARK-43430] [SC-130989][SAMBUNGKAN][PROTO] ExecutePlanRequest mendukung opsi permintaan arbitrer.
• [SPARK-43313] [SC-130254][SQL] Menambahkan nilai DEFAULT kolom yang hilang untuk tindakan MERGE INSERT
• [SPARK-42842] [SC-130438][SQL] Menggabungkan _LEGACY_ERROR_TEMP_2006 kelas kesalahan ke dalam REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][SQL] Aktifkan spark.sql.thriftServer.interruptOnCancel secara default
• [SPARK-43292] [SC-130525][CORE][SAMBUNGKAN] Pindah ExecutorClassLoader ke core modul dan sederhanakan Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] Meningkatkan dukungan jenis TimestampNTZ di sumber data JDBC
• [SPARK-43343] [SC-130629][SS] FileStreamSource harus menonaktifkan pemeriksaan glob file tambahan saat membuat DataSource
• [SPARK-43312] [SC-130294][PROTOBUF] Opsi untuk mengonversi bidang apa pun menjadi JSON
• [SPARK-43404] [SC-130586][SS] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan id
• [SPARK-43397] [SC-130614][CORE] Durasi penonaktifan pelaksana log dalam executorLost metode
• [SPARK-42388] [SC-128568][SQL] Hindari pembacaan footer parquet dua kali di pembaca vektorisasi
• [SPARK-43306] [13.x][SC-130320][PyTHON] Memigrasikan ValueError dari jenis Spark SQL ke kelas kesalahan
• [SPARK-43337] [SC-130353][UI][3.4] Ikon panah Asc/desc untuk mengurutkan kolom tidak ditampilkan di kolom tabel
• [SPARK-43279] [SC-130351][CORE] Membersihkan anggota yang tidak digunakan dari SparkHadoopUtil
• [SPARK-43250] [SC-130147][SQL] Ganti kelas kesalahan _LEGACY_ERROR_TEMP_2014 dengan kesalahan internal
• [SPARK-43363] [SC-130299][SQL][PYTHON] Lakukan panggilan astype ke jenis kategori hanya ketika tipe arrow tidak disediakan
• [SPARK-43261] [SC-130154][PyTHON] Migrasi TypeError dari jenis Spark SQL ke dalam kelas kesalahan
• [SPARK-41971] [SC-130230][SQL][PYTHON] Menambahkan konfigurasi untuk konversi pandas, bagaimana menangani tipe-tipe struct
• [SPARK-43381] [SC-130464][SAMBUNGKAN] Membuat 'transformStatCov' malas
• [SPARK-43362] [SC-130481][SQL] Penanganan khusus jenis JSON untuk konektor MySQL
• [SPARK-42843] [SC-130196][SQL] Perbarui _LEGACY_ERROR_TEMP_2007 kelas kesalahan ke REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][SAMBUNGKAN] Streaming hubungan lokal
• [SPARK-43181] [SC-130476][SQL] Tampilkan WebURL UI dalam spark-sql shell
• [SPARK-43051] [SC-130194][SAMBUNGKAN] Tambahkan opsi untuk memancarkan nilai default
• [SPARK-43204] [SC-129296][SQL] Meratakan penetapan MERGE dengan atribut tabel
• [SPARK-43348] [SC-130082][PyTHON] Dukungan Python 3.8 di PyPy3
• [SPARK-42845] [SC-130078][SQL] Memperbarui kelas kesalahan _LEGACY_ERROR_TEMP_2010 ke InternalError
• [SPARK-43211] [SC-128978][HIVE] Menghapus dukungan Hadoop2 di IsolatedClientLoader

Lingkungan sistem

• Sistem Operasi: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2023-02-10.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)