Databricks Runtime 13.3 LTS

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 13.3 LTS, didukung oleh Apache Spark 3.4.1.

Databricks merilis versi ini pada Agustus 2023.

Fitur dan peningkatan baru

• Dukungan Scala untuk kluster bersama
• Daftar izin untuk skrip init, JAR, dan koordinat Maven pada kluster bersama Katalog Unity ada di Pratinjau Umum
• Dukungan volume untuk skrip init dan JAR ada di Pratinjau Umum
• Transmisi aman diaktifkan secara default untuk operasi Delta Lake
• Memperkenalkan tag dengan Unity Catalog
• Databricks Runtime mengembalikan kesalahan jika file dimodifikasi antara perencanaan kueri dan pemanggilan
• Menimpa skema blok saat menggunakan penimpaan partisi dinamis
• Mengintegrasikan COPYFile API ke dalam dbutils.fs.cp
• Dukungan driver Databricks ODBC/JDBC
• Dukungan untuk penanda parameter yang tidak disebutkan namanya (posisi)
• Mengaktifkan pelabelan kolom rangkaian waktu
• Fungsi SQL bitmap baru
• Fungsi enkripsi yang disempurnakan
• dukungan Unity Catalog untuk REFRESH FOREIGN
• INSERT MENURUT NAMA
• Bagikan tampilan materialisasi dengan Berbagi Delta

Dukungan Scala untuk kluster bersama

Kluster bersama yang didukung Unity Catalog sekarang mendukung Scala, saat menggunakan Databricks Runtime 13.3 ke atas.

Daftar izin untuk skrip init, JAR, dan koordinat Maven pada kluster bersama Katalog Unity ada di Pratinjau Umum

Anda sekarang dapat menggunakan Unity Catalog allowlist untuk mengontrol penginstalan skrip init, JAR, dan koordinat Maven pada komputasi dengan mode akses bersama yang menjalankan Databricks Runtime 13.3 ke atas. Lihat Izinkan pustaka dan skrip init pada komputasi bersama.

Dukungan volume untuk skrip init dan JAR ada di Pratinjau Umum

Anda sekarang dapat menggunakan volume Unity Catalog untuk menyimpan skrip init dan JAR pada komputasi dengan mode akses yang ditetapkan atau bersama yang menjalankan Databricks Runtime 13.3 ke atas. Lihat Di mana skrip init dapat diinstal? dan Pustaka cakupan kluster.

Transmisi aman diaktifkan secara default untuk operasi Delta Lake

Delta UPDATE dan MERGE operasi sekarang mengakibatkan kesalahan ketika nilai tidak dapat dilemparkan dengan aman ke jenis dalam skema tabel target. Semua cast implisit di Delta sekarang mengikuti spark.sql.storeAssignmentPolicy alih-alih spark.sql.ansi.enabled. Lihat kepatuhan ANSI di Databricks Runtime.

Memperkenalkan tag dengan Unity Catalog

Dengan Databricks Runtime 13.3 LTS dan yang lebih baru, Anda dapat menerapkan tag ke objek yang dapat diamankan. Tag membantu Anda mengatur objek yang dapat diamankan dan menyederhanakan pencarian dan penemuan aset data Anda. Lihat Menerapkan tag ke objek yang dapat diamankan Katalog Unity.

Databricks Runtime mengembalikan kesalahan jika file dimodifikasi antara perencanaan kueri dan pemanggilan

Kueri Databricks Runtime sekarang mengembalikan kesalahan jika file diperbarui antara perencanaan kueri dan pemanggilan. Sebelum perubahan ini, Databricks Runtime akan membaca file di antara tahap-tahap ini, yang kadang-kadang menyebabkan hasil yang tidak dapat diprediksi.

Menimpa skema blok saat menggunakan penimpaan partisi dinamis

Anda tidak dapat mengatur overwriteSchema ke true dalam kombinasi dengan penimpaan partisi dinamis di Delta Lake. Ini mencegah kemungkinan kerusakan tabel karena ketidakcocokan skema. Lihat Penimpaan partisi dinamis.

Mengintegrasikan COPYFile API ke dalam dbutils.fs.cp

Perintah salin dbutils, dbutils.fs.cp sekarang dioptimalkan untuk penyalinan yang lebih cepat. Dengan peningkatan ini, operasi salin bisa hingga 100x lebih cepat, tergantung pada ukuran file. Fitur ini tersedia di semua sistem file yang dapat diakses di Azure Databricks, termasuk untuk Volume Katalog Unity dan pemasangan Filesystem Databricks.

Dukungan driver Databricks ODBC/JDBC

Azure Databricks mendukung driver ODBC dan JDBC yang dirilis dalam 2 tahun terakhir. Unduh driver terbaru di Unduh Driver ODBC dan Unduh Driver JDBC.

Dukungan untuk penanda parameter yang tidak disebutkan namanya (posisi)

SparkSession.sql() API sekarang mendukung kueri berparameter menggunakan ? sintaks selain kueri berparameter menggunakan :parm sintaks. Lihat penanda parameter.

Mengaktifkan pelabelan kolom rangkaian waktu

Anda sekarang dapat melabeli kolom rangkaian waktu saat membuat batasan kunci utama.

Fungsi SQL bitmap baru

Azure Databricks sekarang menyediakan sekumpulan fungsi yang dapat digunakan untuk memetakan nilai numerik integral ke bitmap dan menggabungkannya. Ini dapat digunakan untuk melakukan pra-komputasi jumlah nilai yang berbeda.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Fungsi enkripsi yang disempurnakan

Fungsi aes_encrypt, aes_decrypt, dan try_aes_decrypt telah ditingkatkan dengan dukungan untuk vektor inisialisasi (IV) dan data tambahan yang diautentikasi (AAD).

Dukungan Unity Catalog untuk REFRESH FOREIGN

Anda sekarang dapat memperbarui katalog, skema, dan tabel asing di Unity Catalog menggunakan REFRESH FOREIGN CATALOG, , REFRESH FOREIGN SCHEMAdan REFRESH FOREIGN TABLE. Lihat REFRESH FOREIGN (CATALOG, SCHEMA, dan TABLE).

INSERT MENURUT NAMA

Saat menyisipkan baris ke dalam tabel, Anda sekarang dapat mengizinkan Azure Databricks memetakan kolom dan bidang dalam kueri sumber secara otomatis ke kolom tabel berdasarkan namanya. Lihat INSERT KE.

Bagikan tampilan materialisasi dengan Berbagi Delta

Pernyataan ALTER SHARE sekarang mendukung pandangan materialisasi.

Perubahan mencolok

Perubahan pada konversi implisit saat menyimpan baris dalam tabel dengan MERGE INTO dan UPDATE

Azure Databricks sekarang mengikuti konfigurasi spark.sql.storeAssignmentPolicy untuk transmisi implisit saat menyimpan baris dalam tabel. Nilai default ANSI melemparkan kesalahan saat menyimpan nilai yang meluap. Sebelumnya, nilai akan disimpan sebagai NULL secara default.

Seperti dalam contoh berikut, Anda dapat mengatasi luapan dengan menulis ulang tabel untuk menggunakan jenis yang lebih luas untuk kolom yang menyebabkan kesalahan.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Perubahan Inferensi Skema Parquet

Ketika menyimpulkan skema dari file Parquet yang tidak ditulis oleh Spark, int64 kolom tanda waktu yang dianotasi dengan isAdjustedToUTC=false sekarang akan default untuk TIMESTAMP_NTZ mengetik. Sebelumnya, ini disimpulkan sebagai TIMESTAMP jenis. Pembaruan ini meningkatkan akurasi pemetaan jenis Parquet ke jenis Spark SQL.

Akibatnya, membaca data dari file Parquet eksternal ke dalam tabel Delta dapat menyebabkan kesalahan jika timestampNtz fitur tidak diaktifkan. Kesalahan akan ditampilkan sebagai berikut:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Untuk mempertahankan perilaku sebelumnya dan mencegah kesalahan ini, Anda dapat mengatur parameter spark.sql.parquet.inferTimestampNTZ.enabled konfigurasi Spark ke false.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • debugpy dari 1.5.1 hingga 1.6.0
  • distlib dari 0.3.6 hingga 0.3.7
  • fastjsonschema dari 2.16.3 ke 2.18.0
  • filelock dari 3.12.0 ke 3.12.2
• Pustaka R yang ditingkatkan:
  • SparkR dari 3.4.0 ke 3.4.1
• Pustaka Java yang ditingkatkan:
  • org.apache.orc.orc-core dari 1.8.3-shaded-protobuf ke 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce dari 1.8.3-shaded-protobuf ke 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims dari 1.8.3 hingga 1.8.4
  • org.eclipse.jetty.jetty-client dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets dari 9.4.50.v20221201 ke 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server dari 9.4.50.v20221201 hingga 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet dari 9.4.50.v20221201 ke 9.4.51.v20230217
  • org.xerial.snappy.snappy-java dari 1.1.8.4 hingga 1.1.10.1

Apache Spark

Databricks Runtime 13.3 mencakup Apache Spark 3.4.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 13.2 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• Anda sekarang dapat mengatur variabel SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 lingkungan kluster untuk menggunakan konektor Spark-snowflake v2.12.0.
• [SPARK-43380] [DBRRM-383] Kembalikan "[SC-133100][SQL] Perbaiki konver tipe data Avro...
• [SPARK-44504] [Backport][13.2][13.x][13.3] Membongkar penyedia sehingga memaksa instans DB menutup dan merilis sumber daya pada kesalahan tugas pemeliharaan
• [SPARK-44059] [SC-137023] Menambahkan dukungan penganalisis dari argumen bernama untuk fungsi bawaan
• [SPARK-44485] [SC-137653][SQL] Optimalkan TreeNode.generateTreeString
• [SPARK-42944] [SC-137164][SS][PyTHON] Streaming ForeachBatch di Python
• [SPARK-44446] [SC-136994][PyTHON] Menambahkan pemeriksaan untuk kasus khusus jenis daftar yang diharapkan
• [SPARK-44439] [SC-136973][SAMBUNGKAN][SS]Memperbaiki listListeners untuk hanya mengirim id kembali ke klien
• [SPARK-44216] [SC-136941] [PyTHON] Membuat API assertSchemaEqual menjadi publik
• [SPARK-44201] [SC-136778][SAMBUNGKAN][SS]Menambahkan dukungan untuk Pendengar Streaming di Scala untuk Spark Connect
• [SPARK-43915] [SC-134766][SQL] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] Kembalikan "[SC-133990][SQL][PYTHON] Mendukung fungsi tabel yang ditentukan pengguna Python"
• [SPARK-44398] [SC-136720][SAMBUNGKAN] Scala foreachBatch API
• [SPARK-44476] [SC-137169][CORE][SAMBUNGKAN] Memperbaiki populasi artefak untuk JobArtifactState tanpa artefak terkait
• [SPARK-44269] [SC-135817][SQL] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][SQL] Perbarui argumen TVF untuk mewajibkan tanda kurung di sekitar pengidentifikasi setelah kata kunci TABLE
• [SPARK-43915] [SC-134766][SQL] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][SPARK-43996][SAMBUNGKAN] Menambahkan dukungan untuk UDFRegistration ke Connect Scala Client
• [SPARK-44109] [SC-134755][CORE] Menghapus lokasi pilihan duplikat dari setiap partisi RDD
• [SPARK-44169] [SC-135497][SQL] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [SC-136720][SAMBUNGKAN] Scala foreachBatch API
• [SPARK-44153] [SC-134977][CORE][UI] Kolom dukungan Heap Histogram dalam Executors tab
• [SPARK-44044] [SC-135695][SS] Meningkatkan pesan Kesalahan untuk fungsi Jendela dengan streaming
• [SPARK-43914] [SC-135414][SQL] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][PyTHON] Perbolehkan presisi kustom untuk kesetaraan fp approx
• [SPARK-44370] [SC-136575][SAMBUNGKAN] Memigrasikan alfa generasi jarak jauh Buf ke plugin jarak jauh
• [SPARK-44410] [SC-136930][PyTHON][SAMBUNGKAN] Atur sesi aktif dalam buat, bukan hanya getOrCreate
• [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][SAMBUNGKAN][PyTHON] Mengaktifkan kembali test_artifact dengan perubahan yang relevan
• [SPARK-44145] [SC-136698][SQL] Panggilan balik saat siap untuk eksekusi
• [SPARK-44264] [SC-136870][PyTHON][ML] Kelas FunctionPickler
• [SPARK-43986] [SC-135623][SQL] Membuat kelas kesalahan untuk kegagalan panggilan fungsi HyperLogLog
• [SPARK-44139] [SC-134967][SQL] Buang filter yang sepenuhnya didorong ke bawah dalam operasi MERGE berbasis grup
• [SPARK-44338] [SC-136718][SQL] Memperbaiki pesan kesalahan ketidakcocokan skema tampilan
• [SPARK-44208] [SC-135505][CORE][SQL] Menetapkan nama kelas kesalahan yang jelas untuk beberapa logika yang secara langsung menggunakan pengecualian
• [SPARK-44364] [SC-136773] [PyTHON] Tambahkan dukungan untuk tipe data List[Row] untuk yang diharapkan
• [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils harus menerapkan ResolveTimeZone
• [SPARK-43389] [SC-136772][SQL] Menambahkan opsi pemeriksaan null untuk lineSep
• [SPARK-44388] [SC-136695][SAMBUNGKAN] Memperbaiki masalah pemeran protobuf saat instans UDF diperbarui
• [SPARK-44352] [SC-136373][SAMBUNGKAN] Kembalikan sameType dan teman di DataType.
• [SPARK-43975] [SC-134265][SQL] DataSource V2: Menangani perintah UPDATE untuk sumber berbasis grup
• [SPARK-44360] [SC-136461][SQL] Mendukung pemangkasan skema dalam operasi MERGE berbasis delta
• [SPARK-44138] [SC-134907][SQL] Melarang ekspresi, subkueri, dan agregat non-deterministik dalam kondisi MERGE
• [SPARK-43321] [SC-136678][Sambungkan][Tindak lanjut] Nama yang lebih baik untuk API yang digunakan dalam Scala Client joinWith
• [SPARK-44263] [SC-136447][SAMBUNGKAN] Dukungan Pencegat Kustom
• [SPARK-39851] [SC-123383][SQL] Meningkatkan estimasi statistik gabungan jika satu sisi dapat menjaga keunikan
• [SPARK-44390] [SC-136677][CORE][SQL] Ganti nama SparkSerDerseUtils menjadi SparkSerDeUtils
• [SPARK-44004] [SC-134751][SQL] Tetapkan nama & tingkatkan pesan kesalahan untuk kesalahan WARISAN yang sering.
• [SPARK-44322] [SC-136204][SAMBUNGKAN] Buat pengurai menggunakan SqlApiConf alih-alih SQLConf.
• [SPARK-44271] [SC-136347][SQL] Memindahkan fungsi nilai default dari StructType ke ResolveDefaultColumns
• [SPARK-44332] [SC-136413][CORE][WEBUI] Memperbaiki kesalahan pengurutan Kolom ID Pelaksana di Halaman Antarmuka Pengguna Pelaksana
• [SPARK-44282] [SC-135948][SAMBUNGKAN] Menyiapkan penguraian DataType untuk digunakan di Klien Spark Connect Scala
• [SPARK-44349] [SC-136581][R] Tambahkan fungsi matematika ke SparkR
• [SPARK-44397] [SC-136647][PyTHON] Mengekspos assertDataFrameEqual di pyspark.testing.utils
• [SPARK-42981] [SC-136620][SAMBUNGKAN] Menambahkan serialisasi panah langsung
• [SPARK-44373] [SC-136577][SQL] Bungkus denganAktif untuk DATAset API dengan logika penguraian untuk membuat pengurai konfigurasi terkait berfungsi
• [SPARK-44340] [SC-136574][SQL] Tentukan logika komputasi melalui PARTitionEvaluator API dan gunakan di WindowGroupLimitExec
• [SPARK-43665] [SC-136573][SAMBUNGKAN][PS] Aktifkan PandasSQLStringFormatter.vformat untuk bekerja dengan Spark Connect
• [SPARK-44325] [SC-136572][SQL] Menggunakan PARTitionEvaluator API di SortMergeJoinExec
• [SPARK-44315] [SC-136171][SQL][SAMBUNGKAN] Pindahkan DefinedByConstructorParams ke sql/api
• [SPARK-44275] [SC-136184][SAMBUNGKAN] Menambahkan mekanisme coba lagi yang dapat dikonfigurasi ke Scala Spark Connect
• [SPARK-44326] [SC-136208][SQL][SAMBUNGKAN] Memindahkan util yang digunakan dari klien Scala ke modul umum
• [SPARK-43321] [SC-136156][Sambungkan] Himpunan data#Gabung dengan
• [SPARK-44343] [SC-136372][SAMBUNGKAN] Menyiapkan ScalaReflection ke pemindahan ke SQL/API
• [SPARK-44313] [SC-136081][SQL] Memperbaiki validasi ekspresi kolom yang dihasilkan ketika ada kolom karakter/varchar dalam skema
• [SPARK-43963] [SC-134145][SQL] DataSource V2: Menangani perintah MERGE untuk sumber berbasis grup
• [SPARK-44363] [SC-136433] [PyTHON] Menampilkan persentase baris yang tidak sama dalam perbandingan DataFrame
• [SPARK-44251] [SC-136432][SQL] Atur nullable dengan benar pada coalesced join key dalam full outer USING join
• [SPARK-43948] [SC-133366][SQL] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][SAMBUNGKAN][PyTHON] Tambahkan hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt ke Scala dan Python
• [SPARK-44351] [SC-136353][SQL] Membuat beberapa penyederhanaan sintik
• [SPARK-44281] [SC-135963][SQL] Memindahkan kesalahan QueryCompilation yang digunakan oleh DataType ke sql/api sebagai DataTypeErrors
• [SPARK-44283] [SC-136109][SAMBUNGKAN] Pindahkan Asal ke SQL/API
• [SPARK-43926] [SC-135590][SAMBUNGKAN][PyTHON] Tambahkan array_agg, array_size, kardinalitas, count_min_sketch, masker, named_struct,json_* ke Scala dan Python
• [SPARK-44327] [SC-136187][SQL][SAMBUNGKAN] Menambahkan fungsi any dan len ke Scala
• [SPARK-44290] [SC-136300][SAMBUNGKAN] File dan arsip berbasis sesi di Spark Connect
• [SPARK-44061] [SC-136299][PyTHON] Menambahkan fungsi util assertDataFrameEqual
• [SPARK-44331] [SC-136324][SAMBUNGKAN][PyTHON] Menambahkan fungsi bitmap ke Scala dan Python
• [SPARK-44342] [SC-136334][SQL] Ganti SQLContext dengan SparkSession untuk GenTPCDSData
• [SPARK-42583] [SC-124190][SQL] Hapus gabungan luar jika semuanya merupakan fungsi agregat yang berbeda
• [SPARK-44333] [SC-136206][SAMBUNGKAN][SQL] Pindahkan EnhancedLogicalPlan keluar dari ParserUtils
• [SPARK-43824] [SC-132655][SPARK-43825] [SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][SAMBUNGKAN][PyTHON] Menambahkan fungsi try_* ke Scala dan Python
• [SPARK-44193] [SC-135886][SAMBUNGKAN] Menerapkan intersepsi pengecualian GRPC untuk konversi
• [SPARK-44284] [SC-136107][SAMBUNGKAN] Membuat sistem conf sederhana untuk sql/api
• [SPARK-43913] [SC-133368][SQL] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] Kembalikan "[SC-135924][SPARK-43416][CONNECT] Perbaiki skema yang salah untuk kueri rentang"
• [SPARK-44312] [SC-136185][SAMBUNGKAN][PyTHON] Izinkan untuk mengatur agen pengguna dengan variabel lingkungan
• [SPARK-44154] [SC-136060] Menerapkan fungsi bitmap
• [SPARK-43885] [SC-133996][SQL] DataSource V2: Menangani perintah MERGE untuk sumber berbasis delta
• [SPARK-43924] [SC-135161][SAMBUNGKAN][PyTHON] Menambahkan fungsi misc ke Scala dan Python
• [SPARK-43969] [SC-134556][SQL] Refaktor & Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][SQL] Memperbaiki jalur yang tidak konsisten yang memenuhi syarat antara katalog dan operasi data
• [SPARK-44073] [SC-134562][SQL][PyTHON][SAMBUNGKAN] Menambahkan fungsi waktu tanggal ke Scala, Python, dan Connect - bagian 2
• [SPARK-43942] [SC-134527][SAMBUNGKAN][PyTHON] Menambahkan fungsi string ke Scala dan Python - bagian 1
• [SPARK-44266] [SC-135813][SQL] Pindahkan Util.truncatedString ke sql/api
• [SPARK-44195] [SC-135722][R] Tambahkan API JobTag ke SparkR SparkContext
• [SPARK-44200] [SC-135736][SQL] Mendukung aturan pengurai argumen TABLE untuk TableValuedFunction
• [SPARK-44254] [SC-135709][SQL] Memindahkan QueryExecutionErrors yang digunakan oleh DataType ke sql/api sebagai DataTypeErrors
• [SPARK-44291] [SC-135924][SPARK-43416][SAMBUNGKAN] Memperbaiki skema yang salah untuk kueri rentang
• [SPARK-43922] [SC-135612][SQL] Menambahkan dukungan parameter bernama di pengurai untuk panggilan fungsi
• [SPARK-44300] [SC-135882][SAMBUNGKAN] Memperbaiki pembersihan artefak untuk membatasi cakupan penghapusan ke artefak tertentu sesi
• [SPARK-44293] [SC-135849][SAMBUNGKAN] Memperbaiki URI yang tidak valid untuk JAR kustom di Spark Connect
• [SPARK-44215] [SC-135850][ACAK] Jika gugus num adalah 0, maka server harus melempar RuntimeException
• [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests harus ilustratif-saja
• [SPARK-44274] [SC-135814][SAMBUNGKAN] Memindahkan fungsi util yang digunakan oleh ArtifactManager ke common/utils
• [SPARK-44194] [SC-135815][PyTHON][CORE] Menambahkan API JobTag ke PySpark SparkContext
• [SPARK-42828] [SC-135733][PyTHON][SQL] Anotasi jenis Python yang lebih eksplisit untuk GroupedData
• [SPARK-44079] [SC-135486][SQL] Perbaiki saat mengurai ArrayIndexOutOfBoundsException array sebagai struct menggunakan mode PERMISSIVE dengan rekaman rusak
• [SPARK-44255] [SC-135809][SQL] Merelokasi StorageLevel ke common/utils
• [SPARK-42169] [SC-135795] [SQL] Menerapkan pembuatan kode untuk fungsi to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][SQL][PyTHON] Refaktor PythonUDTFRunner untuk mengirim jenis pengembaliannya secara terpisah
• [SPARK-43353] [SC-132734][PyTHON] Memigrasikan kesalahan sesi yang tersisa ke dalam kelas kesalahan
• [SPARK-44211] [SC-135718][PyTHON][SAMBUNGKAN] Menerapkan SparkSession.is_stopped
• [SPARK-42784] [SC-135691] masih harus membuat subDir ketika jumlah subDir dalam dir gabungan kurang dari conf
• [SPARK-41599] [SC-135616] Kebocoran memori di FileSystem.CACHE saat mengirimkan aplikasi ke kluster aman menggunakan InProcessLauncher
• [SPARK-44241] [SC-135613][Inti] Salah mengatur io.connectionTimeout/connectionCreationTimeout ke nol atau negatif akan menyebabkan kontra/penghancuran eksekutor yang tidak henti-hentinya
• [SPARK-44133] [SC-134795][13.X][PyTHON] Tingkatkan MyPy dari 0,920 ke 0,982
• [SPARK-42941] [SC-134707][SS][SAMBUNGKAN][1/2] StreamingQueryListener - Event Serde dalam format JSON
• [SPARK-44188] [SC-135173][CORE] Menghapus metode yang tidak berguna resetAllPartitions di ActiveJob
• [SPARK-43757] [SC-135418][SAMBUNGKAN] Ubah kompatibilitas klien dari daftar izinkan ke daftar tolak
• [SPARK-43474] [SC-135521] [SS] [SAMBUNGKAN] Tambahkan akses sambungkan spark ke Dataframe runtime menurut ID.
• [SPARK-44183] [SC-135209][PyTHON] PyArrow Buat versi minimum ke 4.0.0
• [SPARK-44248] [SC-135554][SS][SQL][Kafka] Menambahkan lokasi pilihan di sumber kafka v2
• [SPARK-43929] [SC-134510][SQL][PyTHON][SAMBUNGKAN] Menambahkan fungsi waktu tanggal ke Scala, Python, dan Connect API - bagian 1
• [SPARK-44161] [SC-135326][Sambungkan] Menangani input Baris untuk UDF
• [SPARK-44227] [SC-135520][SQL] Ekstrak SchemaUtils dari StructField
• [SPARK-44064] [SC-135116][CORE][SQL] Tambahkan fungsi baru apply ke NonFateSharingCache
• [SPARK-44171] [SC-135269][SQL] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2279-2282] & hapus beberapa kelas kesalahan yang tidak digunakan
• [SPARK-44056] [SC-134758][SQL] Sertakan nama UDF dalam pesan kesalahan kegagalan eksekusi UDF jika tersedia
• [SPARK-44205] [SC-135422][SQL] Ekstrak Kode Katalis dari DecimalType
• [SPARK-44220] [SC-135484][SQL] Pindahkan StringConcat ke sql/api
• [SPARK-44146] [SC-135230][SAMBUNGKAN] Mengisolasi jar Sesi Spark Connect dan classfiles
• [SPARK-44206] [SC-135411][SQL] DataSet.select Sesi cakupanexpr.active
• [SPARK-40850] [SC-135417][SQL] Memperbaiki kueri yang ditafsirkan kasus pengujian dapat menjalankan Codegen
• [SPARK-44204] [SC-135253][SQL][HIVE] Menambahkan recordHiveCall yang hilang untuk getPartitionNames
• [SPARK-44237] [SC-135485][CORE] Menyederhanakan logika pencarian konstruktor DirectByteBuffer
• [SPARK-44189] [SC-135170][SAMBUNGKAN][PyTHON] Mendukung parameter posisi berdasarkan sql()
• [SPARK-44140] [SC-134893][SQL][PyTHON] Mendukung parameter posisional di Python sql()
• [SPARK-44164] [SC-135158][SQL] Ekstrak metode toAttribute dari StructField ke kelas Util
• [SPARK-44178] [SC-135113][SAMBUNGKAN] Mendukung parameter posisi di sql()
• [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader harus menutup kelas hambatan InputStream setelah membaca
• [SPARK-43063] [SC-128382][SQL] df.show handle null harus mencetak NULL alih-alih null
• [SPARK-42539] [SC-124464][SQL][HIVE] Menghilangkan classloader terpisah saat menggunakan versi Apache Hive 'bawaan' untuk klien metadata
• [SPARK-43992] [SC-133645][SQL][PyTHON][SAMBUNGKAN] Menambahkan pola opsional untuk Catalog.listFunctions
• [SPARK-44066] [SC-134878][SQL] Mendukung parameter posisi di Scala/Java sql()
• [SPARK-44078] [SC-134869][SAMBUNGKAN][CORE] Menambahkan dukungan untuk isolasi classloader/resource
• [SPARK-43470] [SC-135187][CORE] Menambahkan informasi versi OS, Java, Python ke log aplikasi
• [SPARK-43136] [SC-135238][SAMBUNGKAN][Tindak lanjut] Menambahkan pengujian untuk KeyAs
• [SPARK-39740] [SC-135093][UI]: Meningkatkan garis waktu vis ke 7.7.2 untuk memperbaiki CVE-2020-28487
• [SPARK-42298] [SC-133952][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][SQL][PyTHON][SAMBUNGKAN] Menambahkan pola opsional untuk Catalog.listTables
• [SPARK-44026] [SC-135181] Mengizinkan penyediaan nilai awal untuk SQLMetrics
• [SPARK-44202] [SC-135244][CORE] Menambahkan API JobTag ke JavaSparkContext
• [SPARK-44030] [SC-135237][SQL] Menerapkan DataTypeExpression untuk menawarkan Unapply untuk ekspresi
• [SPARK-43876] Kembalikan "[SC-134603][SQL] Aktifkan hashmap cepat untuk kueri yang berbeda"
• [SPARK-40082] [SC-126437] Jadwalkan mergeFinalize saat mendorong penggabungan shuffleMapStage mencoba kembali tetapi tidak ada tugas yang sedang berjalan
• [SPARK-43888] [SC-132893][CORE] Merelokasi Pengelogan ke common/utils
• [SPARK-43474] [SC-134400] [SS] [SAMBUNGKAN] Menambahkan SessionHolder ke SparkConnectPlanner
• [SPARK-43944] [SC-134490][SAMBUNGKAN][PyTHON] Menambahkan fungsi string ke Scala dan Python - bagian 2
• [SPARK-44134] [SC-134954][CORE] Memperbaiki sumber daya pengaturan (GPU/FPGA) ke 0 saat diatur dalam spark-defaults.conf
• [SPARK-44142] [SC-134947][PyTHON] Ganti jenis dengan tpe dalam utilitas untuk mengonversi jenis python ke jenis spark
• [SPARK-43952] [SC-134695][CORE][SAMBUNGKAN][SQL] Menambahkan API SparkContext untuk pembatalan kueri menurut tag
• [SPARK-44000] [SC-133634][SQL] Menambahkan petunjuk untuk menonaktifkan penyiaran dan mereplikasi satu sisi gabungan
• [SPARK-43937] [SC-134362][SAMBUNGKAN][PyTHON] Tambahkan ifnull,isnotnull,equal_null,nullif,nvl,nvl2 ke Scala dan Python
• [SPARK-43624] [13.x][SC-134557][PS][SAMBUNGKAN] Tambahkan EWM ke SparkConnectPlanner.
• [SPARK-44040] [SC-134366][SQL] Memperbaiki statistik komputasi saat simpul AggregateExec di atas QueryStageExec
• [SPARK-43485] [SC-131264][SQL] Memperbaiki pesan kesalahan untuk unit argumen fungsi add/diff datetime
• [SPARK-43794] [SC-132561][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][SAMBUNGKAN][SS]Menerapkan MapGroupsWithState dan FlatMapGroupsWithState API untuk Spark Connect
• [SPARK-43529] [SQL] Dukungan terhadap ekspresi-ekspresi CREATE/REPLACE TABLE OPTIONS + proses pembersihan kode
• [SPARK-44106] [SC-134750][PyTHON][SAMBUNGKAN] Tambahkan __repr__ untuk GroupedData
• [SPARK-42299] [SC-133190] Tetapkan nama ke _LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [SC-134388][SQL] Menambahkan dukungan untuk aes_encrypt IV dan AAD
• [SPARK-43932] [SC-134138][SQL][PyTHON][SAMBUNGKAN] Menambahkan current seperti fungsi ke Scala dan Python
• [SPARK-43934] [SC-134108][SQL][PyTHON][SAMBUNGKAN] Menambahkan fungsi regexp_* ke Scala dan Python
• [SPARK-44107] [SC-134746][SAMBUNGKAN][PyTHON] Sembunyikan metode Kolom yang tidak didukung dari penyelesaian otomatis
• [SPARK-42941] [SC-134707][SS][SAMBUNGKAN][1/2] StreamingQueryListener - Event Serde dalam format JSON
• [SPARK-43773] [SC-132659][SAMBUNGKAN][PyTHON] Menerapkan fungsi 'levenshtein(str1, str2[, ambang])' di klien python
• [SPARK-44125] [SC-134745][R] Mendukung Java 21 di SparkR
• [SPARK-43919] [SC-133374][SQL] Mengekstrak fungsionalitas JSON di luar Baris
• [SPARK-43769] [SC-132520][SAMBUNGKAN] Menerapkan fungsi 'levenshtein(str1, str2[, ambang])'
• [SPARK-44012] [SC-134662][SS] KafkaDataConsumer untuk mencetak beberapa status baca
• [SPARK-43876] [SC-134603][SQL] Mengaktifkan hashmap cepat untuk kueri yang berbeda
• [SPARK-44024] [SC-134497][SQL] Ubah untuk digunakan map saat unzip hanya digunakan untuk mengekstrak satu elemen
• [SPARK-43928] [SC-134467][SQL][PyTHON][SAMBUNGKAN] Menambahkan operasi bit ke Scala, Python, dan Connect API
• [SPARK-44092] [SC-134506][CORE] Menambahkan Utils.isJavaVersionAtLeast21 dan membuat core modul lulus dengan Java 21
• [SPARK-44018] [SC-134512][SQL] Meningkatkan hashCode dan toString untuk beberapa Ekspresi DS V2
• [SPARK-44105] [SC-134582][SQL] LastNonNull harus diselesaikan dengan malas
• [SPARK-44081] [SC-134434] Menyederhanakan PARTitionedFileUtil API sedikit
• [SPARK-43791] [SC-132531][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435] Tentukan dan gunakan Unresolved[Leaf|Unary]Sifat simpul.
• [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Menetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][SQL] Merefaktor resolusi nilai kolom default
• [SPARK-43493] [SC-132063][SQL] Menambahkan argumen jarak maksimum ke fungsi levenshtein()
• [SPARK-44075] [SC-134382][SAMBUNGKAN] Membuat transformStatCorr malas
• [SPARK-43925] [SC-134381][SQL][PyTHON][SAMBUNGKAN] Tambahkan beberapa, bool_or, bool_and, setiap ke Scala, Python dan Connect
• [SPARK-43931] [SC-134158][SQL][PyTHON][SAMBUNGKAN] Menambahkan fungsi make_* ke Scala dan Python
• [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][SQL] Meningkatkan pesan kesalahan: CANNOT_DECODE_URL, , CANNOT_MERGE_INCOMPATIBLE_DATA_TYPECANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
• [SPARK-43938] [SC-133887][SAMBUNGKAN][PyTHON] Menambahkan fungsi to_* ke Scala dan Python
• [SPARK-44055] [SC-134321][CORE] Menghapus fungsi redundan override dari CheckpointRDD
• [SPARK-43802] [SC-132597][SQL] Memperbaiki codegen untuk unhex dan unbase64 dengan failOnError=true
• [SPARK-43798] [SC-133990][SQL][PyTHON] Mendukung fungsi tabel yang ditentukan pengguna Python
• [SPARK-43941] [SC-134286][SQL][PyTHON][SAMBUNGKAN] Tambahkan any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, kurangi ke Scala, Python, dan Connect API
• [SPARK-43380] [SC-133100][SQL] Memperbaiki masalah konversi jenis data Avro untuk menghindari menghasilkan hasil yang salah
• [SPARK-43803] [SC-133729] [SS] [SAMBUNGKAN] Meningkatkan awaitTermination() untuk menangani pemutusan sambungan klien
• [SPARK-43179] [SC-129070][ACAK] Mengizinkan aplikasi mengontrol apakah metadata mereka disimpan di db oleh Layanan Pengacakan Eksternal

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Lihat Pembaruan pemeliharaan Databricks Runtime 13.3.

Lingkungan sistem

• Sistem Operasi: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Danau Delta: 2.4.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2023-02-10.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)