Databricks Runtime 16.2

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 16.2, didukung oleh Apache Spark 3.5.2.

Databricks merilis versi ini pada Februari 2025.

Perubahan perilaku

ANALYZE sekarang melewati kolom dengan tipe yang tidak didukung

ANALYZE TABLE tidak lagi menghasilkan pesan kesalahan saat dijalankan pada tabel dengan jenis yang tidak didukung, seperti ARRAY atau MAP. Kolom yang tidak didukung sekarang dilewati secara otomatis. Pengguna yang telah menerapkan logika yang mengharapkan kesalahan ini harus memperbarui kode mereka.

Di Berbagi Delta, riwayat tabel diaktifkan secara default

Berbagi yang dibuat menggunakan perintah SQL ALTER SHARE <share> ADD TABLE <table> sekarang memiliki berbagi riwayat (WITH HISTORY) diaktifkan secara default. Lihat ALTER SHARE.

Pernyataan SQL kredensial mengembalikan kesalahan saat ada ketidakcocokan jenis kredensial

Dengan rilis ini, jika jenis kredensial yang ditentukan dalam pernyataan SQL manajemen kredensial tidak cocok dengan jenis argumen kredensial, kesalahan dikembalikan dan pernyataan tidak dijalankan. Misalnya, untuk pernyataan DROP STORAGE CREDENTIAL 'credential-name', jika credential-name bukan kredensial penyimpanan, pernyataan gagal dengan kesalahan.

Perubahan ini dilakukan untuk membantu mencegah kesalahan pengguna. Sebelumnya, pernyataan ini akan berjalan dengan sukses, bahkan jika kredensial yang tidak cocok dengan jenis kredensial yang ditentukan telah diteruskan. Misalnya, pernyataan berikut akan berhasil menghilangkan storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Perubahan ini memengaruhi pernyataan berikut:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT...PADA...KREDENSIAL
• REVOKE... Di atas... KREDENSIAL
• SHOW GRANTS AKTIFKAN...KREDENSIAL

Fitur dan peningkatan baru

• Bangun aplikasi stateful kustom dengan transformWithState
• Mengautentikasi ke penyimpanan objek cloud dengan kredensial layanan
• Akses yang diatur oleh Katalog Unity ke layanan cloud eksternal menggunakan kredensial layanan kini tersedia secara umum (GA)
• Buku Catatan didukung sebagai file ruang kerja
• Menggunakan timestampdiff & timestampadd dalam ekspresi kolom yang dihasilkan
• Dukungan untuk sintaks alur SQL
• Membuat permintaan HTTP menggunakan fungsi http_request
• Pembaruan ke DESCRIBE TABLE mengembalikan metadata dalam bentuk JSON terstruktur
• Pengurutan yang tidak sensitif terhadap spasi di bagian akhir
• Mengonversi tabel Iceberg dengan pemartisian wadah ke tabel Delta yang tidak dipartisi
• komputasi Mode Akses Standar (sebelumnya Mode Akses Bersama) sekarang mendukung metode Spark Scala foreach, foreachBatch, dan flatMapGroupsWithState

Membangun aplikasi stateful kustom dengan transformWithState

Anda sekarang dapat menggunakan transformWithState dan API terkait untuk menerapkan aplikasi stateful kustom sebagai bagian dari kueri Streaming Terstruktur. Lihat Membangun aplikasi stateful kustom.

Mengautentikasi ke penyimpanan objek cloud dengan kredensial layanan

Anda sekarang dapat menggunakan kredensial layanan Databricks untuk mengautentikasi ke penyimpanan objek cloud dengan Auto Loader. Lihat Apa itu mode pemberitahuan file Auto Loader?.

Akses ke layanan cloud eksternal yang diatur oleh Unity Catalog menggunakan kredensial layanan sekarang sudah tersedia secara umum.

Kredensial layanan memungkinkan autentikasi sederhana dan aman dengan layanan penyewa cloud Anda dari Azure Databricks. Dengan Databricks Runtime 16.2, kredensial layanan telah umum tersedia dan sekarang mendukung Scala SDK, selain Python SDK yang didukung dalam Pratinjau Publik. Lihat Mengelola akses ke layanan cloud eksternal menggunakan kredensial layanan.

Buku catatan didukung sebagai file ruang kerja

Di Databricks Runtime 16.2 ke atas, notebook didukung sebagai file ruang kerja. Anda sekarang dapat berinteraksi secara terprogram dengan notebook dari mana saja sistem file ruang kerja tersedia, termasuk menulis, membaca, dan menghapus buku catatan seperti file lainnya. Untuk mempelajari selengkapnya, lihat Buku catatan sebagai file di ruang kerja.

Menggunakan timestampdiff & timestampadd dalam ekspresi kolom yang dihasilkan

Dalam Databricks Runtime 16.2 ke atas, Anda dapat menggunakan fungsi timestampdiff dan fungsi timestampadd dalam ekspresi kolom yang dihasilkan Delta Lake. Lihat kolom yang dihasilkan oleh Delta Lake.

Dukungan untuk sintaks alur SQL

Di Databricks Runtime 16.2 ke atas, Anda dapat menyusun alur SQL . Alur SQL menyusun kueri standar, seperti SELECT c2 FROM T WHERE c1 = 5, ke dalam urutan langkah demi langkah, seperti yang ditunjukkan dalam contoh berikut:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Untuk mempelajari tentang sintaks yang didukung untuk alur SQL, lihat Sintaks Alur SQL.

Untuk latar belakang ekstensi lintas industri ini, lihat SQL Memiliki Masalah. Kita dapat memperbaikinya: Sintaks pipa dalam SQL (oleh Google Research).

Membuat permintaan HTTP menggunakan fungsi http_request

Di Databricks Runtime 16.2 ke atas, Anda dapat membuat koneksi HTTP dan melaluinya membuat permintaan HTTP menggunakan fungsi http_request.

Pembaruan ke DESCRIBE TABLE mengembalikan metadata sebagai JSON terstruktur

Di Databricks Runtime 16.2 ke atas, Anda dapat menggunakan perintah DESCRIBE TABLE AS JSON untuk mengembalikan metadata tabel sebagai dokumen JSON. Output JSON lebih terstruktur daripada laporan default yang dapat dibaca manusia dan dapat digunakan untuk menginterpretasikan skema tabel secara terprogram. Untuk mempelajari lebih lanjut, lihat DESCRIBE TABLE AS JSON.

Kolasi tidak sensitif terhadap spasi kosong di akhir

Databricks Runtime 16.2 menyediakan dukungan untuk pengurutan yang tidak sensitif terhadap spasi di akhir, menambah dukungan pengurutan yang sebelumnya telah ditambahkan pada Databricks Runtime 16.1. Misalnya, kolase ini memperlakukan 'Hello' dan 'Hello ' sama. Untuk mempelajari lebih lanjut, lihat kolasi RTRIM.

Mengonversi tabel Iceberg dengan partisi wadah menjadi tabel Delta yang tidak dipartisi

Pernyataan CONVERT TO DELTA dan CREATE TABLE CLONE sekarang mendukung konversi tabel Iceberg dengan partisi bucket ke tabel Delta yang tidak dipartisi.

Komputasi mode akses standar (sebelumnya mode akses bersama) sekarang mendukung metode Spark Scala foreach, foreachBatch, dan flatMapGroupsWithState

Dalam Databricks Runtime 16.2 ke atas, komputasi mode akses standar sekarang mendukung metode Scala DataStreamWriter.foreachBatch dan KeyValueGroupedDataset.flatMapGroupsWithState. Dalam Databricks Runtime 16.1 ke atas, komputasi mode akses standar sekarang mendukung metode Scala DataStreamWriter.foreach.

Perbaikan kesalahan program

Pemrosesan klon bertahap yang ditingkatkan

Rilis ini memperbaiki skenario kasus tertentu di mana inkremental CLONE mungkin menyalin ulang file yang sudah disalin dari tabel sumber ke tabel target. Lihat Mengkloning tabel di Azure Databricks.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
• Pustaka R yang ditingkatkan:
• Pustaka Java yang ditingkatkan:
  • org.json4s.json4s-ast_2.12 dari 3.7.0-M11 ke 4.0.7
  • org.json4s.json4s-core_2.12 dari 3.7.0-M11 menjadi 4.0.7
  • org.json4s.json4s-jackson_2.12 dari 3.7.0-M11 menjadi 4.0.7
  • org.json4s.json4s-scalap_2.12 dari 3.7.0-M11 ke 4.0.7

Apache Spark

Databricks Runtime 16.2 mencakup Apache Spark 3.5.2. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 16.1, serta perbaikan bug tambahan dan peningkatan tambahan berikut yang dilakukan pada Spark:

• [SPARK-49966] Balikkan “[SC-179501][sql] Gunakan Invoke untuk mengimplementasikan JsonToStructs(from_json)”
• [SPARK-50904] [SC-186976][sql] Perbaiki eksekusi kueri pemrosesan ekspresi pengurutan
• [SPARK-49666] [SQL] Aktifkan pengujian pemangkasan untuk ekspresi InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Ubah tanda tangan ekspresi TimestampAdd
• [SPARK-50795] [16.x][sc-186719][SQL] Simpan timestamp sebagai tipe long dalam LinkedHashMap describe
• [SPARK-50870] [SC-186950][sql] Tambahkan zona waktu saat mentransmisikan ke tanda waktu di V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Kegagalan dalam ExecuteResponseObserver menghasilkan permintaan pemasangan ulang tak terbatas
• [SPARK-50522] [SC-186500][sql] Dukungan untuk kolase yang tidak ditentukan
• [SPARK-50525] [SC-186058][sql] Tentukan Aturan Pengoptimal InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Ekspresi umum duplikat dalam berbagai With harus diproyeksikan hanya sekali
• [SPARK-50847] [SC-186916] [SQL] Tolak ApplyCharTypePadding agar tidak diterapkan pada ekspresi In tertentu
• [SPARK-50714] [SC-186786][sql][SS] Aktifkan evolusi skema untuk TransformWithState ketika menggunakan pengodean Avro
• [SPARK-50795] [SC-186390][sql] Menampilkan semua tanggal DESCRIBE AS JSON dalam format dan jenis ISO-8601 sebagai dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: Meningkatkan penyesuaian jenis dan pengecekan batas untuk fungsi SQL UNIFORM
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog mendukung nilai ajaib builtin
• [SPARK-50831] [SC-186736][sql] Aktifkan kolase pemangkasan secara default
• [SPARK-50263] [SC-186793][connect] Ganti System.currentTimeMillis dengan System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implement CreateSQLFunctionCommand untuk Fungsi Skalar dan Tabel SQL
• [SPARK-50830] [SC-186718] [SQL] Mengembalikan hasil single-pass sebagai hasil analisis eksekusi ganda
• [SPARK-50707] [SC-186098][sql] Aktifkan transmisi ke/dari char/varchar
• [SPARK-49490] [SC-182137][sql] Tambahkan tolok ukur untuk initCap
• [SPARK-50529] [SC-184535][sql] Ubah perilaku char/varchar di bawah konfigurasi spark.sql.preserveCharVarcharTypeInfo
• [SPARK-49632] [SC-184179][sql] Hapus saran konfigurasi ANSI di CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Memperbaiki bug di mana melewati Varian null dalam createDataFrame menyebabkannya gagal dan menambahkan dukungan Varian dalam createDataFrame di Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Dianjurkan untuk tidak digunakan pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Set yang dianalisis pada kegagalan analisis
• [SPARK-50824] [SC-186472][python] Hindari mengimpor paket Python opsional untuk diperiksa
• [SPARK-50755] [SC-185521][sql] Tampilan rencana cantik untuk InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Input untuk agregasi yang ditik harus dianalisis
• [SPARK-50791] [SC-185867][sc-186338][SQL] Perbaiki NPE dalam penanganan kesalahan State Store
• [SPARK-50801] [SC-186365] [SQL] Perbaiki PlanLogger.logPlanResolution sehingga menunjukkan rencana yang belum dan sudah terselesaikan
• [SPARK-50749] [SC-185925][sql] Perbaiki kesalahan pengurutan dalam metode CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Menstandarkan nama file hasil profiler JVM dan tata letaknya di DFS
• [SPARK-50790] [SC-186354][python] Terapkan penguraian json di pyspark
• [SPARK-50738] [SC-184856][python] Tingkatkan hitam ke 23.12.1
• [SPARK-50764] [SC-185930][python] Perbaiki docstring metode terkait xpath
• [SPARK-50798] [SC-186277][sql] Tingkatkan NormalizePlan
• [SPARK-49883] [SC-183787][ss] Struktur Checkpoint State Store V2 Integrasi dengan RocksDB dan RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Menambahkan bendera fitur untuk kolase tingkat objek
• [SPARK-50778] [SC-186183][python] Tambahkan metadataColumn ke PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: Meningkatkan alias ekspresi yang dihasilkan secara otomatis dengan operator pipe SQL
• [SPARK-50541] [16.x][sc-184937] Jelaskan Tabel Sebagai JSON
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: Pertahankan alias tabel setelah SET, operator EXTEND, DROP
• [SPARK-50769] [SC-185919][sql] Memperbaiki ClassCastException dalam HistogramNumeric
• [SPARK-49025] [SC-174667] Sinkronkan perbedaan kode Delta ke DBR
• [SPARK-50752] [SC-185547][python][SQL] Memperkenalkan konfigurasi untuk menyetel Python UDF tanpa Arrow
• [SPARK-50705] [SC-185944][sql] Buat QueryPlan bebas kunci
• [SPARK-50690] [16.x][sc-184640][SQL] Perbaiki ketidaksesuaian dalam pengutipan kolom output kueri tampilan DESCRIBE TABLE
• [SPARK-50746] [SC-184932][sql] Ganti Dengan VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder mengatur konfigurasi dalam batch
• [SPARK-50480] [SC-183359][sql] Extend CharType dan VarcharType dari StringType
• [SPARK-50675] [SC-184539][sql] Dukungan kolase tingkat tabel dan tampilan
• [SPARK-50409] [SC-184516][sql] Perbaiki pernyataan set untuk mengabaikan ; di akhir SET;, SET -v; dan SET key;
• [SPARK-50743] [SC-185528][sql] Normalisasi ID CTERelationDef dan CTERelationRef
• [SPARK-50693] [SC-184684][connect] Input untuk TypedScalaUdf harus dianalisis
• [SPARK-50744] [SC-184929][sql] Tambahkan kasus pengujian untuk prioritas resolusi nama tampilan/CTE
• [SPARK-50710] [SC-184767][connect] Tambahkan dukungan untuk koneksi ulang klien opsional ke sesi setelah rilis
• [SPARK-50703] [SC-184843][python] Menyempurnakan docstring regexp_replace, regexp_substr, dan regexp_instr
• [SPARK-50716] [SC-184823][core] Perbaiki logika pembersihan untuk tautan simbolis dalam metode JavaUtils.deleteRecursivelyUsingJavaIO
• [SPARK-50630] [SC-184443][sql] Perbaiki dukungan ordinal GROUP BY untuk operator AGREGAT SQL pipa
• [SPARK-50614] [SC-184729][sql] Tambahkan dukungan penguraian Varian untuk Parquet
• [SPARK-50661] [SASP-4936] Tambahkan kompatibilitas mundur untuk klien lama FEB.
• [SPARK-50676] [SC-184641][sql] Hapus private lazy val mapValueContainsNull yang tidak digunakan dari ElementAt
• [SPARK-50515] [SC-183813][core] Tambahkan antarmuka baca-saja ke SparkConf
• [SPARK-50697] [SC-184702][sql] Aktifkan rekursi ekor sedapat mungkin
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Perbaiki skema status untuk FlatMapGroupsWithState di spark connect saat tidak ada status awal
• [SPARK-50701] [SC-184704][python] Membuat plot memerlukan versi plot minimum
• [SPARK-50702] [SC-184727][python] Menyempurnakan docstring regexp_count, regexp_extract, dan regexp_extract_all
• [SPARK-50499] [SC-184177][python] Mengekspos metrik dari BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Tambahkan dukungan pushdown RPAD
• [SPARK-50682] [SC-184579][sql] Alias internal harus dikanoniskan
• [SPARK-50699] [SC-184695][python] Urai dan hasilkan string DDL dengan sesi tertentu
• [SPARK-50573] [SC-184568][ss] Menambahkan ID Skema Status ke Baris Status dalam evolusi skema
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Memperbaiki implementasi fungsi foreachBatch di Spark Connect Scala. untuk mendukung Himpunan Data[T].
• [SPARK-50689] [SC-184591][sql] Menerapkan urutan deterministik dalam daftar proyek LCA
• [SPARK-50696] [SC-184667][python] Optimalkan panggilan Py4J untuk metode parse DDL
• [SPARK-49670] [SC-182902][sql] Aktifkan kolase pemangkasan untuk semua ekspresi passthrough
• [SPARK-50673] [SC-184565][ml] Hindari menelusuri koefisien model dua kali di konstruktor Word2VecModel
• [SPARK-50687] [SC-184588][python] Optimalkan logika untuk mendapatkan jejak tumpukan untuk DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Cache skema yang diurai untuk MapInXXX dan ApplyInXXX
• [SPARK-50674] [SC-184589][python] Perbaiki pemeriksaan keberadaan metode 'hentikan' dalam evaluasi UDTF
• [SPARK-50684] [SC-184582][python] Meningkatkan performa Py4J di DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Tambahkan dukungan untuk versi baru metadata status untuk TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Perbaiki transpose untuk menampilkan pesan kesalahan yang tepat ketika kolom indeks yang tidak valid ditentukan
• [SPARK-50650] [SC-184532][sql] Meningkatkan pencatatan log di Penganalisis sekali jalan
• [SPARK-50665] [SC-184533][sql] Ganti LocalRelation dengan ComparableLocalRelation di NormalizePlan
• [SPARK-50644] [SC-184486][sql] Baca varian struct di pembaca format Parquet.
• [SPARK-49636] [SC-184089][sql] Hapus rekomendasi konfigurasi ANSI di INVALID_ARRAY_INDEX dan INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Refaktorisasi komputasi output Union untuk menggunakannya kembali di Analyzer sekali jalan
• [SPARK-50659] [SC-184512][sql] Pindahkan kesalahan terkait Union ke QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Perbaiki perhitungan konteks jenis string implisit yang buruk
• [SPARK-50546] [SC-183807][sql] Tambahkan dukungan pemeran subkueri ke koersi jenis kolase
• [SPARK-50405] [SC-182889][sql] Menangani koersi tipe penyusunan jenis data kompleks dengan benar
• [SPARK-50637] [SC-184434][sql] Perbaiki gaya kode untuk Penganalisis sekali lintas
• [SPARK-50638] [SC-184435][sql] Refaktor resolusi tampilan ke dalam file terpisah untuk menggunakannya kembali di Penganalisis akses tunggal
• [SPARK-50615] [SC-184298][sql] Mendorong varian ke dalam pemindaian.
• [SPARK-50619] [SC-184210][sql] Refaktor VariantGet.cast untuk memasukkan argumen cast
• [SPARK-50599] [SC-184058][sql] Buat trait DataEncoder yang memungkinkan enkoding Avro dan UnsafeRow
• [SPARK-50076] [SC-183809] Perbaiki logkey
• [SPARK-50597] [SC-183972][sql] Perombakan konstruksi batch di Optimizer.scala dan SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Aktifkan changelog untuk menyimpan informasi silsilah data
• [SPARK-50526] [SC-183811][ss] Tambahkan format pengkodean penyimpanan ke log offset dan blokir operator stateful yang tidak mendukung memanfaatkan Avro
• [SPARK-50540] [SC-183810][python][SS] Perbaiki skema string untuk StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Menggunakan SQLConf yang disediakan oleh SparkSession terlebih dahulu.
• [SPARK-48898] [SC-183793][sql] Atur nullability dengan benar dalam skema Varian
• [SPARK-50559] [SC-183814][sql] Simpan keluaran dari Except, Intersect, dan Union sebagai lazy vals
• [SPARK-48416] [SC-183643][sql] Dukungan bertumpuk berkorelasi Dengan ekspresi
• [SPARK-50428] [SC-183566][ss][PYTHON] Mendukung TransformWithStateInPandas dalam kueri batch
• [SPARK-50063] [SC-183350][sql][CONNECT] Tambahkan dukungan untuk Varian di klien Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Implement StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Memperbaiki kesalahan build Maven yang diperkenalkan oleh Guava cache di RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Perbaiki bug di mana blok BEGIN END kosong melempar kesalahan
• [SPARK-50536] [SC-183443][core] Mencatat ukuran file arsip yang diunduh dalam SparkContext dan Executor
• [SPARK-45891] [SC-183439][sql] Membangun kembali varian biner dari data yang dihancurkan.
• [SPARK-49565] [SC-183465][sql] Tambahkan sintaks pipa SQL untuk operator FROM
• [SPARK-50497] [SC-183338][sql] Gagal kueri dengan pesan yang tepat jika MultiAlias berisi fungsi non-generator
• [SPARK-50460] [SC-183375][python][CONNECT] Generalisasi dan sederhanakan penanganan pengecualian Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Perbaiki opsi kompresi yang ditimpa di df.write.parquet
• [SPARK-50329] [SC-183358][sql] fix InSet$toString
• [SPARK-50524] [SC-183364][sql] Turunkan pesan peringatan RowBasedKeyValueBatch.spill ke tingkat debug
• [SPARK-50528] [SC-183385][connect] Pindahkan InvalidCommandInput ke modul umum
• [SPARK-50017] [SC-182438][ss] Mendukung enkode Avro untuk operator TransformWithState
• [SPARK-50463] [SC-182833][sql] Memperbaiki ConstantColumnVector dalam konversi Kolom ke Baris
• [SPARK-50235] [SC-180786][sql] Bersihkan sumber daya ColumnVector setelah memproses semua baris di ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Perbaiki pengujian terkait status init untuk menggunakan StreamManualClock
• [SPARK-50478] [SC-183188][sql] Perbaiki pencocokan StringType
• [SPARK-50492] [SC-183177][ss] Memperbaiki java.util.NoSuchElementException ketika kolom waktu kejadian dihapus setelah dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Tambahkan sintaks pipa SQL untuk operator SET
• [SPARK-50449] [SC-183178][sql] Memperbaiki tata bahasa dalam Skrip SQL yang memungkinkan isi kosong pada perulangan, IF, dan CASE
• [SPARK-50251] [SC-180970][python] Tambahkan getSystemProperty ke PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Memperbaiki konfigurasi memori terkait eksekutor yang salah saat beberapa profil sumber daya berfungsi.
• [SPARK-49461] [SC-179572][ss] ID Titik Pemeriksaan Persisten untuk menerapkan log dan membacanya kembali
• [SPARK-50343] [SC-183119][spark-50344][SQL] Tambahkan sintaks pipa SQL untuk operator DROP dan AS
• [SPARK-50481] [SC-182880][core] Tingkatkan SortShuffleManager.unregisterShuffle untuk mengabaikan logika pengolahan file checksum jika checksum dinonaktifkan
• [SPARK-50498] [SC-183090][python] Hindari panggilan py4j yang tidak perlu di listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Perbaiki gabungan mandiri setelah applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres fix xor push-down

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan pembaruan terbaru (unduh ODBC, unduh JDBC).

Pembaruan pemeliharaan

Lihat pembaruan pemeliharaan Databricks Runtime 16.2.

Lingkungan sistem

• Sistem Operasi : Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Perpustakaan Python yang terpasang

Pustaka R yang dipasang

Pustaka R diinstal dari cuplikan CRAN dari Posit Manajer Paket yang diambil pada 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)