Databricks Runtime 16.0

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 16.0, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada November 2024.

Perubahan perilaku

• Perubahan menerobos: JDK 17 sekarang menjadi default
• Perubahan yang melanggar: RStudio yang dihosting adalah akhir masa pakai
• Perubahan yang melanggar: Penghapusan dukungan untuk mengubah bytejenis , , shortint dan long ke jenis yang lebih luas
• Penguraian pola regex yang benar dengan negasi dalam pengelompokan karakter berlapis
• Meningkatkan deteksi kecocokan duplikat di Delta Lake MERGE
• Metode penginstalan pustaka kluster tidak dapat lagi ditimpa
• Batas waktu default dua jam untuk penginstalan pustaka cakupan kluster
• Menginstal pustaka dari DBFS dan mengatur spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed dinonaktifkan
• Fungsionalitas addArtifact() sekarang konsisten di seluruh jenis komputasi

Perubahan menerobos: JDK 17 sekarang menjadi default

Di Databricks Runtime 16.0 ke atas, versi JDK default dialihkan dari JDK 8 ke JDK 17. Perubahan ini dilakukan karena penghentian yang direncanakan dan akhir dukungan untuk JDK 8. Hal ini memengaruhi hal-hal berikut:

• Kode Java yang berjalan pada komputasi Azure Databricks harus kompatibel dengan Java 17.
• Kode Scala yang berjalan di notebook atau komputasi Azure Databricks harus kompatibel dengan Java 17.
• Pustaka Java dan Scala yang diinstal pada komputasi harus kompatibel dengan Java 17.
• Versi klien metastore Apache Hive di bawah 2.x. Mengatur konfigurasi spark.sql.hive.metastore.version Spark ke versi yang lebih rendah dari 2.x akan menyebabkan masalah kompatibilitas dengan Java 17 dan kegagalan koneksi ke metastore Apache Hive. Databricks merekomendasikan peningkatan Apache Hive ke versi di atas 2.0.0.

Jika Anda perlu kembali ke Java 8, tambahkan yang berikut ini ke variabel lingkungan Spark saat Anda mengonfigurasi komputasi Azure Databricks Anda:

JNAME=zulu8-ca-amd64

Jika Anda menggunakan instans ARM, gunakan hal berikut:

JNAME=zulu8-ca-arm64

Untuk mempelajari selengkapnya tentang menentukan versi JDK dengan komputasi Azure Databricks, lihat Membuat kluster yang menggunakan JDK 17.

Untuk bantuan dalam memigrasikan kode Anda dari Java 8, lihat panduan berikut:

• Transisi dari Java 8 ke Java 11
• Migrasi Dari JDK 8 ke Rilis JDK Yang Lebih Baru

Perubahan yang melanggar: RStudio yang dihosting adalah akhir masa pakai

Dengan rilis ini, RStudio Server yang dihosting Databricks adalah akhir masa pakai dan tidak tersedia di ruang kerja Azure Databricks apa pun yang menjalankan Databricks Runtime 16.0 ke atas. Untuk mempelajari selengkapnya dan melihat daftar alternatif untuk RStudio, lihat Penghentian Server RStudio yang Dihosting.

Perubahan yang melanggar: Penghapusan dukungan untuk mengubah bytejenis , , shortint dan long ke jenis yang lebih luas

Di Databricks Runtime 15.4.3 ke atas, perubahan jenis data berikut tidak dapat lagi diterapkan ke tabel dengan fitur pelebar jenis diaktifkan:

• byte, short, int dan long ke decimal.
• byte, short, dan int ke double.

Perubahan ini dilakukan untuk memastikan perilaku yang konsisten di seluruh tabel Delta dan Iceberg. Untuk mempelajari selengkapnya tentang pelebaran jenis, lihat Pelebaran jenis.

Penguraian pola regex yang benar dengan negasi dalam pengelompokan karakter berlapis

Rilis ini mencakup perubahan untuk mendukung penguraian pola regex yang benar dengan negasi dalam pengelompokan karakter berlapis. Misalnya, [^[abc]] akan diuraikan sebagai "karakter apa pun yang BUKAN salah satu 'abc'".

Selain itu, perilaku Photon tidak konsisten dengan Spark untuk kelas karakter berlapis. Pola regex yang berisi kelas karakter berlapis tidak akan lagi menggunakan Photon, dan sebaliknya akan menggunakan Spark. Kelas karakter berlapis adalah pola apa pun yang berisi tanda kurung siku dalam tanda kurung siku, seperti [[a-c][1-3]].

Meningkatkan deteksi kecocokan duplikat di Delta Lake MERGE

Di Databricks Runtime 15.4 LTS dan di bawahnya, MERGE operasi gagal jika lebih dari satu baris dalam tabel sumber cocok dengan baris yang sama dalam tabel target berdasarkan MERGE kondisi yang ditentukan dalam ON klausa. Dalam Databricks Runtime 16.0 ke atas, MERGE juga mempertimbangkan kondisi yang ditentukan dalam WHEN MATCHED klausul. Lihat Upsert ke dalam tabel Delta Lake menggunakan penggabungan.

Metode penginstalan pustaka kluster tidak dapat lagi ditimpa

Konfigurasi Spark spark.databricks.libraries.enableSparkPyPI, , spark.databricks.libraries.enableMavenResolutiondan spark.databricks.libraries.enableCRANResolutionnow sekarang default ke true dan tidak dapat ditimpa.

Batas waktu default dua jam untuk penginstalan pustaka cakupan kluster

Di Databricks Runtime 16.0 ke atas, penginstalan pustaka cakupan kluster memiliki batas waktu default dua jam. Penginstalan pustaka yang memakan waktu lebih lama dari batas waktu ini akan gagal, dan penginstalan dihentikan. Saat mengonfigurasi kluster, Anda dapat mengubah periode batas waktu menggunakan konfigurasi spark.databricks.driver.clusterLibraryInstallationTimeoutSecSpark .

Menginstal pustaka dari DBFS dan mengatur spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed dinonaktifkan

Di Databricks Runtime 16.0 ke atas, menginstal pustaka dari DBFS sepenuhnya dinonaktifkan. Perubahan ini dilakukan untuk meningkatkan keamanan pustaka di ruang kerja Databricks. Selain itu, dalam Databricks Runtime 16.0 ke atas, Anda tidak dapat lagi menggunakan konfigurasi spark.databricks.driver.dbfsLibraryInstallationAllowedSpark .

Fungsionalitas addArtifact() sekarang konsisten di seluruh jenis komputasi

Dengan rilis ini, arsip secara otomatis dibongkar saat Anda menggunakan addArtifact(archive = True) untuk menambahkan dependensi ke komputasi Azure Databricks bersama atau tanpa server. Perubahan ini membuat perilaku addArtifact(archive = True) pada jenis komputasi ini konsisten dengan komputasi pengguna tunggal, yang sudah mendukung pembongkaran arsip secara otomatis.

Fitur dan peningkatan baru

• Pemuatan ulang modul Python yang lebih andal dengan peningkatan autoreload
• Dukungan Avro untuk skema rekursif
• fungsi to_avro dan from_avro
• Dukungan yang diperluas untuk Confluent Schema Registry untuk Avro
• Memaksa pengklusteran pada tabel dengan pengklusteran cair
• API Delta untuk Python dan Scala sekarang mendukung kolom identitas
• Kontrol akses halus pada komputasi pengguna tunggal umumnya tersedia
• Membuat tabel berkluster cair selama penulisan streaming
• Dukungan untuk klausa LENGKAP OPTIMIZE
• Dukungan untuk opsi spesifikasi WITH di INSERT dan referensi tabel
• Fungsi SQL baru
• Mengaktifkan evolusi skema otomatis saat menggabungkan data ke dalam tabel Delta

Pemuatan ulang modul Python yang lebih andal dengan peningkatan autoreload

Di Databricks Runtime 16.0 ke atas, pembaruan ekstensi meningkatkan keamanan dan keandalan autoreload memuat ulang modul Python yang dimodifikasi yang diimpor dari file ruang kerja. Dengan perubahan ini, autoreload, jika memungkinkan, hanya memuat ulang bagian modul yang telah berubah alih-alih seluruh modul. Selain itu, Azure Databricks sekarang secara otomatis menyarankan penggunaan autoreload ekstensi jika modul telah berubah sejak impor terakhirnya. Lihat Memuat otomatis untuk modul Python.

Dukungan Avro untuk skema rekursif

Anda sekarang dapat menggunakan recursiveFieldMaxDepth opsi dengan from_avro fungsi dan avro sumber data. Opsi ini mengatur kedalaman maksimum untuk rekursi skema pada sumber data Avro. Lihat Membaca dan menulis data Avro streaming.

fungsi to_avro dan from_avro

Fungsi to_avro dan from_avro memungkinkan konversi jenis SQL ke data biner Avro dan kembali.

Dukungan yang diperluas untuk Confluent Schema Registry untuk Avro

Azure Databricks sekarang mendukung referensi skema Avro dengan Confluent Schema Registry. Lihat Mengautentikasi ke Registri Skema Confluent eksternal.

Memaksa pengklusteran pada tabel dengan pengklusteran cair

Dalam Databricks Runtime 16.0 ke atas, Anda dapat menggunakan OPTIMIZE FULL sintaks untuk memaksa pengeklusteran semua rekaman dalam tabel dengan pengklusteran cair diaktifkan. Lihat Memaksa reklaster untuk semua rekaman.

API Delta untuk Python dan Scala sekarang mendukung kolom identitas

Sekarang Anda dapat menggunakan API Delta untuk Python dan Scala untuk membuat tabel dengan kolom identitas. Lihat Menggunakan kolom identitas di Delta Lake.

Kontrol akses halus pada komputasi pengguna tunggal umumnya tersedia

Dalam Databricks Runtime 16.0 ke atas, kontrol akses terperintah pada komputasi pengguna tunggal umumnya tersedia. Di ruang kerja yang diaktifkan untuk komputasi tanpa server, jika kueri dijalankan pada komputasi yang didukung seperti komputasi pengguna tunggal dan kueri mengakses salah satu objek berikut, sumber daya komputasi meneruskan kueri ke komputasi tanpa server untuk menjalankan pemfilteran data:

• Tampilan yang ditentukan atas tabel di mana pengguna tidak memiliki SELECT hak istimewa.
• Tampilan dinamis.
• Tabel dengan filter baris atau masker kolom diterapkan.
• Tampilan materialisasi dan tabel streaming

Membuat tabel berkluster cair selama penulisan streaming

Anda sekarang dapat menggunakan clusterBy untuk mengaktifkan pengklusteran cair saat membuat tabel baru dengan penulisan Streaming Terstruktur. Lihat Mengaktifkan pengklusteran cairan.

Dukungan untuk klausul FULL OPTIMIZE

Databricks Runtime 16.0 mendukung klausa OPTIMIZE LENGKAP. Klausa ini mengoptimalkan semua rekaman dalam tabel yang menggunakan pengklusteran cairan, termasuk data yang mungkin sebelumnya telah diklusterkan.

Dukungan untuk spesifikasi opsi WITH dalam INSERT dan referensi tabel

Databricks Runtime 16.0 mendukung spesifikasi opsi untuk referensi tabel dan nama INSERT tabel pernyataan yang dapat digunakan untuk mengontrol perilaku sumber data.

Fungsi SQL baru

Fungsi SQL berikut ditambahkan dalam Databricks Runtime 16.0:

• try_url_decode

  Fungsi ini adalah versi url_decode yang toleran terhadap kesalahan. Fungsi ini mengembalikan NULL jika input bukan string yang dikodekan URL yang valid.

• zeroifnull

  Jika ekspresi input ke zeroifnull() fungsi adalah NULL, maka fungsi mengembalikan 0. Jika tidak, nilai ekspresi input dikembalikan.

• nullifzero

  Mengembalikan NULL jika input adalah 0 atau inputnya jika bukan 0. Jika ekspresi input ke nullifzero() fungsi adalah 0, maka fungsi mengembalikan NULL. Jika ekspresi input bukan 0, nilai ekspresi input dikembalikan

Mengaktifkan evolusi skema otomatis saat menggabungkan data ke dalam tabel Delta

Rilis ini menambahkan dukungan untuk withSchemaEvolution() anggota DeltaMergeBuilder kelas. Gunakan withSchemaEvolution() untuk mengaktifkan evolusi skema otomatis selama MERGE operasi. Contohnya,mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Perubahan lainnya

SparkR sekarang tidak digunakan lagi

Dalam Databricks Runtime 16.0 ke atas, SparkR di Databricks tidak digunakan lagi sebagai persiapan untuk penghentiannya dalam rilis Spark 4 mendatang. Lihat utas Apache Spark Deprecate SparkR.

Databricks merekomendasikan penggunaan sparklyr sebagai gantinya.

Databricks Runtime 16.0 tidak didukung dengan PVC

Databricks Runtime 16.0 tidak didukung oleh Databricks Private Virtual Cloud (PVC). Anda harus menggunakan Databricks Runtime 15.4 atau yang lebih baru dengan semua rilis PVC.

Perbaikan bug

Auto Loader sekarang menyelamatkan jenis rekaman Avro dengan skema kosong

Saat memuat file Avro ke dalam tabel Delta menggunakan Auto Loader, record jenis dalam file yang memiliki skema kosong sekarang ditambahkan ke kolom data yang diselamatkan. Karena Anda tidak dapat menyerap tipe data kompleks kosong ke dalam tabel Delta, ini menyelesaikan masalah dengan memuat beberapa file Avro. Untuk mempelajari selengkapnya tentang data yang diselamatkan, lihat Apa itu kolom data yang diselamatkan?.

Perbaiki untuk kesalahan menulis tanda waktu dengan zona waktu yang berisi offset kedua.

Rilis ini memperbaiki bug yang memengaruhi beberapa tanda waktu dengan zona waktu yang berisi offset kedua. Bug ini menyebabkan detik dihilangkan saat menulis ke JSON, XML, atau CSV, yang mengarah ke nilai tanda waktu yang salah.

Untuk kembali ke perilaku sebelumnya, gunakan opsi berikut saat menulis ke salah satu format yang terpengaruh: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • azure-core dari 1.30.2 hingga 1.31.0
  • azure-storage-blob dari 12.19.1 hingga 12.23.0
  • azure-storage-file-datalake dari 12.14.0 hingga 12.17.0
  • hitam dari 23.3.0 hingga 24.4.2
  • blinker dari 1,4 hingga 1.7.0
  • boto3 dari 1.34.39 ke 1.34.69
  • botocore dari 1.34.39 ke 1.34.69
  • certifi dari 2023.7.22 hingga 2024.6.2
  • cffi dari 1.15.1 hingga 1.16.0
  • klik dari 8.0.4 ke 8.1.7
  • comm dari 0.1.2 ke 0.2.1
  • contourpy dari 1.0.5 ke 1.2.0
  • kriptografi dari 41.0.3 hingga 42.0.5
  • Cython dari 0.29.32 ke 3.0.11
  • databricks-sdk dari 0.20.0 hingga 0.30.0
  • dbus-python dari 1.2.18 ke 1.3.2
  • filelock dari 3.13.4 ke 3.15.4
  • fonttools dari 4.25.0 hingga 4.51.0
  • GitPython dari 3.1.43 ke 3.1.37
  • google-api-core dari 2.18.0 hingga 2.20.0
  • google-auth dari 2.31.0 hingga 2.35.0
  • google-cloud-storage dari 2.17.0 hingga 2.18.2
  • google-crc32c dari 1.5.0 hingga 1.6.0
  • google-resumable-media dari 2.7.1 hingga 2.7.2
  • googleapis-common-protos dari 1.63.2 hingga 1.65.0
  • httplib2 dari 0.20.2 ke 0.20.4
  • idna dari 3.4 hingga 3.7
  • ipykernel dari 6.25.1 ke 6.28.0
  • ipython dari 8.15.0 ke 8.25.0
  • jedi dari 0.18.1 hingga 0.19.1
  • jmespath dari 0.10.0 hingga 1.0.1
  • joblib dari 1.2.0 hingga 1.4.2
  • jupyter_client dari 7.4.9 ke 8.6.0
  • jupyter_core dari 5.3.0 ke 5.7.2
  • launchpadlib dari 1.10.16 ke 1.11.0
  • lazr.restfulclient dari 0.14.4 hingga 0.14.6
  • matplotlib dari 3.7.2 ke 3.8.4
  • mlflow-skinny dari 2.11.4 hingga 2.15.1
  • more-itertools dari 8.10.0 hingga 10.3.0
  • mypy-extensions dari 0.4.3 hingga 1.0.0
  • nest-asyncio dari 1.5.6 hingga 1.6.0
  • numpy dari 1.23.5 hingga 1.26.4
  • oauthlib dari 3.2.0 ke 3.2.2
  • kemasan dari 23.2 hingga 24.1
  • patsy dari 0.5.3 hingga 0.5.6
  • pip dari 23.2.1 hingga 24.2
  • plotly dari 5.9.0 ke 5.22.0
  • prompt-toolkit dari 3.0.36 hingga 3.0.43
  • pyarrow dari 14.0.1 hingga 15.0.2
  • pydantic dari 1.10.6 ke 2.8.2
  • PyGObject dari 3.42.1 ke 3.48.2
  • PyJWT dari 2.3.0 ke 2.7.0
  • pyodbc dari 4.0.38 ke 5.0.1
  • python-dateutil dari 2.8.2 hingga 2.9.0.post0
  • python-lsp-jsonrpc dari 1.1.1 hingga 1.1.2
  • pytz dari 2022.7 hingga 2024.1
  • PyYAML dari 6.0 hingga 6.0.1
  • pyzmq dari 23.2.0 ke 25.1.2
  • permintaan dari 2.31.0 hingga 2.32.2
  • scikit-learn dari 1.3.0 hingga 1.4.2
  • scipy dari 1.11.1 hingga 1.13.1
  • seaborn dari 0.12.2 hingga 0.13.2
  • setuptools dari 68.0.0 hingga 74.0.0
  • smmap dari 5.0.1 hingga 5.0.0
  • sqlparse dari 0.5.0 hingga 0.5.1
  • statsmodel dari 0.14.0 hingga 0.14.2
  • tornado dari 6.3.2 ke 6.4.1
  • traitlet dari 5.7.1 hingga 5.14.3
  • typing_extensions dari 4.10.0 hingga 4.11.0
  • ujson dari 5.4.0 ke 5.10.0
  • virtualenv dari 20.24.2 hingga 20.26.2
  • wheel dari 0.38.4 hingga 0.43.0
  • zipp dari 3.11.0 ke 3.17.0
• Pustaka R yang ditingkatkan:
  • panah dari 14.0.0.2 hingga 16.1.0
  • backport dari 1.4.1 hingga 1.5.0
  • basis dari 4.3.2 ke 4.4.0
  • bitops dari 1,0-7 hingga 1,0-8
  • boot dari 1.3-28 ke 1.3-30
  • brio dari 1.1.4 ke 1.1.5
  • sapu dari 1.0.5 hingga 1.0.6
  • bslib dari 0.6.1 ke 0.8.0
  • cache dari 1.0.8 hingga 1.1.0
  • callr dari 3.7.3 ke 3.7.6
  • cli dari 3.6.2 ke 3.6.3
  • jam dari 0.7.0 hingga 0.7.1
  • kluster dari 2.1.4 hingga 2.1.6
  • codetools dari 0,2-19 hingga 0,2-20
  • colorspace dari 2,1-0 hingga 2,1-1
  • compiler dari 4.3.2 ke 4.4.0
  • krayon dari 1.5.2 hingga 1.5.3
  • curl dari 5.2.0 ke 5.2.1
  • data.table dari 1.15.0 hingga 1.15.4
  • himpunan data dari 4.3.2 hingga 4.4.0
  • DBI dari 1.2.1 hingga 1.2.3
  • dbplyr dari 2.4.0 ke 2.5.0
  • digest dari 0.6.34 ke 0.6.36
  • downlit dari 0.4.3 ke 0.4.4
  • evaluasi dari 0,23 hingga 0.24.0
  • jauh dari 2.1.1 ke 2.1.2
  • fastmap dari 1.1.1 hingga 1.2.0
  • asing dari 0,8-85 ke 0,8-86
  • fs dari 1.6.3 ke 1.6.4
  • di masa mendatang dari 1.33.1 hingga 1.34.0
  • future.apply dari 1.11.1 hingga 1.11.2
  • gert dari 2.0.1 hingga 2.1.0
  • ggplot2 dari 3.4.4 ke 3.5.1
  • gh dari 1.4.0 ke 1.4.1
  • global dari 0,16,2 ke 0,16,3
  • grafik dari 4.3.2 hingga 4.4.0
  • grDevices dari 4.3.2 hingga 4.4.0
  • kisi dari 4.3.2 hingga 4.4.0
  • gt dari 0.10.1 ke 0.11.0
  • dapat di gtable dari 0.3.4 ke 0.3.5
  • hardhat dari 1.3.1 hingga 1.4.0
  • lebih tinggi dari 0,10 hingga 0,11
  • htmltool dari 0.5.7 hingga 0.5.8.1
  • httpuv dari 1.6.14 ke 1.6.15
  • httr2 dari 1.0.0 hingga 1.0.2
  • ipred dari 0,9-14 ke 0,9-15
  • KernSmooth dari 2,23-21 ke 2,23-22
  • rajut dari 1,45 hingga 1,48
  • kisi dari 0,21-8 hingga 0,22-5
  • lava dari 1.7.3 hingga 1.8.0
  • markdown dari 1.12 ke 1.13
  • MASSA dari 7.3-60 ke 7.3-60.0.1
  • Matriks dari 1.5-4.1 ke 1.6-5
  • metode dari 4.3.2 hingga 4.4.0
  • mgcv dari 1,8-42 ke 1,9-1
  • mlflow dari 2.10.0 ke 2.14.1
  • munsel dari 0.5.0 hingga 0.5.1
  • nlme dari 3,1-163 ke 3,1-165
  • openssl dari 2.1.1 ke 2.2.0
  • paralel dari 4.3.2 hingga 4.4.0
  • secara paralel dari 1.36.0 hingga 1.38.0
  • pkgbuild dari 1.4.3 ke 1.4.4
  • pkgdown dari 2.0.7 ke 2.1.0
  • pkgload dari 1.3.4 hingga 1.4.0
  • processx dari 3.8.3 hingga 3.8.4
  • prodlim dari 2023.08.28 hingga 2024.06.25
  • janji dari 1.2.1 hingga 1.3.0
  • ps dari 1.7.6 ke 1.7.7
  • ragg dari 1.2.7 ke 1.3.2
  • Rcpp dari 1.0.12 ke 1.0.13
  • RcppEigen dari 0.3.3.9.4 ke 0.3.4.0.0
  • reactR dari 0.5.0 hingga 0.6.0
  • resep dari 1.0.9 hingga 1.1.0
  • jarak jauh dari 2.4.2.1 ke 2.5.0
  • reprex dari 2.1.0 ke 2.1.1
  • rlang dari 1.1.3 ke 1.1.4
  • rmarkdown dari 2,25 ke 2,27
  • roxygen2 dari 7.3.1 ke 7.3.2
  • rpart dari 4.1.21 ke 4.1.23
  • RSQLite dari 2.3.5 ke 2.3.7
  • rstudioapi dari 0.15.0 ke 0.16.0
  • rvest dari 1.0.3 hingga 1.0.4
  • sass dari 0.4.8 hingga 0.4.9
  • bentuk dari 1.4.6 hingga 1.4.6.1
  • mengkilap dari 1.8.0 hingga 1.9.1
  • sparklyr dari 1.8.4 ke 1.8.6
  • spasial dari 7,3-15 hingga 7,3-17
  • spline dari 4.3.2 hingga 4.4.0
  • statistik dari 4.3.2 hingga 4.4.0
  • stats4 dari 4.3.2 hingga 4.4.0
  • stringi dari 1.8.3 hingga 1.8.4
  • bertahan hidup dari 3,5-5 hingga 3,6-4
  • swagger dari 3.33.1 ke 5.17.14.1
  • systemfonts dari 1.0.5 hingga 1.1.0
  • tcltk dari 4.3.2 ke 4.4.0
  • testthat dari 3.2.1 ke 3.2.1.1
  • textshaping dari 0.3.7 ke 0.4.0
  • tidyselect dari 1.2.0 hingga 1.2.1
  • tinytex dari 0,49 hingga 0,52
  • alat dari 4.3.2 hingga 4.4.0
  • usethis dari 2.2.2 hingga 3.0.0
  • utils dari 4.3.2 ke 4.4.0
  • uuid dari 1,2-0 ke 1,2-1
  • V8 dari 4.4.1 hingga 4.4.2
  • withr dari 3.0.0 hingga 3.0.1
  • xfun dari 0,41 hingga 0,46
  • xopen dari 1.0.0 hingga 1.0.1
  • yaml dari 2.3.8 hingga 2.3.10
• Pustaka Java yang ditingkatkan:
  • com.amazonaws.aws-java-sdk-autoscaling dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-config dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-core dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-datapipeline dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect dari 1.12.610 ke 1.12.638
  • com.amazonaws.aws-java-sdk-directory dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-dynamodb dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-ecs dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-efs dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-emr dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-glacier dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-glue dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-iam dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-importexport dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-kinesis dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-kms dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-lambda dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-logs dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-rds dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-redshift dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-route53 dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-s3 dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-ses dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-simpleworkflow dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-sns dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-sqs dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-ssm dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-sts dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-support dari 1.12.610 hingga 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces dari 1.12.610 hingga 1.12.638
  • com.amazonaws.jmespath-java dari 1.12.610 hingga 1.12.638
  • com.google.protobuf.protobuf-java dari 2.6.1 ke 3.25.1
  • io.airlift.aircompressor dari 0,25 hingga 0,27
  • io.delta.delta-sharing-client_2.12 dari 1.1.3 hingga 1.2.0
  • io.netty.netty-all dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-buffer dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-codec dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-codec-http dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-codec-http2 dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-codec-socks dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-common dari 4.1.96.Final hingga 4.1.108.Final
  • io.netty.netty-handler dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-handler-proxy dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-resolver dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-transport dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-transport-classes-epoll dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue dari 4.1.96.Final ke 4.1.108.Final
  • io.netty.netty-transport-native-epoll dari 4.1.96.Final-linux-x86_64 ke 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue dari 4.1.96.Final-osx-x86_64 ke 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common dari 4.1.96.Final ke 4.1.108.Final
  • org.apache.ivy.ivy dari 2.5.1 ke 2.5.2
  • org.apache.zookeeper.zookeeper dari 3.6.3 hingga 3.9.2
  • org.apache.zookeeper.zookeeper-jute dari 3.6.3 hingga 3.9.2
  • org.rocksdb.rocksdbjni dari 8.11.4 hingga 9.2.1
  • org.scalactic.scalactic_2.12 dari 3.2.15 ke 3.2.16
  • org.scalatest.scalatest-compatible dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-core_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-freespec_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-funspec_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-propspec_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-refspec_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 dari 3.2.15 hingga 3.2.16
  • org.scalatest.scalatest_2.12 dari 3.2.15 ke 3.2.16

Apache Spark

Databricks Runtime 16.0 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 15.4 LTS, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-49093] [DBRRM-1371] Membatalkan "[SC-172958][SQL] GROUP BY dengan MapType nes…
• [SPARK-49898] [DBRRM-1282][SC-178410] Memperbaiki dokumentasi dan default untuk bendera pengelogan akumulator metrik tugas log peristiwa dari SPARK-42204
• [SPARK-49743] [ES-1260022][BEHAVE-157][SC-177475][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
• [SPARK-49816] [SC-177896][SQL] Hanya boleh memperbarui out-going-ref-count untuk relasi CTE luar yang direferensikan
• [SPARK-48939] [SC-177022][SC-172766][AVRO] Mendukung pembacaan Avro dengan referensi skema rekursif
• [SPARK-49688] [SC-177468][ES-1242349][SAMBUNGKAN] Memperbaiki perlombaan data antara rencana interupsi dan eksekusi
• [SPARK-49771] [SC-177466][PyTHON] Meningkatkan kesalahan UDF Pandas Scalar Iter saat baris output melebihi baris input
• [SPARK-48866] [SC-170772][SQL] Perbaiki petunjuk charset yang valid dalam pesan kesalahan INVALID_PARAMETER_VALUE. CHARSET
• [SPARK-48195] [FIXFORWARD][SC-177267][CORE] Simpan dan gunakan kembali RDD/Siaran yang dibuat oleh SparkPlan
• [SPARK-49585] [SAMBUNGKAN] Ganti peta eksekusi di SessionHolder dengan set operationID
• [SPARK-49211] [SC-174257][SQL] Katalog V2 juga dapat mendukung sumber data bawaan
• [SPARK-49684] Meminimalkan masa pakai kunci pemulihan sesi
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Kerangka kerja log terstruktur di sisi java
• [SPARK-48857] [SC-170661][SQL] Membatasi charset dalam CSVOptions
• [SPARK-49152] [SC-173690][SQL] V2SessionCatalog harus menggunakan V2Command
• [SPARK-42846] [SC-176588][SQL] Menghapus kondisi kesalahan _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [SC-177267][CORE] Simpan dan gunakan kembali RDD/Siaran yang dibuat oleh SparkPlan
• [SPARK-49630] [SC-177379][SS] Tambahkan opsi rata untuk memproses jenis pengumpulan dengan pembaca sumber data status
• [SPARK-49699] [SC-177154][SS] Menonaktifkan PruneFilters untuk beban kerja streaming
• [SPARK-48781] [SC-175282][SQL] Menambahkan API Katalog untuk memuat prosedur tersimpan
• [SPARK-49667] [SC-177068][SQL] Melarang kolase CS_AI dengan ekspresi yang menggunakan StringSearch
• [SPARK-49737] [SC-177207][SQL] Menonaktifkan bucketing pada kolom yang disusun dalam jenis kompleks
• [SPARK-48712] [SC-169794][SQL] Peningkatan Perf untuk pengodean dengan nilai kosong atau charset UTF-8
• [SPARK-49038] [SC-173933][SQL] SQLMetric harus melaporkan nilai mentah dalam peristiwa pembaruan akumulator
• [SPARK-48541] [SC-169066][CORE] Menambahkan kode keluar baru untuk pelaksana yang dimatikan oleh TaskReaper
• [SPARK-48774] [SC-170138][SQL] Menggunakan SparkSession di SQLImplicits
• [SPARK-49719] [SC-177139][SQL] Membuat UUID dan SHUFFLE menerima bilangan bulat seed
• [SPARK-49713] [SC-177135][PyTHON][SAMBUNGKAN] Membuat fungsi count_min_sketch menerima argumen angka
• [SPARK-47601] [SC-162499][GRAPHX] Graphx: Memigrasikan log dengan variabel ke kerangka kerja pengelogan terstruktur
• [SPARK-49738] [SC-177219][SQL] Akhiri perbaikan bug
• [SPARK-48623] [SC-170822][CORE] Migrasi pengelogan terstruktur [Bagian 3]
• [SPARK-49677] [SC-177148][SS] Pastikan bahwa file changelog ditulis pada commit dan forceSnapshot flag juga diatur ulang
• [SPARK-49684] [SC-177040][SAMBUNGKAN] Menghapus kunci global dari manajer sesi dan eksekusi
• [SPARK-48302] [SC-168814][PyTHON] Mempertahankan null dalam kolom peta dalam Tabel PyArrow
• [SPARK-48601] [SC-169025][SQL] Berikan pesan kesalahan yang lebih ramah pengguna saat mengatur nilai null untuk Opsi JDBC
• [SPARK-48635] [SC-169263][SQL] Menetapkan kelas untuk menggabungkan kesalahan jenis dan kesalahan saat bergabung
• [SPARK-49673] [SC-177032][SAMBUNGKAN] Tingkatkan CONNECT_GRPC_ARROW_MAX_BATCH_SIZE menjadi 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][PyTHON][SAMBUNGKAN] Menyempurnakan representasi string dari timedelta
• [SPARK-49687] [SC-176901][SQL] Penundaan pengurutan dalam validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][PS] Beralih Scatter plot ke data sampel
• [SPARK-48472] [SC-169044][SQL] Aktifkan ekspresi refleksi dengan string yang disusun
• [SPARK-48484] [SC-167484][SQL] Perbaikan: V2Write menggunakan TaskAttemptId yang sama untuk upaya tugas yang berbeda
• [SPARK-48341] [SC-166560][SAMBUNGKAN] Izinkan plugin untuk menggunakan QueryTest dalam pengujian mereka
• [SPARK-42252] [SC-168723][CORE] Menambahkan spark.shuffle.localDisk.file.output.buffer dan menghentikan spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][SS] Jangan menggandakan file cache untuk FileStreamSource menggunakan Trigger.AvailableNow
• [SPARK-49567] [SC-176241][PyTHON] Gunakan classic alih-alih vanilla dari basis kode PySpark
• [SPARK-48374] [SC-167596][PyTHON] Mendukung jenis kolom Tabel PyArrow tambahan
• [SPARK-48300] [SC-166481][SQL] Dukungan Codegen untuk from_xml
• [SPARK-49412] [SC-177059][PS] Menghitung semua metrik plot kotak dalam satu pekerjaan
• [SPARK-49692] [SC-177031][PyTHON][SAMBUNGKAN] Menyempurnakan representasi string dari tanggal harfiah dan tanggalwaktu
• [SPARK-49392] [ES-1130351][SC-176705][SQL] Menangkap kesalahan saat gagal menulis ke sumber data eksternal
• [SPARK-48306] [SC-166241][SQL] Meningkatkan UDT dalam pesan kesalahan
• [SPARK-44924] [SC-166379][SS] Menambahkan konfigurasi untuk file cache FileStreamSource
• [SPARK-48176] [SC-165644][SQL] Menyesuaikan nama kondisi kesalahan FIELD_ALREADY_EXISTS
• [SPARK-49691] [SC-176988][PyTHON][SAMBUNGKAN] Fungsi substring harus menerima nama kolom
• [SPARK-49502] [SC-176077][CORE] Hindari NPE di SparkEnv.get.shuffleManager.unregisterShuffle
• [SPARK-49244] [SC-176703][SQL] Peningkatan pengecualian lebih lanjut untuk pengurai/penerjemah
• [SPARK-48355] [SC-176684][SQL] Dukungan untuk pernyataan CASE
• [SPARK-49355] [SC-175121][SQL] levenshtein harus memeriksa apakah collation nilai semua jenis parameter sama
• [SPARK-49640] [SC-176953][PS] Menerapkan pengambilan sampel reservoir di SampledPlotBase
• [SPARK-49678] [SC-176857][CORE] Dukungan spark.test.master di SparkSubmitArguments
• [SPARK-49680] [SC-176856][PyTHON] Membatasi Sphinx paralelisme build ke 4 secara default
• [SPARK-49396] Kembalikan "[SC-176030][SQL] Ubah pemeriksaan nullability untuk ekspresi CaseWhen"
• [SPARK-48419] [SC-167443][SQL] Penyebaran yang dapat dilipat menggantikan shoul kolom yang dapat dilipat...
• [SPARK-49556] [SC-176757][SQL] Tambahkan sintaks pipa SQL untuk operator SELECT
• [SPARK-49438] [SC-175237][SQL] Perbaiki nama cantik ekspresi FromAvro & ToAvro
• [SPARK-49659] [SC-1229924][SQL] Tambahkan pesan kesalahan yang ramah pengguna untuk subkueri skalar di dalam klausa VALUES
• [SPARK-49646] [SC-176778][SQL] perbaiki dekorelasi subkueri untuk operasi union/set ketika parentOuterReferences memiliki referensi yang tidak tercakup dalam collectedChildOuterReferences
• [SPARK-49354] [SC-175034][SQL] split_part harus memeriksa apakah collation nilai semua jenis parameter sama
• [SPARK-49478] [SC-175914][SAMBUNGKAN] Menangani metrik null di ConnectProgressExecutionListener
• [SPARK-48358] [SC-176374][SQL] Dukungan untuk pernyataan REPEAT
• [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable harus menghormati PROP_IS_MANAGED_LOCATION
• [SPARK-49611] [SC-176791][SQL] Memperkenalkan TVF collations() & menghapus SHOW COLLATIONS perintah
• [SPARK-49261] [SC-176589][SQL] Jangan ganti literal dalam ekspresi agregat dengan ekspresi kelompok menurut
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace harus menghormati katalog sesi kustom
• [SPARK-49594] [SC-176569][SS] Menambahkan pemeriksaan apakah columnFamilies ditambahkan atau dihapus untuk menulis file StateSchemaV3
• [SPARK-49578] [SC-176385][SQL] Menghapus saran konfigurasi ANSI di CAST_INVALID_INPUT dan CAST_OVERFLOW
• [SPARK-48882] [SC-174256][SS] Menetapkan nama ke kelas kesalahan terkait mode output streaming
• [SPARK-49155] [SC-176506][SQL][SS] Gunakan jenis parameter yang lebih sesuai untuk membangun GenericArrayData
• [SPARK-49519] [SC-176388][SQL] Menggabungkan opsi tabel dan relasi saat membuat FileScanBuilder
• [SPARK-49591] [SC-176587][SQL] Menambahkan kolom Tipe Logis ke readme varian
• [SPARK-49596] [SC-176423][SQL] Meningkatkan performa FormatString
• [SPARK-49525] [SC-176044][SS][SAMBUNGKAN] Peningkatan log minor pada Pendengar Kueri Streaming Sisi Server ListenerBus
• [SPARK-49583] [SC-176272][SQL] Tentukan sub-kondisi SECONDS_FRACTION kesalahan untuk pola pecahan detik yang tidak valid
• [SPARK-49536] [SC-176242] Menangani kesalahan dalam prefetching rekaman sumber data streaming python
• [SPARK-49443] [SC-176273][SQL][PyTHON] Menerapkan ekspresi to_variant_object dan membuat ekspresi schema_of_variant mencetak OBJECT untuk Objek Varian
• [SPARK-49544] [SASP-3990][SC-176557][SAMBUNGKAN] Ganti penguncian kasar di SparkConnectExecutionManager dengan ConcurrentMap
• [SPARK-49548] [SASP-3990][SC-176556][SAMBUNGKAN] Ganti penguncian kasar di SparkConnectSessionManager dengan ConcurrentMap
• [SPARK-49551] [SC-176218][SS] Meningkatkan log RocksDB untuk replayChangelog
• [SPARK-49595] [SC-176396][SAMBUNGKAN][SQL] Perbaikan DataFrame.unpivot/melt di Klien Spark Connect Scala
• [SPARK-49006] [SC-176162] Menerapkan pembersihan untuk file OperatorStateMetadataV2 dan StateSchemaV3
• [SPARK-49600] [SC-176426][PyTHON] Hapus Python 3.6 and olderlogika terkait dari try_simplify_traceback
• [SPARK-49303] [SC-176013][SS] Menerapkan TTL untuk ValueState dalam transformWithStateInPandas API
• [SPARK-49191] [SC-176243][SS] Menambahkan dukungan untuk membaca variabel status peta transformWithState dengan pembaca sumber data status
• [SPARK-49593] [SC-176371][SS] Lempar pengecualian RocksDB ke pemanggil pada DB tutup jika kesalahan terlihat
• [SPARK-49334] [SC-174803][SQL] str_to_map harus memeriksa apakah collation nilai semua jenis parameter sama
• [SPARK-42204] [SC-176126][CORE] Tambahkan opsi untuk menonaktifkan pengelogan redundan dari akumulator internal TaskMetrics dalam log peristiwa
• [SPARK-49575] [SC-176256][SS] Menambahkan pengelogan untuk pelepas kunci hanya jika acquiredThreadInfo tidak null
• [SPARK-49539] [SC-176250][SS] Memperbarui pengidentifikasi awal keluarga kol internal ke yang berbeda
• [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning harus mewarisi HashPartitioningLike
• [SPARK-49396] [SC-176030][SQL] Ubah pemeriksaan nullability untuk ekspresi CaseWhen
• [SPARK-49476] [SC-175700][SQL] Memperbaiki nullability fungsi base64
• [SPARK-47262] [SC-174829][SQL] Menetapkan nama ke kondisi kesalahan untuk konversi parquet
• [SPARK-47247] [SC-158349][SQL] Gunakan ukuran target yang lebih kecil saat menyatukan partisi dengan gabungan yang meledak
• [SPARK-49501] [SC-176166][SQL] Memperbaiki pelepasan ganda lokasi tabel
• [SPARK-49083] [SC-173214][SAMBUNGKAN] Izinkan from_xml dan from_json bekerja secara asli dengan skema json
• [SPARK-49043] [SC-174673][SQL] Memperbaiki grup codepath yang ditafsirkan berdasarkan pada peta yang berisi string yang disusun
• [SPARK-48986] [SC-172265][SAMBUNGKAN][SQL] Menambahkan Representasi Perantara ColumnNode
• [SPARK-49326] [SC-176016][SS] Kelas Klasifikasi kesalahan untuk kesalahan fungsi pengguna sink Foreach
• [SPARK-48348] [SC-175950][SPARK-48376][SQL] Pengenalan LEAVE dan ITERATE pernyataan
• [SPARK-49523] [SC-175949][SAMBUNGKAN] Meningkatkan waktu tunggu maksimum agar server koneksi muncul untuk pengujian
• [SPARK-49000] [BEHAVE-105][ES-1194747][SQL] Perbaiki "select count(distinct 1) from t" di mana t adalah tabel kosong dengan memperluas RewriteDistinctAggregates - DBR versi 16.x
• [SPARK-49311] [SC-175038][SQL] Memungkinkan nilai 'interval detik' besar dilemparkan ke desimal
• [SPARK-49200] [SC-173699][SQL] Memperbaiki pengecualian pengurutan non-codegen jenis null
• [SPARK-49467] [SC-176051][SS] Menambahkan dukungan untuk pembaca sumber data status dan status daftar
• [SPARK-47307] [SC-170891][SQL] Menambahkan konfigurasi untuk secara opsional memotong string base64
• [SPARK-49391] [SC-176032][PS] Plot kotak pilih outlier berdasarkan jarak dari pagar
• [SPARK-49445] [SC-175845][UI] Tipsalat peragaan dukungan di bilah kemajuan UI
• [SPARK-49451] [SC-175702] Izinkan kunci duplikat dalam parse_json.
• [SPARK-49275] [SC-175701][SQL] Memperbaiki tipe pengembalian nullness dari ekspresi xpath
• [SPARK-49021] [SC-175578][SS] Menambahkan dukungan untuk membaca variabel status nilai transformWithState dengan pembaca sumber data status
• [SPARK-49474] [BEHAVE-143][SC-169253][SC-175933][SS] Kelas Klasifikasi Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
• [SPARK-49408] [SC-175932][SQL] Menggunakan IndexedSeq di ProjectingInternalRow
• [SPARK-49509] [SC-175853][CORE] Gunakan Platform.allocateDirectBuffer alih-alih ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][PS] Buat plot kotak bingkai dengan benar merender flier/outlier
• [SPARK-49002] [SC-172846][SQL] Secara konsisten menangani lokasi yang tidak valid di WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49480] [SC-175699][CORE] Perbaiki NullPointerException dari SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][PyTHON] Meningkatkan pesan kesalahan jenis pengembalian pandas udf tidak valid
• [SPARK-48693] [SC-169492][SQL] Menyederhanakan dan menyatukan toString invoke dan StaticInvoke
• [SPARK-49441] [SC-175716][ML] StringIndexer mengurutkan array dalam pelaksana
• [SPARK-49347] [SC-175004][R] Menghentikan SparkR
• [SPARK-49357] [SC-175227][SAMBUNGKAN][PyTHON] Memotong pesan protobuf berlapis secara vertikal
• [SPARK-41982] [SC-120604][SQL] Partisi jenis string tidak boleh diperlakukan sebagai jenis numerik
• [SPARK-48776] [SC-170452][BEHAVE-72] Memperbaiki pemformatan tanda waktu untuk json, xml, dan csv
• [SPARK-49223] [SC-174800][ML] Sederhanakan StringIndexer.countByValue dengan fungsi bawaan
• [SPARK-49016] Kembalikan "[SC-174663][SQL] Pulihkan perilaku yang meminta dari file CSV mentah tidak diizinkan ketika hanya menyertakan kolom rekaman yang rusak dan tetapkan nama ke _LEGACY_ERROR_TEMP_1285"
• [SPARK-49041] [SC-172392][PyTHON][SAMBUNGKAN] Memunculkan kesalahan yang tepat ketika dropDuplicates salah subset diberikan
• [SPARK-49050] [SC-175235] Mengaktifkan operator deleteIfExists di TWS dengan Keluarga Kolom Virtual
• [SPARK-49216] [SC-173919][CORE]Perbaiki untuk tidak mencatat konteks pesan dengan LogEntry yang dibangun secara eksplisit saat conf Pengelogan Terstruktur nonaktif
• [SPARK-49252] [SC-175596][CORE] MembuatTaskSetExcludeList dan HeathTracker independen
• [SPARK-49352] [SC-174971][SQL] Hindari transformasi array berlebihan untuk ekspresi yang identik
• [SPARK-42307] [SC-173863][SQL] Tetapkan nama untuk _LEGACY_ERROR_TEMP_2232 kesalahan
• [SPARK-49197] [SC-173732][CORE] Output redaksi Spark Command dalam launcher modul
• [SPARK-48913] [SC-173934][SQL] Menerapkan IndentingXMLStreamWriter
• [SPARK-49306] [SC-175363][PyTHON][SQL] Membuat alias fungsi SQL untuk 'zeroifnull' dan 'nullifzero'
• [SPARK-48344] [SQL] Eksekusi Skrip SQL (termasuk Spark Connect)
• [SPARK-49402] [SC-175122][PyTHON] Memperbaiki integrasi Binder dalam dokumentasi PySpark
• [SPARK-49017] [SC-174664][SQL] Pernyataan sisipkan gagal ketika beberapa parameter sedang digunakan
• [SPARK-49318] [SC-174733][SQL] Preempt kesalahan prioritas rendah pada LCA hingga akhir analisis pemeriksaan untuk meningkatkan pengalaman kesalahan
• [SPARK-49016] [SC-174663][SQL] Memulihkan perilaku yang mengkueri dari file CSV mentah tidak diizinkan ketika hanya menyertakan kolom rekaman yang rusak dan menetapkan nama ke _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][PyTHON] Perbaiki petunjuk jenis untuk accuracy dalam percentile_approx dan approx_percentile
• [SPARK-49131] [SC-174666][SS] TransformWithState harus mengatur kunci pengelompokan implisit dengan benar bahkan dengan iterator malas
• [SPARK-49301] [SC-174795][SS] Data panah potongan diteruskan ke pekerja Python
• [SPARK-49039] [SC-174651][UI] Kotak centang Reset saat metrik pelaksana dimuat di tab Tahapan
• [SPARK-48428] [SC-169806][SQL]: Perbaiki IllegalStateException di NestedColumnAliasing
• [SPARK-49353] [SC-174830][SQL] Memperbarui dokumen yang terkait dengan UTF-32 pengodean/decoding
• [SPARK-48613] [SC-170966][SQL] SPJ: Mendukung pengacakan otomatis satu sisi + lebih sedikit kunci gabungan daripada kunci partisi
• [SPARK-47473] [SC-160450][BEHAVE-127][SQL] Memperbaiki masalah kebenaran konversi tanda waktu INFINITY postgres
• [SPARK-49142] [SC-173658][SAMBUNGKAN][PyTHON] Menindaklanjuti untuk mengembalikan proto ke biaya performa string
• [SPARK-49300] [SC-175008][CORE] Perbaiki kebocoran token delegasi Hadoop ketika tokenRenewalInterval tidak diatur.
• [SPARK-49367] [SC-175012][PS] Paralelkan komputasi KDE untuk beberapa kolom (backend plotly)
• [SPARK-49365] [SC-175011][PS] Menyederhanakan agregasi wadah dalam plot hist
• [SPARK-49372] [SC-175003][SS] Pastikan bahwa latestSnapshot diatur ke tidak ada di dekatnya untuk menghindari penggunaan berikutnya
• [SPARK-49341] [SC-174785] Hapus connector/docker demi kepentingan Apache Spark Operator
• [SPARK-49344] [SC-174894][PS] Dukungan json_normalize untuk Pandas API di Spark
• [SPARK-49306] [SC-174794][SQL] Buat fungsi SQL baru 'zeroifnull' dan 'nullifzero'
• [SPARK-48796] [SC-174668][SS] Muat Id Keluarga Kolom dari RocksDBCheckpointMetadata untuk VCF saat menghidupkan ulang
• [SPARK-49342] [SC-174899][SQL] Buat TO_AVRO fungsi SQL 'jsonFormatSchema' argumen opsional
• [SPARK-48628] [SC-174695][CORE] Menambahkan metrik memori tumpukan on/off puncak tugas
• [SPARK-47407] [SC-159379][BEHAVE-126][SQL] Mendukung peta java.sql.Type.NULL ke NullType
• [SPARK-48628] [SC-173407][CORE] Menambahkan metrik memori tumpukan on/off puncak tugas
• [SPARK-49166] [SC-173987][SQL] Mendukung OFFSET dalam subkueri berkorelasi
• [SPARK-49269] [SC-174676][SQL] Dengan bersemangat mengevaluasi daftar VALUES() di AstBuilder
• [SPARK-49281] [SC-174782][SQL] Mengoptimalkan getBytes biner parquet dengan getBytesUnsafe untuk menghindari biaya penyalinan
• [SPARK-49113] [SC-174734] Jangan menegaskan pada bug terjemahan - menelan pengecualian secara diam-diam
• [SPARK-49098] [SC-173253][SQL] Tambahkan opsi tulis untuk INSERT
• [SPARK-48638] [SC-174694][IKUTI][SAMBUNGKAN] Memperbaiki dokumentasi untuk ExecutionInfo
• [SPARK-49250] [ES-1222826][SQL] Meningkatkan pesan kesalahan untuk UnresolvedWindowExpression berlapis di CheckAnalysis
• [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState implementasi dasar pyspark dan dukungan ValueState
• [SPARK-48966] [SC-174329][SQL] Meningkatkan pesan kesalahan dengan referensi kolom tidak terselesaikan yang tidak valid dalam panggilan UDTF
• [SPARK-46590] [SC-154115][SQL] Perbaikan coalesce gagal dengan indeces partisi yang tidak terduga
• [SPARK-49235] [SC-174159][SQL] Refaktor aturan ResolveInlineTables sehingga tidak melintasi seluruh pohon
• [SPARK-49060] [SC-173107][SAMBUNGKAN] Membersihkan aturan Mima untuk pemeriksaan kompatibilitas biner SQL-Connect
• [SPARK-48762] [SC-172525][SQL] Memperkenalkan CLUSTERBy DataFrameWriter API untuk Python
• [SPARK-49207] [SC-173852][SQL] Memperbaiki pemetaan kasus satu ke banyak di SplitPart dan StringSplitSQL
• [SPARK-49204] [SC-173850][SQL] Memperbaiki penanganan pasangan pengganti di StringInstr dan StringLocate
• [SPARK-36680] [SC-170640][SQL] Mendukung Opsi Tabel Dinamis untuk Spark SQL
• [SPARK-49204] [SC-173849][SQL] Memperbaiki penanganan pasangan pengganti di SubstringIndex
• [SPARK-49204] [SC-173848][SQL] Memperbaiki penanganan pasangan pengganti di StringTrim
• [SPARK-48967] [SC-173993]Perbaiki penerusan pengujian SparkConfigOwnershipSuite untuk OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][SQL] Memperbaiki penanganan pasangan pengganti di StringReplace
• [SPARK-48967] [SC-173993][SQL][16.x] Meningkatkan performa dan jejak memori dari “INSERT INTO … Pernyataan VALUES
• [SPARK-49099] Kembalikan "[SC-173229][SQL] CatalogManager.setCurrent...
• [SPARK-48347] [SC-173812][SQL] Dukungan untuk pernyataan WHILE
• [SPARK-49128] [SC-173344][CORE] Mendukung judul antarmuka pengguna Server Riwayat kustom
• [SPARK-49146] [SC-173825][SS] Memindahkan kesalahan pernyataan yang terkait dengan marka air yang hilang dalam kueri streaming mode penambahan ke kerangka kerja kesalahan
• [SPARK-45787] [SC-172197][SQL] Dukungan Catalog.listColumns untuk kolom pengklusteran
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace harus menghormati katalog sesi kustom
• [SPARK-49138] [SC-173483][SQL] Memperbaiki CollationTypeCasts dari beberapa ekspresi
• [SPARK-49163] [SC-173666][SQL] Upaya untuk membuat tabel berdasarkan hasil data partisi parquet yang rusak harus mengembalikan kesalahan yang dihadapi pengguna
• [SPARK-49201] [SC-173793][PS][PyTHON][SAMBUNGKAN] Plot pelengkap hist dengan Spark SQL
• [SPARK-49188] [SC-173682][SQL] Kesalahan internal pada concat_ws dipanggil pada array string
• [SPARK-49137] [SC-173677][SQL] Ketika kondisi Boolean dalam if statement tidak valid, pengecualian harus dilemparkan
• [SPARK-49193] [SC-173672][SQL] Meningkatkan performa RowSetUtils.toColumnBasedSet
• [SPARK-49078] [SC-173078][SQL] Dukungan memperlihatkan sintaks kolom dalam tabel v2
• [SPARK-49141] [SC-173388][SQL] Menandai varian sebagai tipe data apache hive yang tidak kompatibel
• [SPARK-49059] [Cherry-Pick][15.x][SC-172528][SAMBUNGKAN] Pindah SessionHolder.forTesting(...) ke paket pengujian
• [SPARK-49111] [SC-173661][SQL] Pindahkan denganProjectAndFilter ke objek pendamping DataSourceV2Strategy
• [SPARK-49185] [SC-173688][PS][PyTHON][SAMBUNGKAN] Plot pelengkap kde dengan Spark SQL
• [SPARK-49178] [SC-173673][SQL] Optimalkan performa Row#getSeq agar sesuai dengan performa saat menggunakan Spark 3.5 dengan Scala 2.12
• [SPARK-49093] [SC-172958][SQL] GROUP BY dengan MapType yang bersarang di dalam tipe kompleks
• [SPARK-49142] [SC-173469][SAMBUNGKAN][PyTHON] Tingkat log klien Spark Connect yang lebih rendah ke debug
• [SPARK-48761] [SC-172048][SQL] Memperkenalkan CLUSTERBy DataFrameWriter API untuk Scala
• [SPARK-48346] [SC-173083][SQL] Dukungan untuk pernyataan IF ELSE dalam skrip SQL
• [SPARK-48338] [SC-173112][SQL] Meningkatkan pengecualian yang dilemparkan dari parser/interpreter
• [SPARK-48658] [SC-169474][SQL] Fungsi enkode/Dekode melaporkan kesalahan pengodean alih-alih mojibake untuk karakter yang tidak dapat dipetakan
• [SPARK-49071] [SC-172954][SQL] Menghapus sifat ArraySortLike
• [SPARK-49107] Kembalikan "Kembalikan "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS mendukung RoutineType""
• [SPARK-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState salah ditulis ulang untuk menghasilkan rencana kueri yang tidak valid
• [SPARK-49114] [SC-173217] Subkategori tidak dapat memuat kesalahan penyimpanan status
• [SPARK-49107] Mengembalikan "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS mendukung RoutineType"
• [SPARK-49048] [SC-173223][SS] Menambahkan dukungan untuk membaca metadata operator yang relevan pada id batch yang diberikan
• [SPARK-49094] [SC-173049][SQL] Memperbaiki ignoreCorruptFiles yang tidak berfungsi untuk hive orc impl dengan mergeSchema off
• [SPARK-49108] [SC-173102][CONTOH] Menambahkan submit_pi.sh contoh REST API
• [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS mendukung RoutineType
• [SPARK-48997] [SC-172484][SS] Menerapkan pembongkaran individual untuk kegagalan utas kumpulan utas pemeliharaan
• [SPARK-49063] [SC-173094][SQL] Perbaiki Antara dengan ScalarSubqueries
• [SPARK-45891] [SC-172305][SQL][PyTHON][VARIAN] Menambahkan dukungan untuk jenis interval dalam Spesifikasi Varian
• [SPARK-49074] [BEHAVE-110][SC-172815][SQL] Perbaiki varian dengan df.cache()
• [SPARK-49003] [SC-172613][SQL] Memperbaiki hash jalur kode yang ditafsirkan agar sadar kolase
• [SPARK-48740] [SC-172430][SQL] Menangkap kesalahan spesifikasi jendela yang hilang lebih awal
• [SPARK-48999] [SC-172245][SS] Bagi PythonStreamingDataSourceSimpleSuite
• [SPARK-49031] [SC-172602] Menerapkan validasi untuk operator TransformWithStateExec menggunakan OperatorStateMetadataV2
• [SPARK-49053] [SC-172494][PyTHON][ML] Membuat fungsi pembantu penyimpanan/pemuatan model menerima sesi spark
• [SPARK-49032] [Backport][15.x][SS] Tambahkan jalur skema dalam entri tabel metadata, verifikasi versi yang diharapkan dan tambahkan pengujian terkait metadata operator untuk format metadata operator v2
• [SPARK-49034] [SC-172306][CORE] Mendukung penggantian sisi sparkProperties server di REST Submission API
• [SPARK-48931] [SC-171895][SS] Mengurangi biaya API Daftar Penyimpanan Cloud untuk tugas pemeliharaan penyimpanan status
• [SPARK-48849] [SC-172068][SS]Membuat OperatorStateMetadataV2 untuk operator TransformWithStateExec
• [SPARK-49013] [SC-172322] Ubah kunci dalam collationsMap untuk jenis Peta dan Array dalam scala
• [SPARK-48414] [SC-171884][PyTHON] Memperbaiki perubahan pemecahan dalam python fromJson
• [SPARK-48910] [SC-171001][SQL] Menggunakan HashSet/HashMap untuk menghindari pencarian linier di PreprocessTableCreation
• [SPARK-49007] [SC-172204][CORE] Tingkatkan MasterPage untuk mendukung judul kustom
• [SPARK-49009] [SC-172263][SQL][PyTHON] Membuat API kolom dan fungsi menerima Enum
• [SPARK-49033] [SC-172303][CORE] Mendukung penggantian sisi environmentVariables server di REST Submission API
• [SPARK-48363] [SC-166470][SQL] Membersihkan beberapa kode redundan di from_xml
• [SPARK-46743] [SC-170867][SQL][BEHAVE-84] Hitung bug setelah ScalarSubqery dilipat jika memiliki hubungan kosong
• [SPARK-49040] [SC-172351][SQL] Perbaiki dokumen sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ML] Algoritma meta menyimpan/memuat model dengan SparkSession
• [SPARK-48959] [SC-171708][SQL] Perluas NoSuchNamespaceExceptionNoSuchDatabaseException untuk memulihkan penanganan pengecualian
• [SPARK-48996] [SC-172130][SQL][PyTHON] Perbolehkan literal kosong untuk dan dan atau kolom
• [SPARK-48990] [SC-171936] Tindak lanjut untuk #101759 - perbaikan pengujian
• [SPARK-48338] [SC-171912][SQL] Periksa deklarasi variabel
• [SPARK-48990] [SC-171936][SQL] Kata kunci sintaks SQL terkait variabel terpadu
• [SPARK-48988] [SC-171915][ML] Buat DefaultParamsReader/Writer metadata handel dengan sesi spark
• [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Gunakan SparkSession.implicits alih-alih SQLContext.implicits
• [SPARK-48760] [SC-170870][SQL] Memperbaiki CatalogV2Util.applyClusterByChanges
• [SPARK-48928] [SC-171956] Peringatan Log untuk Memanggil .unpersist() pada RDD yang Dicentang Secara Lokal
• [SPARK-48760] [SC-170139][SQL] Memperkenalkan ALTER TABLE ... CLUSTER BY sintaks SQL untuk mengubah kolom pengklusteran
• [SPARK-48844] Kembalikan "[SC-170669][SQL] GUNAKAN INVALID_EMPTY_LOCATION alih-alih UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY saat jalur kosong"
• [SPARK-48833] [SC-171914][SQL][VARIAN] Varian dukungan dalam InMemoryTableScan
• [SPARK-48975] [SC-171894][PROTOBUF] Hapus definisi yang tidak perlu ScalaReflectionLock dari protobuf
• [SPARK-48970] [SC-171800][PyTHON][ML] Hindari menggunakan SparkSession.getActiveSession di pembaca/penulis Spark ML
• [SPARK-48844] [SC-170669][SQL] GUNAKAN INVALID_EMPTY_LOCATION alih-alih UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY ketika jalur kosong
• [SPARK-48714] [SC-170136] Memperbaiki pengujian df.mergeInto yang gagal di PySpark dan UC
• [SPARK-48957] [SC-171797][SS] Mengembalikan kelas kesalahan subklasifikasi pada beban penyimpanan status untuk hdfs dan penyedia rocksdb
• [SPARK-48891] [Backport][15x][SC-171677][SS] Refaktor StateSchemaCompatibilityChecker untuk menyatukan semua format skema status
• [SPARK-48972] [SC-171795][PyTHON] Menyatukan penanganan string harfiah dalam fungsi
• [SPARK-48388] [SC-171337][SQL] Memperbaiki perilaku pernyataan SET untuk Skrip SQL
• [SPARK-48743] [SC-170552][SQL][SS] MergingSessionIterator harus lebih baik menangani ketika getStruct mengembalikan null
• [SPARK-48623] [15.x][SC-171322][CORE] Memigrasikan log FileAppender ke pengelogan terstruktur
• [SPARK-36680] [DBRRM-1123] Kembalikan "[SC-170640][SQL] Mendukung Opsi Tabel Dinamis untuk Spark SQL"
• [SPARK-48841] [SC-170868][BEHAVE-83][SQL] Sertakan collationName ke sql() dari Collate
• [SPARK-48941] [SC-171703][PyTHON][ML] Ganti pemanggilan API baca/tulis RDD dengan API baca/tulis Dataframe
• [SPARK-48938] [SC-171577][PyTHON] Meningkatkan pesan kesalahan saat mendaftarkan UDTF Python
• [SPARK-48350] [SC-171040][SQL] Pengenalan Pengecualian Kustom untuk Pembuatan Skrip Sql
• [SPARK-48907] [SC-171158][SQL] Perbaiki nilai explicitTypes di COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [SC-171658][PyTHON] Menyederhanakan fungsi regex dengan lit
• [SPARK-48944] [SC-171576][SAMBUNGKAN] Menyatukan penanganan skema format JSON di Connect Server
• [SPARK-48836] [SC-171569] Mengintegrasikan skema SQL dengan skema/metadata status
• [SPARK-48946] [SC-171504][SQL] NPE dalam metode redaksi ketika sesi null
• [SPARK-48921] [SC-171412][SQL] Encoder ScalaUDF dalam subkueri harus diselesaikan untuk MergeInto
• [SPARK-45155] [SC-171048][SAMBUNGKAN] Menambahkan DOKUMEN API untuk Klien Spark Connect JVM/Scala
• [SPARK-48900] [SC-171319] Tambahkan reason bidang untuk cancelJobGroup dan cancelJobsWithTag
• [SPARK-48865] [SC-171154][SQL] Menambahkan fungsi try_url_decode
• [SPARK-48851] [SC-170767][SQL] Mengubah nilai dari SCHEMA_NOT_FOUND menjadi namespacecatalog.namespace
• [SPARK-48510] [SC-170893][2/2] Mendukung UDAF toColumn API di Spark Connect
• [SPARK-45190] [SC-171055][SPARK-48897][PyTHON][SAMBUNGKAN] Membuat from_xml skema StructType dukungan
• [SPARK-48930] [SC-171304][CORE] Redaksi awsAccessKeyId dengan menyertakan accesskey pola
• [SPARK-48909] [SC-171080][ML][MLLIB] Menggunakan SparkSession melalui SparkContext saat menulis metadata
• [SPARK-48883] [SC-171133][ML][R] Ganti pemanggilan API baca/tulis RDD dengan API baca/tulis Dataframe
• [SPARK-48924] [SC-171313][PS] Menambahkan fungsi pembantu seperti make_interval panda
• [SPARK-48884] [SC-171051][PyTHON] Menghapus fungsi pembantu yang tidak digunakan PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][SQL] Dengan bersemangat menjalankan perintah multi union bersama-sama
• [SPARK-48896] [SC-171079][ML][MLLIB] Hindari partisi ulang saat menulis metadata
• [SPARK-48892] [SC-171127][ML] Hindari param per baris yang dibaca di Tokenizer
• [SPARK-48927] [SC-171227][CORE] Perlihatkan jumlah RDD yang di-cache di StoragePage
• [SPARK-48886] [15.x][Backport][SC-171039][SS] Tambahkan info versi ke changelog v2 untuk memungkinkan evolusi yang lebih mudah
• [SPARK-48903] [SC-171136][SS] Atur versi rekam jepret terakhir RocksDB dengan benar pada beban jarak jauh
• [SPARK-48742] [SC-170538][SS] Keluarga Kolom Virtual untuk RocksDB
• [SPARK-48726] [15.x][SC-170753][SS] Buat format file StateSchemaV3, dan tulis ini untuk operator TransformWithStateExec
• [SPARK-48794] [SC-170882][SAMBUNGKAN][15.x] dukungan df.mergeInto untuk Spark Connect (Scala dan Python)
• [SPARK-48714] [SC-170136][PyTHON] Menerapkan DataFrame.mergeInto di PySpark
• [SPARK-48772] [SC-170642][SS][SQL] Mode Pembaca Umpan Perubahan Sumber Data Status
• [SPARK-48666] [SC-170887][SQL] Jangan dorong ke bawah filter jika berisi PythonUDFs
• [SPARK-48845] [SC-170889][SQL] GenericUDF menangkap pengecualian dari anak-anak
• [SPARK-48880] [SC-170974][CORE] Hindari melempar NullPointerException jika plugin driver gagal diinisialisasi
• [SPARK-48888] [Backport][15x][SC-170973][SS] Menghapus pembuatan rekam jepret berdasarkan ukuran operasi changelog
• [SPARK-48871] [SC-170876] Perbaiki validasi INVALID_NON_DETERMINISTIC_EXPRESSIONS di...
• [SPARK-48883] [SC-170894][ML][R] Ganti pemanggilan API baca/tulis RDD dengan API baca/tulis Dataframe
• [SPARK-36680] [SC-170640][SQL] Mendukung Opsi Tabel Dinamis untuk Spark SQL
• [SPARK-48804] [SC-170558][SQL] Menambahkan classIsLoadable & OutputCommitter.isAssignableFrom memeriksa konfigurasi kelas komitter output
• [SPARK-46738] [SC-170791][PyTHON] Mengaktifkan kembali sekelompok ajaran
• [SPARK-48858] [SC-170756][PyTHON] Menghapus panggilan setDaemon metode masuk yang tidak digunakan Thread lagilog_communication.py
• [SPARK-48639] [SC-169801][SAMBUNGKAN][PyTHON] Tambahkan Asal ke RelationCommon
• [SPARK-48863] [SC-170770][ES-1133940][SQL] Perbaiki ClassCastException saat mengurai JSON dengan "spark.sql.json.enablePartialResults" diaktifkan
• [SPARK-48343] [SC-170450][SQL] Pengenalan penerjemah Skrip SQL
• [SPARK-48529] [SC-170755][SQL] Pengenalan Label dalam Pembuatan Skrip SQL
• [SPARK-45292] Kembalikan "[SC-151609][SQL][HIVE] Hapus Jambu Biji dari kelas bersama dari IsolatedClientLoader"
• [SPARK-48037] [SC-165330][CORE][3.5] Perbaikan SortShuffleWriter tidak memiliki metrik terkait penulisan acak yang mengakibatkan data yang berpotensi tidak akurat
• [SPARK-48720] [SC-170551][SQL] Meratakan perintah ALTER TABLE ... UNSET TBLPROPERTIES ... di v1 dan v2
• [SPARK-48485] [SC-167825][SAMBUNGKAN][SS] Mendukung interruptTag dan interruptAll dalam kueri streaming
• [SPARK-45292] [SC-151609][SQL][HIVE] Menghapus Jambu biji dari kelas bersama dari IsolatedClientLoader
• [SPARK-48668] [SC-169815][SQL] Dukungan ALTER NAMESPACE ... UNSET PROPERTI di v2
• [SPARK-47914] [SC-165313][SQL] Jangan tampilkan parameter pemisahan dalam Rentang
• [SPARK-48807] [SC-170643][SQL] Dukungan Biner untuk sumber data CSV
• [SPARK-48220] [SC-167592][PyTHON][15.X] Izinkan melewati Tabel PyArrow untuk membuatDataFrame()
• [SPARK-48545] [SC-169543][SQL] Membuat fungsi SQL to_avro dan from_avro agar sesuai dengan setara DataFrame
• [SPARK-47577] [SC-168875][SPARK-47579] Penggunaan kunci log yang menyesatkan dengan benar TASK_ID

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Lingkungan sistem

• Sistem Operasi: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Danau Delta: 3.2.1

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret CRAN Manajer Paket Posit.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)