Databricks Runtime 14.2 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 14.2, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada November 2023.

Fitur dan peningkatan baru

• CACHE SELECT sekarang diabaikan
• Perilaku penembolokan yang ditingkatkan
• Memperbaiki penanganan file yang rusak dalam perintah DML
• Mendukung Schema Registry untuk fungsi terkait protobuf dan Avro dalam kluster bersama
• foreachBatch dan StreamingListener dukungan
• Konkurensi tingkat baris Umumnya Tersedia dan aktif secara default
• Berbagi Delta: Penerima dapat melakukan kueri batch, CDF, dan streaming pada tabel bersama dengan vektor penghapusan (Pratinjau Umum)
• Kloning dangkal untuk tabel eksternal Unity Catalog (Pratinjau Umum)
• Algoritma penetapan penembolokan disk baru
• from_avro dengan konektor registri skema menambahkan dukungan untuk evolusi skema
• Koleksi statistik multi-utas yang lebih cepat
• Filter pushdown di DeltaSource pada file Delta
• Dukungan untuk fungsi yang ditentukan pengguna skalar Scala pada kluster bersama (Pratinjau Umum)

CACHE SELECT sekarang diabaikan

Perintah CACHE SELECT SQL sekarang diabaikan demi algoritma penembolokan yang ditingkatkan. Harap lihat Optimalkan performa dengan penembolokan pada Azure Databricks.

Perilaku penembolokan yang ditingkatkan

Penempatan DiskCache oleh penjadwal Spark sekarang memiliki penetapan partisi yang lebih cepat, penyeimbangan yang lebih baik selama penskalaan otomatis kluster, dan eksekusi kueri yang lebih konsisten.

Memperbaiki penanganan file yang rusak dalam perintah DML

Perintah DELETEDML , UPDATE, dan MERGE INTO tidak lagi menghormati opsi ignoreCorruptFiles baca dan ignoreMissingFiles. Saat menemukan file yang tidak dapat dibaca dalam tabel, perintah ini sekarang gagal meskipun opsi ini ditentukan.

Mendukung Schema Registry untuk fungsi terkait protobuf dan Avro dalam kluster bersama

Anda sekarang dapat menggunakan from_avrofungsi , , to_avrofrom_protobuf, dan to_protobuf Python dengan Schema Registry di kluster bersama.

foreachBatch dan StreamingListener dukungan

Anda sekarang dapat menggunakan foreachBatch() API dan StreamingListener dengan Streaming Terstruktur di kluster bersama. Lihat Menggunakan foreachBatch untuk menulis ke sink data arbitrer dan Memantau kueri Streaming Terstruktur di Azure Databricks.

Konkurensi tingkat baris Umumnya Tersedia dan aktif secara default

Konkurensi tingkat baris mengurangi konflik antara operasi tulis bersamaan dengan mendeteksi perubahan di tingkat baris. Konkurensi tingkat baris hanya didukung pada tabel tanpa partisi, yang mencakup tabel dengan pengklusteran cair. Konkurensi tingkat baris diaktifkan secara default pada tabel Delta dengan vektor penghapusan diaktifkan. Lihat Menulis konflik dengan konkurensi tingkat baris.

Berbagi Delta: Penerima dapat melakukan kueri batch, CDF, dan streaming pada tabel bersama dengan vektor penghapusan (Pratinjau Umum)

Penerima Berbagi Delta sekarang dapat melakukan kueri batch, CDF, dan streaming pada tabel bersama yang menggunakan vektor penghapusan. Pada Databricks Runtime 14.1, mereka hanya dapat melakukan kueri batch. Lihat Menambahkan tabel dengan vektor penghapusan atau pemetaan kolom ke berbagi, Membaca tabel dengan vektor penghapusan atau pemetaan kolom diaktifkan, dan Membaca tabel dengan vektor penghapusan atau pemetaan kolom diaktifkan.

Kloning dangkal untuk tabel eksternal Unity Catalog (Pratinjau Umum)

Anda sekarang dapat menggunakan kloning dangkal dengan tabel eksternal Unity Catalog. Lihat Kloning dangkal untuk tabel Unity Catalog.

Algoritma penetapan penembolokan disk baru

Penjadwal Spark sekarang menggunakan algoritma penembolokan disk baru. Algoritma meningkatkan penggunaan disk dan penetapan partisi di seluruh simpul, dengan penugasan yang lebih cepat baik awal maupun setelah peristiwa penskalaan kluster. Penetapan cache stickier meningkatkan konsistensi di seluruh eksekusi dan mengurangi data yang dipindahkan selama operasi penyeimbangan ulang.

from_avro dengan konektor registri skema menambahkan dukungan untuk evolusi skema

Anda sekarang dapat mengaktifkan alur Anda untuk memulai ulang ketika rekaman yang berkembang terdeteksi. Sebelumnya, jika evolusi skema terjadi dengan from_avro konektor, kolom baru akan mengembalikan null. Lihat Membaca dan menulis data Avro streaming.

Koleksi statistik multi-utas yang lebih cepat

Pengumpulan statistik hingga 10 kali lebih cepat pada kluster kecil saat menjalankan CONVERT TO DELTA atau kloning dari tabel Iceberg dan Parquet. Lihat Mengonversi ke Tabel Delta Lake dan Clone Parquet dan Iceberg.

Filter pushdown di DeltaSource pada file Delta

Untuk pemanfaatan yang lebih baik, filter partisi pada kueri streaming tabel Delta sekarang didorong ke Delta sebelum pembatasan laju.

Dukungan untuk fungsi yang ditentukan pengguna skalar Scala pada kluster bersama (Pratinjau Umum)

Anda sekarang dapat menggunakan fungsi yang ditentukan pengguna skalar Scala pada kluster yang mendukung Katalog Unity yang dikonfigurasi dengan mode akses bersama. Lihat Fungsi skalar yang ditentukan pengguna - Scala.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • fastjsonschema dari 2.18.0 hingga 2.19.0
  • filelock dari 3.12.3 ke 3.12.4
  • googleapis-common-protos dari 1.60.0 hingga 1.61.0
• Pustaka R yang ditingkatkan:
• Pustaka Java yang ditingkatkan:

Apache Spark

Databricks Runtime 14.2 menyertakan Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 14.1, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-45592] [DBRRM-624] Kembalikan "[SC-146977][SQL] Masalah kebenaran di AQE dengan InMemoryTableScanExec"
• [SPARK-45524] [DBRRM-625] Kembalikan "[SC-146319][PYTHON][SQL] Dukungan awal f...
• [SPARK-45433] [DBRRM-621] Kembalikan "[SC-145163][SQL] Perbaiki infer skema CSV/JSON...
• [SPARK-45592] [SC-146977][SQL] Masalah kebenaran di AQE dengan InMemoryTableScanExec
• [SPARK-45354] Kembalikan "[SC-143991][SQL] Atasi fungsi bottom-up"
• [SPARK-45680] [TEST-ONLY][SASP-2347][SAMBUNGKAN] Memperbaiki pengujian
• [SPARK-45680] [SAMBUNGKAN] Sesi rilis
• [SPARK-43380] [SC-146726][ES-897115][SQL] Perbaiki perlambatan dalam bacaan Avro
• [SPARK-45649] [SC-146742][SQL] Menyatukan kerangka kerja persiapan untuk OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][PyTHON][SQL] Membuat StructType dari Json
• [SPARK-45620] [SC-146225][PyTHON] Memperbaiki API yang menghadap pengguna yang terkait dengan UDTF Python untuk menggunakan camelCase
• [SPARK-45727] [SC-146978][SS] Menghapus peta yang tidak digunakan dalam simulasi penyebaran marka air
• [SPARK-45723] [SC-146890][PyTHON][SAMBUNGKAN] Metode katalog menghindari konversi panda
• [SPARK-45574] [SC-146106][SQL] Tambahkan :: sintaks sebagai singkatan untuk transmisi
• [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit tidak mendukung --total-executor-cores saat menyebarkan di K8s
• [SPARK-45661] [SC-146594][SQL][PyTHON] Menambahkan toNullable di StructType, MapType dan ArrayType
• [SPARK-45524] [SC-146319][PyTHON][SQL] Dukungan awal untuk API baca sumber data Python
• [SPARK-45542] [SC-145892][CORE] Ganti setSafeMode(HdfsConstants.SafeModeAction, boolean) dengan setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][SQL] SPJ: Menangani partisi input kosong setelah pemfilteran dinamis
• [SPARK-45454] [SC-144846][SQL] Atur pemilik default tabel ke current_user
• [SPARK-45554] [SC-146875][PyTHON] Memperkenalkan parameter fleksibel ke assertSchemaEqual
• [SPARK-45242] [SC-143410][SQL] Gunakan ID DataFrame untuk memvalidasi CollectMetrics secara semantik
• [SPARK-45674] [SC-146862][SAMBUNGKAN][PyTHON] Meningkatkan pesan kesalahan untuk atribut dependen JVM di Spark Connect.
• [SPARK-45646] [SC-146276][SQL] Menghapus variabel waktu hardcoding sebelum Apache Hive 2.0
• [SPARK-43380] [SC-146726][ES-897115][SQL] Perbaiki perlambatan dalam bacaan Avro
• [SPARK-45545] [SC-146484][CORE] Teruskan SSLOptions di mana pun kami membuat SparkTransportConf
• [SPARK-45641] [SC-146260][UI] Menampilkan waktu mulai aplikasi di AllJobsPage
• [SPARK-40154] [SC-146491][Python][Docs] Memperbaiki tingkat penyimpanan di Dataframe.cache docstring
• [SPARK-45626] [SC-146259][SQL] Mengonversi _LEGACY_ERROR_TEMP_1055 ke REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][SQL] Perbaikan kebenaran untuk subkueri skalar berkorelasi berlapis dengan agregat COUNT
• [SPARK-45619] [SC-146226][SAMBUNGKAN][PyTHON] Menerapkan metrik yang diamati ke objek Observasi
• [SPARK-45588] [SC-145909][PROTOBUF][SAMBUNGKAN][MINOR] Peningkatan Scaladoc untuk StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][CORE] Hindari ParVector, yang tidak menyebarluaskan ThreadLocals atau SparkSession
• [SPARK-45604] [SC-146105][SQL] Menambahkan pemeriksaan LogicalType pada KONVERSI INT64 -> DateTime pada Parquet Vectorized Reader
• [SPARK-44649] [SC-145891][SQL] Filter Runtime mendukung melewati ekspresi sisi pembuatan yang setara
• [SPARK-41674] [SC-128408][SQL] Filter runtime harus mendukung sisi gabungan acak multi-tingkat sebagai sisi pembuatan filter
• [SPARK-45547] [SC-146228][ML] Validasi Vektor dengan fungsi bawaan
• [SPARK-45558] [SC-145890][SS] Memperkenalkan file metadata untuk operator stateful streaming
• [SPARK-45618] [SC-146252][CORE] Menghapus BaseErrorHandler
• [SPARK-45638] [SC-146251][SQL][Avro] Meningkatkan cakupan pengujian konversi desimal
• [SPARK-44837] [SC-146020][SQL] Ubah pesan kesalahan kolom ALTER TABLE ALTER PARTITION
• [SPARK-45561] [SC-146264][SQL] Menambahkan konversi yang tepat untuk TINYINT di MySQLDialect
• [SPARK-45632] [SC-146255][SQL] Cache tabel harus menghindari ColumnarToRow yang tidak perlu saat mengaktifkan AQE
• [SPARK-45569] [SC-145932][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2152 kesalahan
• [SPARK-44784] [SC-141015][SAMBUNGKAN] Buat pengujian SBT hermetic.
• [SPARK-45452] [SC-144836][SQL] Tingkatkan InMemoryFileIndex untuk menggunakan FileSystem.listFiles API
• [SPARK-44735] [SC-146186][SQL] Menambahkan msg peringatan saat menyisipkan kolom dengan nama yang sama menurut baris yang tidak cocok
• [SPARK-45351] [SC-144791][CORE] Mengubah spark.shuffle.service.db.backend nilai default menjadi ROCKSDB
• [SPARK-45553] [SC-145906][PS] Tidak digunakan lagi assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][CORE] Mengekspos DeterministicLevel sebagai DeveloperApi
• [SPARK-45549] [SC-145895][CORE] Hapus yang tidak digunakan numExistingExecutors di CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][SAMBUNGKAN] Sertakan SqlState dalam pesan proto SparkThrowable
• [SPARK-45595] [SC-146037] mengekspos sqlstate dalam pesan kesalahan
• [SPARK-45628] [SC-146123][ML] Tingkatkan vector_to_array untuk .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][SQL][TINDAK LANJUT] Menonaktifkan dekorlasi dalam kondisi gabungan untuk pengujian AQE InSubquery
• [SPARK-45576] [SC-145883][CORE] Menghapus log debug yang tidak perlu di ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719][SAMBUNGKAN] Peningkatan agen pengguna: Gunakan variabel env SPARK_CONNECT_USER_AGENT dan sertakan atribut khusus lingkungan
• [SPARK-45508] [SC-145513][CORE] Tambahkan "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" sehingga Platform dapat mengakses Cleaner di Java 9+
• [SPARK-45595] Kembalikan "[SC-146037] Mengekspos SQLSTATE dalam pesan kesalahan"
• [SPARK-45595] [SC-146037] Mengekspos SQLSTATE dalam pesan kesalahan
• [SPARK-45112] Kembalikan "[SC-143259][SQL] Gunakan UnresolvedFunction ba...
• [SPARK-45257] [SC-143411][CORE] Aktifkan spark.eventLog.compress secara default
• [SPARK-45586] [SC-145899][SQL] Mengurangi latensi kompilator untuk paket dengan pohon ekspresi besar
• [SPARK-45517] [SC-145691][SAMBUNGKAN][14.x] Perluas lebih banyak konstruktor pengecualian untuk mendukung parameter kerangka kerja kesalahan
• [SPARK-45581] [SC-145896] Jadikan SQLSTATE wajib.
• [SPARK-45427] [SC-145590][CORE] Menambahkan pengaturan RPC SSL ke SSLOptions dan SparkTransportConf
• [SPARK-45261] [SC-143357][CORE] Memperbaiki EventLogFileWriters untuk menangani none sebagai codec
• [SPARK-45582] [SC-145897][SS] Pastikan instans penyimpanan tidak digunakan setelah memanggil penerapan dalam agregasi streaming mode output
• [SPARK-45562] [SC-145720][SC-144650][SQL] XML: Jadikan 'rowTag' sebagai opsi yang diperlukan
• [SPARK-45392] [SC-144362][CORE][SQL][SS] Ganti Class.newInstance() dengan Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][SQL] Memperbaiki inferensi skema CSV/JSON saat tanda waktu tidak cocok dengan timestampFormat yang ditentukan
• [SPARK-45458] [SC-145011][SQL] Mengonversi IllegalArgumentException ke SparkIllegalArgumentException di bitwiseExpressions
• [SPARK-45564] [SC-145735][SQL] Menyederhanakan 'DataFrameStatFunctions.bloomFilter' dengan ekspresi 'BloomFilterAggregate'
• [SPARK-45566] [SC-145777][PS] Mendukung util pengujian seperti Panda untuk Pandas API di Spark
• [SPARK-45498] [SC-145509][CORE] Tindak lanjut: Abaikan penyelesaian tugas dari tahap lama a...
• [SPARK-45483] [SC-145152][SAMBUNGKAN] Mengoreksi grup fungsi di connect.functions
• [SPARK-45577] [SC-145781][PyTHON] Perbaiki UserDefinedPythonTableFunctionAnalyzeRunner untuk meneruskan nilai terlipat dari argumen bernama
• [SPARK-45009] [SC-138223][TINDAK LANJUT] Menonaktifkan dekorlasi dalam kondisi gabungan untuk AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Izinkan penonaktifan selektif "fallocate" di statestore RocksDB
• [SPARK-45500] [SC-145134][CORE][WEBUI] Menampilkan jumlah driver yang diselesaikan secara abnorrmal di MasterPage
• [SPARK-44120] [SC-144349][PyTHON] Mendukung Python 3.12
• [SPARK-45439] [SC-145589][SQL][UI] Mengurangi penggunaan memori LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][UI] Perulangan JSON.stringify dan JSON.parse yang tidak perlu untuk daftar tugas pada detail tahap
• [SPARK-45567] [SC-145718][SAMBUNGKAN] Hapus redundan jika dalam org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][SQL] Menggunakan resolusi berbasis UnresolvedFunction dalam fungsi Himpunan Data SQL
• [SPARK-45486] [SASP-2457][SC-145612][SAMBUNGKAN] Buat permintaan add_artifact idempotensi
• [SPARK-44913] [SC-144326][SQL] DS V2 mendukung push down V2 UDF yang memiliki metode ajaib
• [SPARK-45538] [SC-145635][PyTHON][CONNECT]pyspark connect overwrite_partitions bug
• [SPARK-45491] [SC-145622] Menambahkan SQLSTATES 2/2 yang hilang
• [SPARK-45009] [SC-145620][SC-138223][SQL] Mendekorasi subkueri predikat dalam kondisi gabungan
• [SPARK-45377] [SC-144377][CORE] Menangani InputStream di NettyLogger
• [SPARK-45248] [SC-143759][CORE]Mengatur batas waktu untuk server ui spark
• [SPARK-44594] [SC-145611][SS] Menghapus parameter metode redundan di konektor kafka
• [SPARK-45539] [SC-145621][SS] Menambahkan pernyataan dan log untuk menunjukkan definisi marka air diperlukan untuk kueri agregasi streaming dalam mode penambahan
• [SPARK-44262] [SC-145639][SQL] Tambahkan dropTable dan getInsertStatement ke JdbcDialect
• [SPARK-45516] [SC-145480][SAMBUNGKAN] Sertakan QueryContext dalam pesan proto SparkThrowable
• [SPARK-45310] [SC-145127][CORE] Melaporkan status blok acak harus menghormati layanan acak selama migrasi penonaktifan
• [SPARK-45521] [SC-145487][ML] Hindari komputasi ulang nnz in VectorAssembler
• [SPARK-45418] [SC-145485][SQL][PyTHON][SAMBUNGKAN] Mengubah alias kolom current_database() menjadi current_schema()
• [SPARK-45116] [SC-145142][SQL] Menambahkan beberapa komentar untuk param JdbcDialect createTable
• [SPARK-45495] [SC-145529][inti] Mendukung profil sumber daya tugas tingkat tahap untuk kluster k8s saat alokasi dinamis dinonaktifkan
• [SPARK-45487] [SC-145559] Memperbaiki SQLSTATEs dan kesalahan sementara
• [SPARK-45505] [SC-145550][PyTHON] Refaktor analyzeInPython untuk membuatnya dapat digunakan kembali
• [SPARK-45132] [SC-145425][SQL] Perbaikan IDENTIFIER untuk pemanggilan fungsi
• [SPARK-45213] [SC-145020][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2151 kesalahan
• [SPARK-45416] [SC-145126][SAMBUNGKAN] Konsistensi pemeriksaan kewarasan hasil Arrow
• [SPARK-45163] [SC-143386][SQL] Gabungkan UNSUPPORTED_VIEW_OPERATION &UNSUPPORTED_TABLE_OPERATION & perbaiki beberapa masalah
• [SPARK-45421] [SC-144814][SQL] Menangkap AnalysisException melalui InlineCTE
• [SPARK-43664] [SC-145404][SAMBUNGKAN][PS] Ajukan pengecualian untuk ps.sql dengan objek Pandas-on-Spark di Spark Connect.
• [SPARK-45402] [SC-145371][SQL][PyTHON] Tambahkan API UDTF untuk metode 'eval' dan 'hentikan' untuk menggunakan hasil 'analisis' sebelumnya
• [SPARK-36112] [SC-67885] [SQL] Mendukung subkueri EXISTS dan IN yang berkorelasi menggunakan kerangka kerja DecorrelateInnerQuery
• [SPARK-45383] [SC-144929][SQL] Memperbaiki pesan kesalahan untuk perjalanan waktu dengan tabel yang tidak ada
• [SPARK-43254] [SC-143318][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2018 kesalahan
• [SPARK-45204] [SC-145167][SAMBUNGKAN] Menambahkan ExecuteHolder opsional ke SparkConnectPlanner
• [SPARK-45451] [SC-145144][SQL] Membuat tingkat penyimpanan default cache himpunan data dapat dikonfigurasi
• [SPARK-45192] [SC-143194][UI] Memperbaiki parameter lineInterpolate yang terlambat untuk tepi graphviz
• [SPARK-45467] [SC-145146][CORE] Ganti Proxy.getProxyClass() dengan Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ML][SAMBUNGKAN] Menambahkan transformer fitur perakitan array
• [SPARK-44855] [SC-145226][SAMBUNGKAN] Tweak kecil untuk melampirkan ExecuteGrpcResponseSender ke ExecuteResponseObserver
• [SPARK-45398] [SC-144796][SQL] Tambahkan ESCAPE dalam sql()Like ekspresi
• [SPARK-45494] [SC-145129][CORE][PyTHON] Memperkenalkan fungsi util untuk membaca/menulis array byte untuk PythonWorkerUtils
• [SPARK-45464] [SC-145125][CORE] Memperbaiki build distribusi yarn jaringan
• [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Memperkenalkan pemeta untuk StorageLevel
• [SPARK-45450] [SC-145009][PyTHON] Perbaiki impor sesuai dengan PEP8: pyspark.pandas dan pyspark (inti)
• [SPARK-45475] [SC-145018][SQL] Menggunakan DataFrame.foreachPartition alih-alih RDD.foreachPartition di JdbcUtils
• [SPARK-45271] [SC-143778][SQL] Gabungkan _LEGACY_ERROR_TEMP_1113 ke TABLE_OPERATION & hapus beberapa metode yang tidak digunakan di QueryCompilationErrors
• [SPARK-45449] [SC-145013][SQL] Masalah Pembatalan Cache dengan Tabel JDBC
• [SPARK-45473] [SC-145017][SQL] Memperbaiki pesan kesalahan yang salah untuk RoundBase
• [SPARK-43299] [SC-145022][SS][SAMBUNGKAN] Mengonversi StreamingQueryException di Klien Scala
• [SPARK-45474] [SC-145014][CORE][WEBUI] Mendukung pemfilteran tingkat atas di MasterPage JSON API
• [SPARK-45205] [SC-145012][SQL] CommandResultExec untuk mengambil alih metode iterator untuk menghindari pemicu beberapa pekerjaan.
• [SPARK-45472] [SC-145004][SS] Penyimpanan Status RocksDB Tidak Perlu Memeriksa ulang keberadaan jalur titik pemeriksaan
• [SPARK-45470] [SC-145010][SQL] Hindari menempelkan nilai string jenis kompresi hive orc
• [SPARK-45448] [SC-144829][PyTHON] Memperbaiki impor sesuai dengan PEP8: pyspark.testing, pyspark.mllib, pyspark.resource dan pyspark.streaming
• [SPARK-45446] [SC-144828][PyTHON] Perbaiki impor sesuai dengan PEP8: pyspark.errors dan pyspark.ml
• [SPARK-45239] [SC-144832][SAMBUNGKAN] Mengurangi spark.connect.jvmStacktrace.maxSize default
• [SPARK-45436] [SC-144831][PyTHON][SAMBUNGKAN] Metode DataFrame memeriksa sesi yang sama
• [SPARK-45413] [SC-144847][CORE] Menambahkan peringatan untuk menyiapkan dukungan Drop LevelDB
• [SPARK-45462] [SC-144848][CORE][WEBUI] Perlihatkan Duration di ApplicationPage
• [SPARK-44527] [SC-144855][SQL] Ganti ScalarSubquery dengan null jika maxRows-nya adalah 0
• [SPARK-45401] [SC-144854][PyTHON] Menambahkan metode cleanup baru di antarmuka UDTF
• [SPARK-43704] [SC-144849][SAMBUNGKAN][PS] Dukungan MultiIndex untuk to_series()
• [SPARK-45424] [SC-144888][SQL] Perbaiki TimestampFormatter mengembalikan hasil penguraian opsional saat hanya kecocokan awalan
• [SPARK-45441] [SC-144833][PyTHON] Memperkenalkan lebih banyak fungsi util untuk PythonWorkerUtils
• [SPARK-45412] [SC-144803][PyTHON][SAMBUNGKAN] Memvalidasi paket dan sesi di DataFrame.__init__
• [SPARK-45408] [SC-144810][CORE] Menambahkan pengaturan SSL RPC ke TransportConf
• [SPARK-45432] [SC-144818][CORE] Menghapus konstruktor Hadoop-2 LocatedFileStatus yang tidak digunakan lagi
• [SPARK-45434] [SC-144819][ML][SAMBUNGKAN] LogisticRegression memeriksa label pelatihan
• [SPARK-45420] [SC-144808][SQL][PyTHON][SAMBUNGKAN] Menambahkan DataType.fromDDL ke PySpark
• [SPARK-45406] [SC-144793][PyTHON][SAMBUNGKAN] Menghapus schema dari konstruktor DataFrame
• [SPARK-45404] [SC-144799][CORE] Mendukung AWS_ENDPOINT_URL variabel env
• [SPARK-43620] [SC-144792][SAMBUNGKAN][PS] Memperbaiki API Pandas tergantung pada fitur yang tidak didukung
• [SPARK-45354] [SC-143991][SQL] Mengatasi fungsi di bawah ke atas
• [SPARK-45394] [SASP-1480][SC-144712][PyTHON][SAMBUNGKAN] Tambahkan percobaan ulang untuk API artefak. Meningkatkan penanganan kesalahan (tindak lanjut ke [SPARK-45093]).
• [SPARK-45120] [SC-142780][SPARK-45150][UI] Tingkatkan d3 dari v3 ke v7(v7.8.5) dan terapkan perubahan api di UI
• [SPARK-44838] [SC-143983][SQL] peningkatan raise_error
• [SPARK-45312] [SC-143754][SQL][UI] Dukungan beralih menampilkan/menyembunyikan rencana svg pada halaman eksekusi
• [SPARK-45378] [SC-144448][CORE] Menambahkan convertToNettyForSsl ke ManagedBuffer
• [SPARK-44762] [SC-144338][SAMBUNGKAN][CORE] Doc untuk SparkConnect.addJobTag dan Connect SparkSession.addTag
• [SPARK-45383] Menangani RelationTimeTravel yang tidak terselesaikan dengan anggun
• [SPARK-45347] [SC-144512][SQL][SAMBUNGKAN] Sertakan SparkThrowable di FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][SQL] CheckAnalysis harus melemparkan rencana inlined di AnalysisException
• [SPARK-45359] [SC-144336][PyTHON][SAMBUNGKAN] DataFrame.{columns, colRegex, explain} harus memunculkan pengecualian ketika rencana tidak valid
• [SPARK-45227] [SC-144233][CORE] Memperbaiki masalah keamanan utas yang halus dengan CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][PyTHON] Refaktor aturan penganalisis ResolveFunctions untuk menunda pembuatan gabungan lateral saat argumen tabel digunakan
• [SPARK-45266] Kembalikan "[SC-144171][PYTHON] Aturan penganalisis ResolveFunctions refaktor untuk menunda pembuatan gabungan lateral saat argumen tabel digunakan"
• [SPARK-45371] [SC-144389][SAMBUNGKAN] Memperbaiki masalah bayangan di Klien Spark Connect Scala
• [SPARK-45057] [SC-144214][CORE] Hindari memperoleh kunci baca saat keepReadLock salah
• [SPARK-45385] [SC-144357][SQL] Tidak digunakan lagi spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][SQL] Menghapus konfigurasi SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][PyTHON] Refaktor aturan penganalisis ResolveFunctions untuk menunda pembuatan gabungan lateral saat argumen tabel digunakan
• [SPARK-45362] [SC-144198][PYTHON] Proyek keluar PARTITION ekspresi BY sebelum metode 'eval' Python UDTF mengonsumsinya
• [SPARK-45346] [SC-143925][SQL] Inferensi skema parquet harus menghormati bendera sensitif huruf besar/kecil saat menggabungkan skema
• [SPARK-45341] [SC-143933][CORE] Koreksi tingkat judul di komentar KVStore.java agar sbt doc berhasil dijalankan dengan Java 17
• [SPARK-45334] [SC-143914][SQL] Menghapus komentar yang menyesatkan di parquetSchemaConverter
• [SPARK-45337] [SC-143932][CORE] Refaktor AbstractCommandBuilder#getScalaVersion untuk menghapus pemeriksaan Scala 2.12
• [SPARK-45329] [SC-143918][PyTHON][SAMBUNGKAN] Metode DataFrame melewati konversi panda
• [SPARK-43662] [SC-143923][PS][SAMBUNGKAN] Mendukung merge_asof di Spark Connect
• [SPARK-44126] [SC-143751][CORE] Jumlah kegagalan migrasi acak tidak boleh meningkat ketika pelaksana target dinonaktifkan
• [SPARK-44550] [SC-119768][SQL] Mengaktifkan perbaikan kebenaran untuk null IN (empty list) di bawah ANSI
• [SPARK-45316] [SC-143783][CORE][SQL] Tambahkan parameter ignoreCorruptFiles/ignoreMissingFiles baru ke dan HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][SAMBUNGKAN][PyTHON] Pelaporan kesalahan untuk kueri addArtifacts
• [SPARK-44756] [SC-143787][CORE] Eksekutor macet ketika RetryingBlockTransferor gagal memulai coba lagi
• [SPARK-45333] [SC-143768][CORE] Memperbaiki satu kesalahan unit yang terkait dengan spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][SQL][SAMBUNGKAN] Menangani nama file null dalam jejak tumpukan pengecualian
• [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId menambahkan info kolom
• [SPARK-45235] [SC-143314][SAMBUNGKAN][PyTHON] Mendukung parameter peta dan array menurut sql()
• [SPARK-45138] [SC-143309][SS] Tentukan kelas kesalahan baru dan terapkan saat status titik pemeriksaan ke DFS gagal
• [SPARK-45297] [SC-143644][SQL] Hapus solusi untuk dateformatter yang ditambahkan di SPARK-31827
• [SPARK-44345] [SC-143593][CORE] Tingkat log yang lebih rendah unknown shuffle map output ke WARN jika migrasi acak diaktifkan
• [SPARK-44463] [SC-143251][SS][SAMBUNGKAN] Meningkatkan penanganan kesalahan untuk Connect steaming Python worker
• [SPARK-45207] [SC-143603][SQL][SAMBUNGKAN] Menerapkan Pengayaan Kesalahan untuk Klien Scala
• [SPARK-45240] [SC-143602][SQL][SAMBUNGKAN] Menerapkan Pengayaan Kesalahan untuk Klien Python
• [SPARK-45216] [SC-143288][SQL] Memperbaiki API Himpunan Data benih non-deterministik
• [SPARK-45251] [SC-143419][SAMBUNGKAN] Menambahkan bidang client_type untuk FetchErrorDetails
• [SPARK-45137] [SC-143001][SAMBUNGKAN] Mendukung parameter peta/array dalam parameter sql()
• [SPARK-45224] [SC-143257][PyTHON] Menambahkan contoh dengan peta dan array sebagai parameter sql()
• [SPARK-44622] [SC-143205][SQL][SAMBUNGKAN] Menerapkan FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Fallback untuk menjalankan satu batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan pembungkus
• [SPARK-44823] [14.x][SC-142979][PyTHON] Perbarui hitam ke 23.9.1 dan pemeriksaan fixerroneous
• [SPARK-45078] [SC-142954][SQL] Memperbaiki array_insert ImplicitCastInputTypes tidak berfungsi
• [SPARK-44579] [SC-138428][SQL] Dukungan Interupsi Saat Batal di SQLExecution
• [SPARK-45252] [SC-143371][CORE] Lolos dari simbol yang lebih besar/kurang dari dalam komentar agar sbt doc berhasil dijalankan
• [SPARK-45189] [SC-142973][SQL] Membuat UnresolvedRelation dari TableIdentifier harus menyertakan bidang katalog
• [SPARK-45229] [SC-143254][CORE][UI] Perlihatkan jumlah driver yang menunggu dalam status SUBMITTED di MasterPage
• [SPARK-43453] Kembalikan "[SC-143135][PS] Abaikan names kapan MultiIndexaxis=1 untuk concat"

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Lihat Pembaruan pemeliharaan Databricks Runtime 14.2.

Lingkungan sistem

• Sistem Operasi: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Danau Delta: 3.0.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret CRAN Manajer Paket Posit pada 2023-02-10.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)