Databricks Runtime 13.1 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 13.1, didukung oleh Apache Spark 3.4.0.

Databricks merilis versi ini pada Bulan Mei 2023.

Fitur dan peningkatan baru

• Dukungan kluster untuk JDK 17 (Pratinjau Umum)
• Menambahkan, mengubah, atau menghapus data dalam tabel streaming
• Baca Kafka dengan SQL
• Fungsi bawaan SQL baru
• Dukungan Unity Catalog untuk pustaka Python dengan cakupan kluster
• Pengaktifan default yang diperluas untuk penulisan yang dioptimalkan di Katalog Unity
• Dukungan tingkat lanjut untuk operator stateful dalam beban kerja Streaming Terstruktur
• Klon delta untuk Katalog Unity ada di Pratinjau Umum
• Dukungan Pub/Sub untuk Streaming Terstruktur
• Menghilangkan duplikat dalam marka air di Streaming Terstruktur
• Dukungan yang diperluas untuk konversi Delta dari tabel Iceberg dengan kolom partisi terpotong
• Melakukan streaming perubahan skema dengan pemetaan kolom di Delta Lake
• Hapus VERSI MULAI
• Ekspresi H3 baru tersedia dengan Python

Dukungan kluster untuk JDK 17 (Pratinjau Umum)

Databricks sekarang menyediakan dukungan kluster untuk Java Development Kit (JDK) 17. Lihat Databricks SDK untuk Java.

Menambahkan, mengubah, atau menghapus data dalam tabel streaming

Anda sekarang dapat menggunakan pernyataan DML untuk memodifikasi tabel streaming yang diterbitkan ke Unity Catalog oleh alur Tabel Langsung Delta. Lihat Menambahkan, mengubah, atau menghapus data dalam tabel streaming dan Menambahkan, mengubah, atau menghapus data dalam tabel streaming target. Anda juga dapat menggunakan pernyataan DML untuk memodifikasi tabel streaming yang dibuat di Databricks SQL.

Baca Kafka dengan SQL

Anda sekarang dapat menggunakan read_kafka fungsi SQL untuk membaca data Kafka. Streaming dengan SQL hanya didukung di Tabel Langsung Delta atau dengan tabel streaming di Databricks SQL. Lihat read_kafka fungsi bernilai tabel.

Fungsi bawaan SQL baru

Fungsi berikut telah ditambahkan:

• array_prepend(array, elem) Menampilkan array yang telah ditambahkan sebelumnya oleh elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) Mendekripsi biner yang diproduksi menggunakan enkripsi AES, dan mengembalikan NULL jika ada kesalahan.
• sql_keywords() Mengembalikan tabel kata kunci Azure Databricks SQL.

Dukungan Unity Catalog untuk pustaka Python dengan cakupan kluster

Katalog Unity memiliki beberapa batasan pada penggunaan pustaka. Pada Databricks Runtime 13.1 ke atas, pustaka Python yang terlingkup kluster didukung, termasuk file roda Python yang diunggah sebagai file ruang kerja. Pustaka yang direferensikan menggunakan jalur file DBFS tidak didukung, baik di akar DBFS atau lokasi eksternal yang dipasang ke DBFS. Pustaka non-Python tidak didukung. Lihat Pustaka kluster.

Pada Databricks Runtime 13.0 ke bawah, pustaka dengan cakupan kluster tidak didukung pada kluster yang menggunakan mode akses bersama di ruang kerja yang mendukung Katalog Unity.

Pengaktifan default yang diperluas untuk penulisan yang dioptimalkan di Katalog Unity

Dukungan tulis default yang dioptimalkan untuk tabel Delta yang terdaftar di Unity Catalog telah diperluas untuk menyertakan CTAS pernyataan dan INSERT operasi untuk tabel yang dipartisi. Perilaku ini selaras dengan default pada gudang SQL. Lihat Penulisan yang dioptimalkan untuk Delta Lake di Azure Databricks.

Dukungan tingkat lanjut untuk operator stateful dalam beban kerja Streaming Terstruktur

Anda sekarang dapat menautkan beberapa operator stateful bersama-sama, yang berarti Anda dapat memberi umpan output operasi seperti agregasi berjendela ke operasi stateful lainnya seperti gabungan. Lihat Apa itu streaming stateful?.

Klon delta untuk Katalog Unity ada di Pratinjau Umum

Anda sekarang dapat menggunakan kloning dangkal untuk membuat tabel terkelola Unity Catalog baru dari tabel terkelola Unity Catalog yang ada. Lihat Kloning dangkal untuk tabel Unity Catalog.

Dukungan Pub/Sub untuk Streaming Terstruktur

Anda sekarang dapat menggunakan konektor bawaan untuk berlangganan Google Pub/Sub dengan Streaming Terstruktur. Lihat Berlangganan Google Pub/Sub.

Menghilangkan duplikat dalam marka air di Streaming Terstruktur

Anda sekarang dapat menggunakan dropDuplicatesWithinWatermark dalam kombinasi dengan ambang marka air tertentu untuk mendeduplikasi rekaman dalam Streaming Terstruktur. Lihat Menghilangkan duplikat dalam marka air.

Dukungan yang diperluas untuk konversi Delta dari tabel Iceberg dengan kolom partisi terpotong

Anda sekarang dapat menggunakan CLONE dan CONVERT TO DELTA dengan tabel Iceberg yang memiliki partisi yang ditentukan pada kolom jenis intterpotong , , longdan string. Kolom tipe decimal terpotong tidak didukung.

Melakukan streaming perubahan skema dengan pemetaan kolom di Delta Lake

Anda sekarang dapat menyediakan lokasi pelacakan skema untuk mengaktifkan streaming dari tabel Delta dengan pemetaan kolom diaktifkan. Untuk detailnya, lihat Streaming dengan pemetaan kolom dan perubahan skema.

Hapus VERSI MULAI

START VERSION sekarang tidak digunakan lagi untuk ALTER SHARE.

Ekspresi H3 baru tersedia dengan Python

Ekspresi h3_coverash3 dan h3_coverash3string tersedia dengan Python.

Perbaikan bug

Parquet failOnUnknownFields tidak lagi menjatuhkan data secara diam-diam pada jenis ketidakcocokan

Jika file Parquet dibaca hanya failOnUnknownFields dengan opsi atau dengan Auto Loader dalam failOnNewColumns mode evolusi skema, kolom yang memiliki jenis data yang berbeda sekarang gagal dan merekomendasikan penggunaan rescuedDataColumn. Auto Loader sekarang membaca dengan benar dan tidak lagi menyelamatkan jenis Bilangan Bulat, Pendek, atau Byte jika salah satu jenis data ini disediakan. File Parquet menyarankan salah satu dari dua jenis lainnya.

Perubahan mencolok

Tingkatkan versi sqlite-jdbc ke 3.42.0.0 ke alamat CVE-2023-32697

Tingkatkan versi sqlite-jdbc dari 3.8.11.2 ke 3.42.0.0. API versi 3.42.0.0 tidak sepenuhnya kompatibel dengan 3.8.11.2. Jika menggunakan sqlite-jdbc dalam kode Anda, periksa laporan kompatibilitas sqlite-jdbc untuk detailnya. Jika Anda bermigrasi ke 13.1 dan menggunakan sqlite, konfirmasikan metode Anda dan kembalikan jenis dalam versi 3.42.0.0.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • ringkasan faset dari 1.0.2 hingga 1.0.3
  • filelock dari 3.10.7 hingga 3.12.0
  • pyarrow dari 7.0.0 hingga 8.0.0
  • tenacity dari 8.0.1 hingga 8.1.0
• Pustaka R yang ditingkatkan:
• Pustaka Java yang ditingkatkan:
  • com.github.ben-manes.caffeine.caffeine dari 2.3.4 hingga 2.9.3
  • io.delta.delta-sharing-spark_2.12 dari 0.6.8 hingga 0.6.4
  • net.snowflake.snowflake-jdbc dari 3.13.29 hingga 3.13.22
  • org.checkerframework.checker-qual dari 3.5.0 hingga 3.19.0
  • org.scalactic.scalactic_2.12 dari 3.0.8 ke 3.2.15
  • org.scalatest.scalatest_2.12 dari 3.0.8 ke 3.2.15
  • org.xerial.sqlite-jdbc dari 3.8.11.2 ke 3.42.0.0

Apache Spark

Databricks Runtime 13.1 mencakup Apache Spark 3.4.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 13.0 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-42719] [DBRRM-199][SC-131578] Kembalikan "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][SC-130056][CORE] Kembalikan [SC-127830]/
• [SPARK-43331] [SC-130064][SAMBUNGKAN] Menambahkan Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][SAMBUNGKAN][PyTHON] Memungkinkan untuk memperluas ChannelBuilder untuk SparkConnectClient
• [SPARK-43323] [SC-129966][SQL][PyTHON] Perbaiki DataFrame.toPandas dengan Arrow diaktifkan untuk menangani pengecualian dengan benar
• [SPARK-42940] [SC-129896][SS][SAMBUNGKAN] Meningkatkan manajemen sesi untuk kueri streaming
• [SPARK-43032] [SC-125756] [SAMBUNGKAN][SS] Menambahkan manajer kueri Streaming
• [SPARK-16484] [SC-129975][SQL] Menambahkan dukungan untuk Datasketches HllSketch
• [SPARK-43260] [SC-129281][PyTHON] Migrasikan kesalahan jenis panah panda Spark SQL ke dalam kelas kesalahan.
• [SPARK-41766] [SC-129964][CORE] Menangani permintaan penonaktifan yang dikirim sebelum pendaftaran eksekutor
• [SPARK-43307] [SC-129971][PyTHON] Memigrasikan kesalahan nilai PandasUDF ke dalam kelas kesalahan
• [SPARK-43206] [SC-129903] [SS] [SAMBUNGKAN] Pengecualian StreamingQuery() menyertakan pelacakan tumpukan
• [SPARK-43311] [SC-129905][SS] Menambahkan penyempurnaan manajemen memori penyedia penyimpanan status RocksDB
• [SPARK-43237] [SC-129898][CORE] Menangani pesan pengecualian null di log peristiwa
• [SPARK-43320] [SC-129899][SQL][HIVE] Langsung hubungi Apache Hive 2.3.9 API
• [SPARK-43270] [SC-129897][PyTHON] Terapkan __dir__() di pyspark.sql.dataframe.DataFrame untuk menyertakan kolom
• [SPARK-43183] Kembalikan "[SC-128938][SS] Perkenalkan panggilan balik baru "...
• [SPARK-43143] [SC-129902] [SS] [SAMBUNGKAN] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][SQL] Ganti kelas kesalahan _LEGACY_ERROR_TEMP_2022 oleh kesalahan internal
• [SPARK-43198] [SC-129470][SAMBUNGKAN] Perbaiki "Tidak dapat menginisialisasi amonit kelas..." kesalahan saat menggunakan filter
• [SPARK-43165] [SC-129777][SQL] Pindahkan canWrite ke DataTypeUtils
• [SPARK-43298] [SC-129729][PyTHON][ML] predict_batch_udf dengan input skalar gagal dengan ukuran batch satu
• [SPARK-43298] [SC-129700]Kembalikan "[PYTHON][ML] predict_batch_udf dengan input skalar gagal dengan ukuran batch satu"
• [SPARK-43052] [SC-129663][CORE] Menangani stacktrace dengan nama file null dalam log peristiwa
• [SPARK-43183] [SC-128938][SS] Memperkenalkan panggilan balik baru "onQueryIdle" ke StreamingQueryListener
• [SPARK-43209] [SC-129190][SAMBUNGKAN][PyTHON] Memigrasikan kesalahan Ekspresi ke dalam kelas kesalahan
• [SPARK-42151] [SC-128754][SQL] Selaraskan penugasan UPDATE dengan atribut tabel
• [SPARK-43134] [SC-129468] [SAMBUNGKAN] [SS] Api pengecualian() StreamingQuery klien JVM
• [SPARK-43298] [SC-129699][PyTHON][ML] predict_batch_udf dengan input skalar gagal dengan ukuran batch satu
• [SPARK-43248] [SC-129660][SQL] Serialisasi/deserialisasi Jalur yang tidak perlu pada paralel mengumpulkan statistik partisi
• [SPARK-43274] [SC-129464][SPARK-43275][PyTHON][SAMBUNGKAN] Memperkenalkan PySparkNotImplementedError
• [SPARK-43146] [SC-128804][SAMBUNGKAN][PyTHON] Menerapkan evaluasi bersemangat untuk repr dan repr_html
• [SPARK-42953] [SC-129469][Sambungkan][Tindak lanjut] Memperbaiki build pengujian maven untuk pengujian UDF klien Scala
• [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
• [SPARK-43136] [SC-129358][SAMBUNGKAN] Menambahkan groupByKey + mapGroup + fungsi coGroup
• [SPARK-43156] [SC-129672][SC-128532][SQL] Memperbaiki COUNT(*) is null bug dalam subkueri skalar berkorelasi
• [SPARK-43046] [SC-129110] [SS] [Sambungkan] Menerapkan Python API dropDuplicatesWithinWatermark untuk Spark Connect
• [SPARK-43199] [SC-129467][SQL] Membuat idempotensi InlineCTE
• [SPARK-43293] [SC-129657][SQL] __qualified_access_only harus diabaikan dalam kolom normal
• [SPARK-43276] [SC-129461][SAMBUNGKAN][PyTHON] Memigrasikan kesalahan Jendela Spark Connect ke dalam kelas kesalahan
• [SPARK-43174] [SC-129109][SQL] Memperbaiki completer SparkSQLCLIDriver
• [SPARK-43084] [SC-128654] [SS] Menambahkan dukungan applyInPandasWithState untuk spark connect
• [SPARK-43119] [SC-129040][SQL] Dukungan Dapatkan Kata Kunci SQL Secara Dinamis Melalui JDBC API dan TVF
• [SPARK-43082] [SC-129112][SAMBUNGKAN][PyTHON] UDF Python yang dioptimalkan panah di Spark Connect
• [SPARK-43085] [SC-128432][SQL] Mendukung penugasan DEFAULT kolom untuk nama tabel multi-bagian
• [SPARK-43226] [LC-671] Tentukan ekstraktor untuk metadata konstanta file
• [SPARK-43210] [SC-129189][SAMBUNGKAN][PyTHON] Memperkenalkan PySparkAssertionError
• [SPARK-43214] [SC-129199][SQL] Pasca metrik sisi driver untuk LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Memperbaiki ReplE2ESuite yang gagal secara konsisten dengan JDK 17
• [SPARK-43268] [SC-129249][SQL] Gunakan kelas kesalahan yang tepat saat pengecualian dibuat dengan pesan
• [SPARK-43142] [SC-129299] Memperbaiki ekspresi DSL pada atribut dengan karakter khusus
• [SPARK-43129] [SC-128896] API inti Scala untuk streaming Spark Connect
• [SPARK-43233] [SC-129250] [SS] Menambahkan pengelogan untuk Pembacaan Batch Kafka untuk partisi topik, rentang offset, dan ID tugas
• [SPARK-43249] [SC-129195][SAMBUNGKAN] Memperbaiki statistik yang hilang untuk Perintah SQL
• [SPARK-42945] [SC-129188][SAMBUNGKAN] Mendukung PYSPARK_JVM_STACKTRACE_ENABLED di Spark Connect
• [SPARK-43178] [SC-129197][SAMBUNGKAN][PyTHON] Memigrasikan kesalahan UDF ke dalam kerangka kerja kesalahan PySpark
• [SPARK-43123] [SC-128494][SQL] Metadata bidang internal tidak boleh bocor ke katalog
• [SPARK-43217] [SC-129205] Berulang dengan benar dalam peta/array berlapis di findNestedField
• [SPARK-43243] [SC-129294][PyTHON][SAMBUNGKAN] Menambahkan param tingkat ke printSchema untuk Python
• [SPARK-43230] [SC-129191][SAMBUNGKAN] Menyederhanakan DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][SQL] Respect RequiresDistributionAndOrdering dalam CTAS/RTAS
• [SPARK-43234] [SC-129192][SAMBUNGKAN][PyTHON] Migrasi ValueError dari Conect DataFrame ke dalam kelas kesalahan
• [SPARK-43212] [SC-129187][SS][PyTHON] Memigrasikan kesalahan Streaming Terstruktur ke dalam kelas kesalahan
• [SPARK-43239] [SC-129186][PS] Hapus null_counts dari info()
• [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput harus konsisten dengan output anak
• [SPARK-43191] [SC-128924][CORE] Ganti refleksi dengan panggilan langsung untuk Hadoop CallerContext
• [SPARK-43193] [SC-129042][SS] Hapus solusi untuk HADOOP-12074
• [SPARK-42657] [SC-128621][SAMBUNGKAN] Dukungan untuk menemukan dan mentransfer repl classfiles sisi klien ke server sebagai artefak
• [SPARK-43098] [SC-77059][SQL] Memperbaiki bug COUNT kebenaran saat subkueri skalar memiliki klausa kelompokkan menurut
• [SPARK-43213] [SC-129062][PyTHON] Tambahkan DataFrame.offset ke vanilla PySpark
• [SPARK-42982] [SC-128400][SAMBUNGKAN][PyTHON] Perbaiki createDataFrame untuk menghormati skema ddl yang diberikan
• [SPARK-43124] [SC-129011][SQL] Dataset.show memproyeksikan CommandResults secara lokal
• [SPARK-42998] [SC-127422][SAMBUNGKAN][PyTHON] Memperbaiki DataFrame.collect dengan struct null
• [SPARK-41498] [SC-125343]Kembalikan " Sebarkan metadata melalui Union"
• [SPARK-42960] [SC-129010] [SAMBUNGKAN] [SS] Menambahkan API await_termination() dan exception() untuk Kueri Streaming di Python
• [SPARK-42552] [SC-128824][SQL] Perbaiki strategi penguraian dua tahap pengurai antlr
• [SPARK-43207] [SC-128937][SAMBUNGKAN] Menambahkan fungsi pembantu untuk mengekstrak nilai dari ekspresi harfiah
• [SPARK-43186] [SC-128841][SQL][HIVE] Hapus solusi untuk FileSinkDesc
• [SPARK-43107] [SC-128533][SQL] Wadah coalesce dalam gabungan diterapkan pada sisi aliran gabungan siaran
• [SPARK-43195] [SC-128922][CORE] Menghapus pembungkus yang tidak perlu yang dapat diserialisasi di HadoopFSUtils
• [SPARK-43137] [SC-128828][SQL] Tingkatkan ArrayInsert jika posisi dapat dilipat dan positif.
• [SPARK-37829] [SC-128827][SQL] Dataframe.joinWith outer-join harus mengembalikan nilai null untuk baris yang tidak cocok
• [SPARK-43042] [SC-128602] [SS] [Sambungkan] Menambahkan dukungan API table() untuk DataStreamReader
• [SPARK-43153] [SC-128753][SAMBUNGKAN] Lewati eksekusi Spark saat dataframe bersifat lokal
• [SPARK-43064] [SC-128496][SQL] Tab Spark SQL CLI SQL hanya boleh menampilkan sekali pernyataan sekali
• [SPARK-43126] [SC-128447][SQL] Menandai dua ekspresi UDF Apache Hive sebagai stateful
• [SPARK-43111] [SC-128750][PS][SAMBUNGKAN][PyTHON] Menggabungkan pernyataan berlapis if ke dalam pernyataan tunggal if
• [SPARK-43113] [SC-128749][SQL] Mengevaluasi variabel sisi aliran saat membuat kode untuk kondisi terikat
• [SPARK-42895] [SC-127258][SAMBUNGKAN] Meningkatkan pesan kesalahan untuk sesi Spark yang dihentikan
• [SPARK-42884] [SC-126662][SAMBUNGKAN] Menambahkan integrasi Amonite REPL
• [SPARK-43168] [SC-128674][SQL] Menghapus metode PhysicalDataType dari kelas Datatype
• [SPARK-43121] [SC-128455][SQL] Gunakan BytesWritable.copyBytes alih-alih salinan manual di 'HiveInspectors
• [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog Menyimpan meta Char/Varchar di sisi baca
• [SPARK-43050] [SC-128550][SQL] Memperbaiki ekspresi agregat konstruksi dengan mengganti fungsi pengelompokan
• [SPARK-43095] [SC-128549][SQL] Hindari idepotensi strategi Once rusak untuk batch: Infer Filters
• [SPARK-43130] [SC-128597][SQL] Pindahkan InternalType ke PhysicalDataType
• [SPARK-43105] [SC-128456][SAMBUNGKAN] Singkatan Byte dan String dalam pesan proto
• [SPARK-43099] [SC-128596][SQL] Gunakan getName alih-alih getCanonicalName untuk mendapatkan nama kelas penyusun saat mendaftarkan udf ke FunctionRegistry
• [SPARK-42994] [SC-128586][ML][SAMBUNGKAN] Distributor PyTorch mendukung Mode Lokal
• [SPARK-42859] Kembalikan "[SC-127935][CONNECT][PS] Dukungan dasar untuk PANDAS API di Spark Connect"
• [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin tidak berfungsi saat menggunakan AQE
• [SPARK-43125] [SC-128477][SAMBUNGKAN] Perbaiki Server Connect Tidak Dapat Menangani Pengecualian Dengan Pesan Null
• [SPARK-43147] [SC-128594] fix flake8 lint untuk pemeriksaan lokal
• [SPARK-43031] [SC-128360] [SS] [Sambungkan] Mengaktifkan pengujian unit dan dokte untuk streaming
• [SPARK-43039] [LC-67] Mendukung bidang kustom di kolom _metadata sumber file.
• [SPARK-43120] [SC-128407][SS] Menambahkan dukungan untuk melacak penggunaan memori blok yang disematkan untuk penyimpanan status RocksDB
• [SPARK-43110] [SC-128381][SQL] Pindahkan asIntegral ke PhysicalDataType
• [SPARK-43118] [SC-128398][SS] Hapus pernyataan yang tidak perlu untuk UninterruptibleThread di KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][SAMBUNGKAN][PyTHON] Mendukung nama bidang berlapis duplikat
• [SPARK-42437] [SC-128339][PyTHON][SAMBUNGKAN] PySpark catalog.cacheTable akan memungkinkan untuk menentukan tingkat penyimpanan
• [SPARK-42985] [SC-128332][SAMBUNGKAN][PyTHON] Perbaiki createDataFrame untuk menghormati konfigurasi SQL
• [SPARK-39696] [SC-127830][CORE] Memperbaiki perlombaan data dalam akses ke TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][SQL] Memindahkan Integral ke PhysicalDataType
• [SPARK-42741] [SC-125547][SQL] Jangan membongkar cast dalam perbandingan biner ketika literal null
• [SPARK-43057] [SC-127948][SAMBUNGKAN][PyTHON] Memigrasikan kesalahan Kolom Spark Connect ke dalam kelas kesalahan
• [SPARK-42859] [SC-127935][SAMBUNGKAN][PS] Dukungan dasar untuk API panda di Spark Connect
• [SPARK-43013] [SC-127773][PyTHON] Migrasikan ValueError dari DataFrame ke dalam PySparkValueError.
• [SPARK-43089] [SC-128051][SAMBUNGKAN] Meredaksi string debug di UI
• [SPARK-43028] [SC-128070][SQL] Menambahkan SQL_CONF_NOT_FOUND kelas kesalahan
• [SPARK-42999] [SC-127842][Sambungkan] Himpunan data#foreach, foreachPartition
• [SPARK-43066] [SC-127937][SQL] Menambahkan pengujian untuk dropDuplicates di JavaDatasetSuite
• [SPARK-43075] [SC-127939][SAMBUNGKAN] Ubah gRPC ke grpcio ketika tidak diinstal.
• [SPARK-42953] [SC-127809][Sambungkan] Filter jenis, peta, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][SQL] Mendukung jenis tanggal bongkar ke jenis tanda waktu
• [SPARK-42931] [SC-127933][SS] Memperkenalkan dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][SAMBUNGKAN] Menambahkan konstanta tipe data proto
• [SPARK-43077] [SC-128050][SQL] Meningkatkan pesan kesalahan UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][SS][Sambungkan] API DataStreamReader
• [SPARK-43049] [SC-127846][SQL] Gunakan CLOB alih-alih VARCHAR(255) untuk StringType untuk Oracle JDBC
• [SPARK-43018] [SC-127762][SQL] Perbaiki bug untuk perintah INSERT dengan literal tanda waktu
• [SPARK-42855] [SC-127722][SQL] Menggunakan pemeriksaan null runtime di TableOutputResolver
• [SPARK-43030] [SC-127847][SQL] Deduplikasi hubungan dengan kolom metadata
• [SPARK-42993] [SC-127829][ML][SAMBUNGKAN] Membuat PyTorch Distributor kompatibel dengan Spark Connect
• [SPARK-43058] [SC-128072][SQL] Pindahkan Numerik dan Pecahan ke PhysicalDataType
• [SPARK-43056] [SC-127946][SS] Penerapan penyimpanan status RocksDB harus melanjutkan pekerjaan latar belakang hanya jika dijeda
• [SPARK-43059] [SC-127947][SAMBUNGKAN][PyTHON] Memigrasikan TypeError dari DataFrame(Pembaca|Penulis) ke dalam kelas kesalahan
• [SPARK-43071] [SC-128018][SQL] Mendukung SELECT DEFAULT dengan ORDER BY, LIMIT, OFFSET untuk relasi sumber INSERT
• [SPARK-43061] [SC-127956][CORE][SQL] Memperkenalkan PartitionEvaluator untuk eksekusi operator SQL
• [SPARK-43067] [SC-127938][SS] Memperbaiki lokasi file sumber daya kelas kesalahan di konektor Kafka
• [SPARK-43019] [SC-127844][SQL] Pindahkan Pemesanan ke PhysicalDataType
• [SPARK-43010] [SC-127759][PyTHON] Memigrasikan kesalahan Kolom ke dalam kelas kesalahan
• [SPARK-42840] [SC-127782][SQL] Mengubah _LEGACY_ERROR_TEMP_2004 kesalahan menjadi kesalahan internal
• [SPARK-43041] [SC-127765][SQL] Memulihkan konstruktor pengecualian untuk kompatibilitas di API konektor
• [SPARK-42939] [SC-127761][SS][SAMBUNGKAN] API Python streaming inti untuk Spark Connect
• [SPARK-42844] [SC-127766][SQL] Memperbarui kelas _LEGACY_ERROR_TEMP_2008 kesalahan ke INVALID_URL
• [SPARK-42316] [SC-127720][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][SAMBUNGKAN][PyTHON] Memigrasikan kesalahan Spark Connect DataFrame ke dalam kelas kesalahan
• [SPARK-42983] [SC-127717][SAMBUNGKAN][PyTHON] Memperbaiki createDataFrame untuk menangani array numpy 0-dim dengan benar
• [SPARK-42955] [SC-127476][SQL] Lewati classifyException dan wrap AnalysisException untuk SparkThrowable
• [SPARK-42949] [SC-127255][SQL] Menyederhanakan kode untuk NAAJ
• [SPARK-43011] [SC-127577][SQL] array_insert harus gagal dengan indeks 0
• [SPARK-42974] [SC-127487][CORE] Pulihkan Utils.createTempDir untuk menggunakan metode pembersihan ShutdownHookManagerJavaUtils.createTempDir dan .
• [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' juga berarti tabel sudah ada
• [SPARK-42978] [SC-127351][SQL] Derby&PG: RENAME tidak dapat memenuhi syarat new-table-Name dengan skema-Name
• [SPARK-37980] [SC-127668][SQL] Akses row_index melalui _metadata jika memungkinkan dalam pengujian
• [SPARK-42655] [SC-127591][SQL] Kesalahan referensi kolom ambigu salah
• [SPARK-43009] [SC-127596][SQL] Diparameterkan sql() dengan Any konstanta
• [SPARK-43026] [SC-127590][SQL] Menerapkan AQE dengan cache tabel non-pertukaran
• [SPARK-42963] [SC-127576][SQL] Memperluas SparkSessionExtensions untuk menyuntikkan aturan ke pengoptimal tahap kueri AQE
• [SPARK-42918] [SC-127357] Menggeneralisasi penanganan atribut metadata di FileSourceStrategy
• [SPARK-42806] [SC-127452][SPARK-42811][SAMBUNGKAN] Menambahkan Catalog dukungan
• [SPARK-42997] [SC-127535][SQL] TableOutputResolver harus menggunakan jalur kolom yang benar dalam pesan kesalahan untuk array dan peta
• [SPARK-43006] [SC-127486][PySPARK] Memperbaiki kesalahan ketik di StorageLevel eq()
• [SPARK-43005] [SC-127485][PySPARK] Memperbaiki kesalahan ketik di pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][CORE] Memperbaiki kesalahan ketik di ResourceRequest.equals()
• [SPARK-42907] [SC-126984][SAMBUNGKAN][PyTHON] Menerapkan fungsi Avro
• [SPARK-42979] [SC-127272][SQL] Tentukan konstruktor harfiah sebagai kata kunci
• [SPARK-42946] [SC-127252][SQL] Redaksi data sensitif yang ditumpuk oleh substitusi variabel
• [SPARK-42952] [SC-127260][SQL] Menyederhanakan parameter aturan penganalisis PreprocessTableCreation dan DataSourceAnalysis
• [SPARK-42683] [LC-75] Ganti nama kolom metadata yang bertentangan secara otomatis
• [SPARK-42853] [SC-126101][Tindak Lanjut] Memperbaiki konflik
• [SPARK-42929] [SC-126748][CONNECT] membuat dukungan mapInPandas / mapInArrow "is_barrier"
• [SPARK-42968] [SC-127271][SS] Tambahkan opsi untuk melewati koordinator penerapan sebagai bagian dari STREAMINGWrite API untuk sumber/sink DSv2
• [SPARK-42954] [SC-127261][PyTHON][SAMBUNGKAN] Tambahkan YearMonthIntervalType ke Klien PySpark dan Spark Connect Python
• [SPARK-41359] [SC-127256][SQL] Gunakan PhysicalDataType alih-alih DataType di UnsafeRow
• [SPARK-42873] [SC-127262][SQL] Tentukan jenis Spark SQL sebagai kata kunci
• [SPARK-42808] [SC-126302][CORE] Hindari mendapatkan availableProcessors setiap kali masuk MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][SQL] PlanSubqueries harus diatur InSubqueryExec#shouldBroadcast ke true
• [SPARK-42896] [SC-126729][SQL][PyTHON] Membuat mapInPandas / mapInArrow eksekusi mode hambatan dukungan
• [SPARK-42874] [SC-126442][SQL] Aktifkan kerangka kerja pengujian file emas baru untuk analisis untuk semua file input
• [SPARK-42922] [SC-126850][SQL] Pindah dari Random ke SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange mengacu pada node yang tidak ada
• [SPARK-40822] [SC-126274][SQL] Alias kolom turunan stabil
• [SPARK-42908] [SC-126856][PyTHON] Naikkan RuntimeError saat SparkContext diperlukan tetapi tidak diinisialisasi
• [SPARK-42779] [SC-126042][SQL] Izinkan penulisan V2 untuk menunjukkan ukuran partisi acak penasihat
• [SPARK-42914] [SC-126727][PyTHON] Gunakan kembali transformUnregisteredFunction untuk DistributedSequenceID.
• [SPARK-42878] [SC-126882][SAMBUNGKAN] API tabel di DataFrameReader juga dapat menerima opsi
• [SPARK-42927] [SC-126883][CORE] Mengubah cakupan o.a.spark.util.Iterators#size akses menjadi private[util]
• [SPARK-42943] [SC-126879][SQL] Gunakan LONGTEXT alih-alih TEXT untuk StringType untuk panjang yang efektif
• [SPARK-37677] [SC-126855][CORE] Unzip dapat menyimpan izin file
• [SPARK-42891] [13.x][SC-126458][SAMBUNGKAN][PyTHON] Menerapkan COGrouped Map API
• [SPARK-41876] [SC-126849][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][CORE][SQL] Mengubah cakupan ProtobufSerDe akses implementasi terkait menjadi private[protobuf]
• [SPARK-42819] [SC-125879][SS] Menambahkan dukungan untuk mengatur max_write_buffer_number dan write_buffer_size untuk RocksDB yang digunakan dalam streaming
• [SPARK-42924] [SC-126737][SQL][SAMBUNGKAN][PyTHON] Mengklarifikasi komentar arg SQL berparameter
• [SPARK-42748] [SC-126455][SAMBUNGKAN] Manajemen Artefak sisi server
• [SPARK-42816] [SC-126365][SAMBUNGKAN] Mendukung ukuran Pesan Maks hingga 128MB
• [SPARK-42850] [SC-126109][SQL] Menghapus aturan duplikat CombineFilters di Optimizer
• [SPARK-42662] [SC-126355][SAMBUNGKAN][PS] Menambahkan pesan proto untuk API panda pada indeks default Spark
• [SPARK-42720] [SC-126136][PS][SQL] Menggunakan ekspresi untuk indeks default urutan terdistribusi alih-alih paket
• [SPARK-42790] [SC-126174][SQL] Abstrak metode yang dikecualikan untuk pengujian yang lebih baik untuk pengujian docker JDBC.
• [SPARK-42900] [SC-126473][SAMBUNGKAN][PyTHON] Perbaiki createDataFrame untuk menghormati nama inferensi dan kolom
• [SPARK-42917] [SC-126657][SQL] Mengoreksi getUpdateColumnNullabilityQuery untuk DerbyDialect
• [SPARK-42684] [SC-125157][SQL] katalog v2 tidak boleh mengizinkan nilai default kolom secara default
• [SPARK-42861] [SC-126635][SQL] Gunakan private[sql] alih-alih dilindungi[sql] untuk menghindari pembuatan dokumen API
• [SPARK-42920] [SC-126728][SAMBUNGKAN][PyTHON] Mengaktifkan pengujian untuk UDF dengan UDT
• [SPARK-42791] [SC-126617][SQL] Membuat kerangka kerja pengujian file emas baru untuk analisis
• [SPARK-42911] [SC-126652][PyTHON] Memperkenalkan pengecualian yang lebih mendasar
• [SPARK-42904] [SC-126634][SQL] Dukungan Char/Varchar untuk Katalog JDBC
• [SPARK-42901] [SC-126459][SAMBUNGKAN][PyTHON] Pindah StorageLevel ke file terpisah untuk menghindari potensi file recursively imports
• [SPARK-42894] [SC-126451][SAMBUNGKAN] Dukungan cache/persist/unpersist/storageLeveluntuk klien Spark connect jvm
• [SPARK-42792] [SC-125852][SS] Menambahkan dukungan untuk WRITE_FLUSH_BYTES untuk RocksDB yang digunakan dalam operator stateful streaming
• [SPARK-41233] [SC-126441][SAMBUNGKAN][PyTHON] Menambahkan array_prepend ke klien Spark Connect Python
• [SPARK-42681] [SC-125149][SQL] Santai mengurutkan batasan untuk add ALTER TABLE|GANTI deskriptor kolom
• [SPARK-42889] [SC-126367][SAMBUNGKAN][PyTHON] Menerapkan cache, persist, unpersist, dan storageLevel
• [SPARK-42824] [SC-125985][SAMBUNGKAN][PyTHON] Berikan pesan kesalahan yang jelas untuk atribut JVM yang tidak didukung
• [SPARK-42340] [SC-126131][SAMBUNGKAN][PyTHON] Menerapkan API Peta yang Dikelompokkan
• [SPARK-42892] [SC-126454][SQL] Memindahkan sameType dan metode yang relevan dari DataType
• [SPARK-42827] [SC-126126][SAMBUNGKAN] Dukungan functions#array_prepend untuk klien Scala connect
• [SPARK-42823] [SC-125987][SQL] spark-sql shell mendukung namespace multipart untuk inisialisasi
• [SPARK-42817] [SC-125960][CORE] Mencatat nama layanan acak sekali di ApplicationMaster
• [SPARK-42786] [SC-126438][Sambungkan] Pilih Yang Dititik
• [SPARK-42800] [SC-125868][SAMBUNGKAN][PyTHON][ML] Menerapkan fungsi ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][SQL] Dukungan Codegen untuk HiveSimpleUDF
• [SPARK-41233] [SC-126110][SQL][PyTHON] Tambahkan array_prepend fungsi
• [SPARK-42864] [SC-126268][ML][3.4] Buat IsotonicRegression.PointsAccumulator privat
• [SPARK-42876] [SC-126281][SQL] DataType fisik DataType harus bersifat privat[sql]
• [SPARK-42101] [SC-125437][SQL] Membuat dukungan AQE InMemoryTableScanExec
• [SPARK-41290] [SC-124030][SQL] Mendukung ekspresi GENERATED ALWAYS AS untuk kolom dalam pernyataan buat/ganti tabel
• [SPARK-42870] [SC-126220][SAMBUNGKAN] Pindah toCatalystValue ke connect-common
• [SPARK-42247] [SC-126107][SAMBUNGKAN][PyTHON] Perbaiki UserDefinedFunction agar memiliki returnType
• [SPARK-42875] [SC-126258][SAMBUNGKAN][PyTHON] Perbaiki toPandas untuk menangani zona waktu dan jenis peta dengan benar
• [SPARK-42757] [SC-125626][SAMBUNGKAN] Menerapkan textFile untuk DataFrameReader
• [SPARK-42803] [SC-126081][CORE][SQL][ML] Gunakan fungsi getParameterCount alih-alih getParameterTypes.length
• [SPARK-42833] [SC-126043][SQL] Refaktor applyExtensions masuk SparkSession
• [SPARK-41765] Kembalikan "[SC-123550][SQL] Tarik keluar metrik tulis v1...
• [SPARK-42848] [SC-126105][SAMBUNGKAN][PyTHON] Menerapkan DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][SAMBUNGKAN][PyTHON] Mendukung UserDefinedType di Spark Connect
• [SPARK-42818] [SC-125861][SAMBUNGKAN][PyTHON] Menerapkan DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][SAMBUNGKAN] Menambahkan client_type ke pesan addArtifactsRequest protobuf
• [SPARK-42772] [SC-125860][SQL] Ubah nilai default opsi JDBC tentang pendorongan ke true
• [SPARK-42771] [SC-125855][SQL] Refaktor HiveGenericUDF
• [SPARK-25050] [SC-123839][SQL] Avro: menulis serikat pekerja yang kompleks
• [SPARK-42765] [SC-125850][SAMBUNGKAN][PyTHON] Aktifkan impor pandas_udf dari pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation harus menghormati spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][SQL] Meningkatkan performa partisi penurunan
• [SPARK-42689] [SC-125195][CORE][ACAK] Perbolehkan ShuffleDriverComponent untuk mendeklarasikan apakah data acak disimpan dengan andal
• [SPARK-42726] [SC-125279][SAMBUNGKAN][PyTHON] Alat DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][SQL] Menarik keluar metrik tulis v1 ke WriteFiles
• [SPARK-41171] [SC-124191][SQL] Menyimpulkan dan mendorong batas jendela melalui jendela jika partitionSpec kosong
• [SPARK-42686] [SC-125292][CORE] Menukar pemformatan untuk pesan debug di TaskMemoryManager
• [SPARK-42756] [SC-125443][SAMBUNGKAN][PyTHON] Fungsi pembantu untuk mengonversi proto literal ke nilai di Klien Python
• [SPARK-42793] [SC-125627][SAMBUNGKAN] connect modul memerlukan build_profile_flags
• [SPARK-42701] [SC-125192][SQL] try_aes_decrypt() Menambahkan fungsi
• [SPARK-42679] [SC-125438][SAMBUNGKAN][PYTHON] createDataFrame tidak berfungsi dengan skema yang tidak dapat diubah ke null
• [SPARK-42733] [SC-125542][SAMBUNGKAN][Tindak lanjut] Menulis tanpa jalur atau tabel
• [SPARK-42777] [SC-125525][SQL] Dukungan mengonversi statistik katalog TimestampNTZ ke statistik rencana
• [SPARK-42770] [SC-125558][SAMBUNGKAN] Tambahkan truncatedTo(ChronoUnit.MICROS) untuk membuat SQLImplicitsTestSuite lulus tugas GA pengujian harian Java 17
• [SPARK-42752] [SC-125550][PySPARK][SQL] Membuat pengecualian PySpark dapat dicetak selama inisialisasi
• [SPARK-42732] [SC-125544][PySPARK][SAMBUNGKAN] Mendukung metode spark connect session getActiveSession
• [SPARK-42755] [SC-125442][SAMBUNGKAN] Konversi nilai harfiah faktor ke connect-common
• [SPARK-42747] [SC-125399][ML] Memperbaiki status internal LoR dan AFT yang salah
• [SPARK-42740] [SC-125439][SQL] Memperbaiki bug yang mendorong offset atau halaman tidak valid untuk beberapa dialek bawaan
• [SPARK-42745] [SC-125332][SQL] AliasAwareOutputExpression yang ditingkatkan berfungsi dengan DSv2
• [SPARK-42743] [SC-125330][SQL] Dukungan menganalisis kolom TimestampNTZ
• [SPARK-42721] [SC-125371][SAMBUNGKAN] Pencegat pengelogan RPC
• [SPARK-42691] [SC-125397][SAMBUNGKAN][PyTHON] Menerapkan Dataset.semanticHash
• [SPARK-42688] [SC-124922][SAMBUNGKAN] Ganti nama Connect proto Request client_id ke session_id
• [SPARK-42310] [SC-122792][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][CORE] Mengoptimalkan rutinitas Utils.bytesToString
• [SPARK-42725] [SC-125296][SAMBUNGKAN][PyTHON] Membuat param array dukungan LiteralExpression
• [SPARK-42702] [SC-125293][SPARK-42623][SQL] Mendukung kueri berparameter dalam subkueri dan CTE
• [SPARK-42697] [SC-125189][WEBUI] Perbaiki /api/v1/applications untuk mengembalikan total waktu aktif alih-alih 0 untuk bidang durasi
• [SPARK-42733] [SC-125278][SAMBUNGKAN][PyTHON] Perbaiki DataFrameWriter.save agar berfungsi tanpa parameter jalur
• [SPARK-42376] [SC-124928][SS] Memperkenalkan penyebaran marka air di antara operator
• [SPARK-42710] [SC-125205][SAMBUNGKAN][PyTHON] Ganti nama frameMap proto menjadi MapPartitions
• [SPARK-37099] [SC-123542][SQL] Perkenalkan batas grup Jendela untuk filter berbasis peringkat untuk mengoptimalkan komputasi k atas
• [SPARK-42630] [SC-125207][SAMBUNGKAN][PyTHON] Memperkenalkan UnparsedDataType dan menunda penguraian string DDL hingga SparkConnectClient tersedia
• [SPARK-42690] [SC-125193][SAMBUNGKAN] Menerapkan fungsi penguraian CSV/JSON untuk klien Scala
• [SPARK-42709] [SC-125172][PyTHON] Menghapus asumsi __file__ tersedia
• [SPARK-42318] [SC-122648][SPARK-42319][SQL] Tetapkan nama ke LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][SQL] Mendukung pengurai jenis data json "timestamp_ltz" sebagai TimestampType
• [SPARK-42722] [SC-125175][SAMBUNGKAN][PyTHON] Python Connect def schema() tidak boleh menyimpan skema
• [SPARK-42643] [SC-125152][SAMBUNGKAN][PyTHON] Mendaftarkan fungsi yang ditentukan pengguna Java (agregat)
• [SPARK-42656] [SC-125177][SAMBUNGKAN][Tindak lanjut] Memperbaiki skrip spark-connect
• [SPARK-41516] [SC-123899] [SQL] Perbolehkan dialek jdbc untuk mengambil alih kueri yang digunakan untuk membuat tabel
• [SPARK-41725] [SC-124396][SAMBUNGKAN] Eksekusi bersemangat DF.sql()
• [SPARK-42687] [SC-124896][SS] Pesan kesalahan yang lebih baik untuk operasi yang tidak didukung pivot di Streaming
• [SPARK-42676] [SC-124809][SS] Menulis titik pemeriksaan sementara untuk kueri streaming ke sistem file lokal meskipun FS default diatur secara berbeda
• [SPARK-42303] [SC-122644][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][SQL] Pastikan setidaknya satu unit waktu setelah "interval"
• [SPARK-42649] [SC-124576][CORE] Menghapus header Lisensi Apache standar dari bagian atas file sumber pihak ketiga
• [SPARK-42611] [SC-124395][SQL] Sisipkan pemeriksaan panjang karakter/varchar untuk bidang dalam selama resolusi
• [SPARK-42419] [SC-124019][SAMBUNGKAN][PyTHON] Migrasikan ke kerangka kerja kesalahan untuk Spark Connect Column API.
• [SPARK-42637] [SC-124522][SAMBUNGKAN] Tambahkan SparkSession.stop()
• [SPARK-42647] [SC-124647][PyTHON] Mengubah alias untuk jenis numpy yang tidak digunakan lagi dan dihapus
• [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver hanya boleh menutup memulai hive sessionState
• [SPARK-42593] [SC-124405][PS] Hentikan & hapus API yang akan dihapus di pandas 2.0.
• [SPARK-41870] [SC-124402][SAMBUNGKAN][PyTHON] Memperbaiki createDataFrame untuk menangani nama kolom duplikat
• [SPARK-42569] [SC-124379][SAMBUNGKAN] Melemparkan pengecualian untuk API sesi yang tidak didukung
• [SPARK-42631] [SC-124526][SAMBUNGKAN] Mendukung ekstensi kustom di klien Scala
• [SPARK-41868] [SC-124387][SAMBUNGKAN][PyTHON] Memperbaiki createDataFrame untuk mendukung durasi
• [SPARK-42572] [SC-124171][SQL][SS] Memperbaiki perilaku untuk StateStoreProvider.validateStateRowFormat

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 13.1.

Lingkungan sistem

• Sistem Operasi: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Danau Delta: 2.4.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2023-02-10.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)