Runtime Databricks10.4 LTS

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 10.4 LTS dan Databricks Runtime 10.4 LTS Photon, didukung oleh Apache Spark 3.2.1. Photon berada pada Pratinjau Umum. Databricks merilis versi ini pada Maret 2022.

Fitur dan peningkatan baru

• Konverter Iceberg ke Delta table (Pratinjau Umum)
• Pemutaran kembali Pemadatan Otomatis kini diaktifkan secara default
• Gabungan Acak Rendah kini diaktifkan secara default
• Tag urutan penyisipan kini dipertahankan untuk UPDATEdan DELETE
• HikariCP kini menjadi kumpulan koneksi metastore Apache Hive default
• konektor Azure Synapse sekarang memungkinkan jumlah maksimum baris penolakan yang diizinkan untuk set
• Titik pemeriksaan status asinkron sekarang tersedia secara umum
• Default parameter sekarang dapat ditentukan untuk fungsi SQL yang ditentukan pengguna
• Fungsi Spark SQL baru
• Direktori kerja baru untuk kluster Konkurensi Tinggi
• Dukungan columns Identitas di tables Delta sekarang tersedia secara umum

Pengonversi Iceberg ke Delta table (Pratinjau Umum)

Konversi ke Delta sekarang mendukung konversi Iceberg table ke Delta table secara langsung. Ini dilakukan dengan menggunakan metadata asli Iceberg dan manifes file. Lihat Mengonversi ke Delta Lake.

Pemutaran kembali pemadatan otomatis kini diaktifkan secara default

Rilis ini meningkatkan perilaku untuk penulisan Delta Lake yang berkomitmen ketika ada transaksi Auto Compaction bersamaan. Sebelum rilis ini, proses penulisan sering kali berhenti karena modifikasi yang dilakukan secara bersamaan terhadap table. Penulisan kini akan berhasil meskipun terjadi transaksi Pemadatan Otomatis secara bersamaan.

Gabungan Acak Rendah kini diaktifkan secara default

Perintah MERGE INTO kini selalu menggunakan implementasi acak rendah baru. Ini akan meningkatkan kinerja perintah MERGE INTO secara signifikan untuk sebagian besar beban kerja. Pengaturan konfigurasi yang sebelumnya digunakan untuk mengaktifkan fitur ini telah dihapus. Harap lihat Penggabungan shuffle rendah pada Azure Databricks.

Tag urutan penyisipan kini dipertahankan untuk UPDATE dan DELETE

Perintah UPDATE dan DELETE kini menyimpan informasi pengelompokan yang ada (termasuk Z-ordering) untuk file yang diperbarui atau dihapus. Perilaku ini adalah pendekatan upaya terbaik, dan pendekatan ini tidak berlaku untuk kasus ketika file sangat kecil sehingga file-file ini digabungkan selama update atau penghapusan.

HikariCP kini merupakan kumpulan koneksi metastore Apache Hive default

HikariCP menghadirkan banyak peningkatan stabilitas untuk akses metastore Hive sambil tetap mempertahankan jumlah connections yang lebih sedikit dibandingkan dengan implementasi kumpulan koneksi BoneCP sebelumnya. HikariCP diaktifkan secara default pada kluster Databricks Runtime apa pun yang menggunakan metastore Databricks Hive (misalnya, ketika spark.sql.hive.metastore.jars tidak set). Anda juga dapat secara eksplisit beralih ke implementasi kumpulan koneksi lainnya, misalnya BoneCP, dengan mengatur spark.databricks.hive.metastore.client.pool.type.

Konektor Azure Synapse sekarang memungkinkan jumlah maksimum baris yang ditolak untuk diizinkan menjadi set

Konektor Azure Synapse kini mendukung opsi DataFrame maxErrors. update ini memungkinkan Anda mengonfigurasi jumlah maksimum baris yang ditolak yang diizinkan selama pembacaan dan penulisan sebelum operasi pemuatan dibatalkan. Semua baris yang ditolak diabaikan. Misalnya, jika dua dari sepuluh rekaman memiliki kesalahan, hanya delapan rekaman yang akan diproses.

Opsi ini memetakan ke opsi REJECT_VALUE secara langsung untuk pernyataan CREATE EXTERNAL TABLE di PolyBase dan opsi MAXERRORS untuk perintah konektor COPY Azure Synapse.

Secara default, nilai maxErrors adalah dari set hingga 0: semua rekaman diharapkan valid.

Titik pemeriksaan status asinkron sekarang tersedia secara umum

Anda dapat mengaktifkan titik pemeriksaan status asinkron dalam kueri streaming dengan kondisi dengan pembaruan status besar. Ini dapat mengurangi latensi batch mikro menyeluruh. Fitur ini kini tersedia secara umum. Lihat Titik pemeriksaan status asinkron untuk kueri stateful.

Default parameter sekarang dapat ditentukan untuk fungsi SQL yang ditentukan pengguna

Saat Anda membuat fungsi yang ditentukan pengguna SQL (SQL UDF), sekarang Anda dapat menentukan ekspresi default untuk parametersSQL UDF. Anda kemudian dapat memanggil SQL UDF tanpa memberikan argumen untuk parameterstersebut, dan Databricks akan mengisi values default untuk parameterstersebut. Lihat (SQL dan Python).

Fungsi Spark SQL baru

Fungsi SQL Spark berikut kini tersedia dengan rilis ini:

• try_multiply: Mengembalikan multiplier yang dikalikan dengan multiplicand, atau NULL saat meluap.
• try_subtract: Mengembalikan pengurangan expr2 dari expr1, atau NULL saat meluap.

Direktori kerja baru untuk kluster Konkurensi Tinggi

Pada kluster Konkurensi Tinggi dengan kontrol akses table atau passthrough kredensial diaktifkan, direktori kerja notebook saat ini sekarang menjadi direktori beranda pengguna. Sebelumnya, direktori kerja adalah /databricks/driver.

Dukungan identitas columns di Delta tables sekarang tersedia untuk umum

Delta Lake sekarang mendukung identitas columns. Saat Anda menulis pada table Delta yang mendefinisikan identitas column, dan Anda tidak memberikan values pada columntersebut, Delta sekarang secara otomatis menetapkan nilai yang unik dan meningkat atau menurun berdasarkan statistik. Lihat CREATE TABLE [MENGGUNAKAN].

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • filelock dari 3.4.2 ke 3.6.0
• Pustaka R yang ditingkatkan:
  • brew dari 1.0-6 ke 1.0-7
  • broom dari 0.7.11 ke 0.7.12
  • cli dari 3.1.0 dari 3.2.0
  • clipr dari 0.7.1 ke 0.8.0
  • colorspace dari 2.0-2 ke 2.0-3
  • crayon dari 1.4.2 ke 1.5.0
  • dplyr dari 1.0.7 ke 1.0.8
  • dtplyr dari 1.2.0 ke 1.2.1
  • evaluate dari 0.14 ke 0.15
  • foreach dari 1.5.1 ke 1.5.2
  • future dari 1.23.0 ke 1.24.0
  • generics dari 0.1.1 ke 0.1.2
  • glue dari 1.6.0 ke 1.6.1
  • gower dari 0.2.2 ke 1.0.0
  • iterators dari 1.0.13 ke 1.0.14
  • jsonlite dari 1.7.3 ke 1.8.0
  • magrittr dari 2.0.1 ke 2.0.2
  • mgcv dari 1.8-38 ke 1.8-39
  • pillar dari 1.6.4 ke 1.7.0
  • randomForest dari 4.6-14 ke 4.7-1
  • readr dari 2.1.1 ke 2.1.2
  • recipes dari 0.1.17 ke 0.2.0
  • rlang dari 0.4.12 ke 1.0.1
  • rpart dari 4.1-15 ke 4.1.16
  • RSQLite dari 2.2.9 ke 2.2.10
  • sparklyr dari 1.7.4 ke 1.7.5
  • testthat dari 3.1.1 ke 3.1.2
  • tidyr dari 1.1.4 ke 1.2.0
  • tidyselect dari 1.1.1 ke 1.1.2
  • tinytex dari 0.36 ke 0.37
  • yaml dari 2.2.1 ke 2.3.5
• Pustaka Java yang ditingkatkan:
  • io.delta.delta-sharing-spark_2.12 from 0.3.0 to 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS mencakup Apache Spark 3.2.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 10.3 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-38322] [SQL] Mendukung tahap kueri memperlihatkan statistik runtime dalam mode explain yang diformat
• [SPARK-38162] [SQL] Optimize satu rencana baris dalam normal dan Pengoptimal AQE
• [SPARK-38229] [SQL] Tidak boleh memeriksa temp/external/ifNotExists dengan visitReplaceTable saat penguraian
• [SPARK-34183] [SS] DataSource V2: Distribusi dan pemesanan yang diperlukan dalam eksekusi batch mikro
• [SPARK-37932] [SQL] Menunggu penyelesaian atribut yang hilang sebelum menerapkan DeduplicateRelations
• [SPARK-37904] [SQL] Meningkatkan RebalancePartitions dalam aturan Pengoptimal
• [SPARK-38236] [SQL][3.2][3.1] Periksa apakah lokasi table absolut dengan "new Path(locationUri).isAbsolute" dalam membuat/mengubah table
• [SPARK-38035] [SQL] Menambahkan tes docker untuk dialek JDBC bawaan
• [SPARK-38042] [SQL] Pastikan ScalaReflection.dataTypeFor berfungsi di jenis array alias
• [SPARK-38273] [SQL] Iterator decodeUnsafeRows harus menutup aliran input yang mendasarinya
• [SPARK-38311] [SQL] Memperbaiki DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite dalam mode ANSI
• [SPARK-38305] [CORE] Secara eksplisit memeriksa apakah sumber berada di unpack() sebelum memanggil metode FileUtil
• [SPARK-38275] [SS] Menyertakan penggunaan memori writeBatch sebagai total penggunaan memori penyimpanan status RocksDB
• [SPARK-38132] [SQL] aturan RemoveNotPropagation
• [SPARK-38286] [SQL] maxRows dan maxRowsPerPartition Union dapat meluap
• [SPARK-38306] [SQL] Memperbaiki ExplainSuite,StatisticsCollectionSuite dan StringFunctionsSuite dengan mode ANSI
• [SPARK-38281] [SQL][Tests] Memperbaiki AnalysisSuite dengan mode ANSI
• [SPARK-38307] [SQL][Tests] Memperbaiki ExpressionTypeCheckingSuite dan CollectionExpressionsSuite dengan mode ANSI
• [SPARK-38300] [SQL] Menggunakan ByteStreams.toByteArray untuk menyederhanakan fileToString dan resourceToBytes dalam catalyst.util
• [SPARK-38304] [SQL] Elt() harus menampilkan null jika indeks adalah null dengan mode ANSI
• [SPARK-38271] PoissonSampler dapat menghasilkan lebih banyak baris daripada MaxRows
• [SPARK-38297] [PYTHON] Mentransmisikan nilai pengembalian secara eksplisit pada DataFrame.to_numpy di POS
• [SPARK-38295] [SQL][Tests] Memperbaiki ArithmeticExpressionSuite dengan mode ANSI
• [SPARK-38290] [SQL] Memperbaiki JsonSuite dan ParquetIOSuite dengan mode ANSI
• [SPARK-38299] [SQL] Membersihkan penggunaan StringBuilder.newBuilder yang tidak digunakan lagi
• [SPARK-38060] [SQL] Menghormati allowNonNumericNumbers ketika mengurai nilai NaN dan Infinity values di pembaca berkas JSON
• [SPARK-38276] [SQL] Menambahkan paket TPCDS yang disetujui dengan mode ANSI
• [SPARK-38206] [SS] Abaikan nullability pada membandingkan jenis data kunci join pada stream-stream join
• [SPARK-37290] [SQL] - Waktu perencanaan eksponensial dalam kasus fungsi non-deterministik
• [SPARK-38232] [SQL] yang diformat Explain tidak mengumpulkan subkueri di bawah tahap kueri di AQE
• [SPARK-38283] [SQL] Menguji penguraian tanggal yang tidak valid dengan mode ANSI
• [SPARK-38140] [SQL] Desc column statistik (min, max) untuk tipe timestamp tidak konsisten dengan values karena perbedaan zona waktu
• [SPARK-38227] [SQL][SS] Terapkan nullabilitas ketat dari column bersarang dalam waktu window / sesi window
• [SPARK-38221] [SQL] Mengulangi ekspresi pengelompokan secara langsung saat memindahkan ekspresi pengelompokan kompleks dari node Agregat
• [SPARK-38216] [SQL] Gagal lebih awal jika semua columns dipartisi columns saat membuat Hive table
• [SPARK-38214] [SS]Tidak perlu memfilter jendela jika windowDuration merupakan kelipatan slideDuration
• [SPARK-38182] [SQL] Memperbaiki NoSuchElementException jika filter yang didorong tidak berisi referensi
• [SPARK-38159] [SQL] Menambahkan FileSourceMetadataAttribute baru untuk Metadata File Tersembunyi
• [SPARK-38123] [SQL] Terpadu menggunakan DataType sebagai targetType dari QueryExecutionErrors#castingCauseOverflowError
• [SPARK-38118] [SQL] Func(tipe data yang salah) dalam klausul HAVING harus melemparkan kesalahan ketidakcocokan data
• [SPARK-35173] [SQL][PYTHON] Tambahkan beberapa columns menambahkan dukungan
• [SPARK-38177] [SQL] Memperbaiki transformExpressions yang salah di Pengoptimal
• [SPARK-38228] [SQL] Penetapan penyimpanan warisan tidak boleh gagal pada kesalahan dengan mode ANSI
• [SPARK-38173] [SQL] Dikutip column tidak dapat dikenali dengan benar ketika dikutipRegexColumnNa...
• [SPARK-38130] [SQL] Remove array_sort pemeriksaan entri yang dapat diurutkan
• [SPARK-38199] [SQL] Menghapus dataType yang tidak digunakan dalam ketentuan IntervalColumnAccessor
• [SPARK-38203] [SQL] Memperbaiki SQLInsertTestSuite dan SchemaPruningSuite dengan mode ANSI
• [SPARK-38163] [SQL] Mempertahankan kelas kesalahan SparkThrowable saat membangun penyusun fungsi
• [SPARK-38157] [SQL] Secara eksplisit set ANSI ke false dalam tanda waktu pengujianNTZ/timestamp.sql dan SQLQueryTestSuite agar sesuai dengan hasil emas yang diharapkan
• [SPARK-38069] [SQL][SS] Meningkatkan perhitungan waktu window
• [SPARK-38164] [SQL] Fungsi SQL baru: try_subtract dan try_multiply
• [SPARK-38176] [SQL] mode ANSI: mengizinkan transmisi String secara implisit ke jenis sederhana lainnya
• [SPARK-37498] [PYTHON] Menambahkan akhirnya untuk test_reuse_worker_of_parallelize_range
• [SPARK-38198] [SQL][3.2] Memperbaiki QueryExecution.debug#toFile menggunakan yang diteruskan di maxFields ketika explainMode adalah CodegenMode
• [SPARK-38131] [SQL] Menggunakan kelas kesalahan hanya dalam pengecualian yang dihadapi pengguna
• [SPARK-37652] [SQL] Tambahkan pengujian untuk join miring optimize melalui penyatuan
• [SPARK-37585] [SQL] Update InputMetric di DataSourceRDD dengan TaskCompletionListener
• [SPARK-38113] [SQL] Menggunakan kelas kesalahan dalam kesalahan eksekusi pivoting
• [SPARK-38178] [SS] Membenarkan logika untuk mengukur penggunaan memori RocksDB
• [SPARK-37969] [SQL] HiveFileFormat harus memeriksa bidang nama
• [SPARK-37652] Membatalkan "[SQL]Tambahkan pengujian untuk optimize tidak merata join melalui union"
• [SPARK-38124] [SQL][SS] Memperkenalkan StatefulOpClusteredDistribution dan berlaku untuk stream-stream join
• [SPARK-38030] [SQL] Canonicalization tidak boleh remove nullability attributeReference dataType
• [SPARK-37907] [SQL] InvokeLike mendukung ConstantFolding
• [SPARK-37891] [CORE] Menambahkan pemeriksaan scalastyle untuk menonaktifkan scala.concurrent.ExecutionContext.Implicits.global
• [SPARK-38150] [SQL] Update komentar untuk RelationConversions
• [SPARK-37943] [SQL] Menggunakan kelas kesalahan dalam kesalahan kompilasi pengelompokan
• [SPARK-37652] [SQL]Tambahkan pengujian untuk optimize bias join melalui penggabungan
• [SPARK-38056] [Web UI][3.2] Memperbaiki masalah streaming terstruktur yang tidak berfungsi di server riwayat saat menggunakan LevelDB
• [SPARK-38144] [CORE] Remove konfigurasi spark.storage.safetyFraction yang tidak digunakan
• [SPARK-38120] [SQL] Perbaiki HiveExternalCatalog.listPartitions ketika nama partitioncolumn ditulis dalam huruf besar dan terdapat titik pada nilai partition
• [SPARK-38122] [Docs] Update Kunci Aplikasi DocSearch
• [SPARK-37479] [SQL] Memigrasikan DROP NAMESPACE untuk menggunakan perintah V2 secara default
• [SPARK-35703] [SQL] Melonggarkan constraint untuk bucket join dan HashClusteredDistribution remove
• [SPARK-37983] [SQL] Mundurkan metrik waktu build dari agregat pengurutan
• [SPARK-37915] [SQL] Menggabungkan penyatuan jika terdapat proyek di antaranya
• [SPARK-38105] [SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian gabungan
• [SPARK-38073] [PYTHON] Update fungsi atexit untuk menghindari masalah dengan pengikatan terlambat
• [SPARK-37941] [SQL] Menggunakan kelas kesalahan dalam kesalahan kompilasi transmisi
• [SPARK-37937] [SQL] Gunakan kelas kesalahan dalam kesalahan penguraian lateral join
• [SPARK-38100] [SQL] Remove metode pribadi yang tidak digunakan di Decimal
• [SPARK-37987] [SS] Memperbaiki pengujian tidak stabil StreamingAggregationSuite.mengubah schema kondisi saat mengulang kueri
• [SPARK-38003] [SQL] Aturan LookupFunctions seharusnya hanya mencari fungsi dari registri fungsi bernilai skalar
• [SPARK-38075] [SQL] Memperbaiki hasNext dalam proses iterator hasil HiveScriptTransformationExec
• [SPARK-37965] [SQL] Remove memeriksa nama bidang saat membaca/menulis data yang ada di Orc
• [SPARK-37922] [SQL] Gabungkan menjadi satu cast jika kita dapat dengan aman menaikkan dua cast (for dbr-branch-10.x)
• [SPARK-37675] [SPARK-37793] Mencegah penimpaan file gabungan acak pendorongan setelah shuffle selesai
• [SPARK-38011] [SQL] Remove konfigurasi duplikat dan tidak berguna di ParquetFileFormat
• [SPARK-37929] [SQL] Mendukung mode kaskade untuk API dropNamespace
• [SPARK-37931] [SQL] Kutip nama column jika diperlukan
• [SPARK-37990] [SQL] Mendukung TimestampNTZ di RowToColumnConverter
• [SPARK-38001] [SQL] Mengganti kelas kesalahan terkait fitur yang tidak didukung oleh UNSUPPORTED_FEATURE
• [SPARK-37839] [SQL] DS V2 mendukung tekan bawah agregat parsial AVG
• [SPARK-37878] [SQL] Migrasikan SHOW CREATE TABLE untuk menggunakan perintah v2 secara default
• [SPARK-37731] [SQL] Pencarian fungsi refaktor dan pembersihan dalam Analyzer
• [SPARK-37979] [SQL] Beralih ke kelas kesalahan yang lebih umum dalam fungsi AES
• [SPARK-37867] [SQL] Mengompilasi fungsi agregat dialek JDBC bawaan
• [SPARK-38028] [SQL] Mengekspos Arrow Vector dari ArrowColumnVector
• [SPARK-30062] [SQL] Menambahkan pernyataan IMMEDIATE ke implementasi pemotongan dialek DB2
• [SPARK-36649] [SQL] Mendukung Trigger.AvailableNow pada sumber data Kafka
• [SPARK-38018] [SQL] Memperbaiki ColumnVectorUtils.populate untuk menangani CalendarIntervalType secara benar
• [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved harus menangani ExecutorDecommission sebagai telah selesai
• [SPARK-38019] [CORE] Membuat deterministik ExecutorMonitor.timedOutExecutors
• [SPARK-37957] [SQL] Melewati bendera deterministik dengan benar untuk fungsi bernilai skalar V2
• [SPARK-37985] [SQL] Memperbaiki tes tidak stabil SPARK-37578
• [SPARK-37986] [SQL] Mendukung TimestampNTZ dalam urutan radix
• [SPARK-37967] [SQL] Literal.create mendukung ObjectType
• [SPARK-37827] [SQL] Letakkan beberapa properti table bawaan ke V1Table.propertie untuk beradaptasi dengan perintah V2
• [SPARK-37963] [SQL] Perlu updatePartition URI setelah mengganti nama table di InMemoryCatalog
• [SPARK-35442] [SQL] Mendukung menyebarkan relasi kosong melalui agregat/penyatuan
• [SPARK-37933] [SQL] Mengubah metode traversal aturan tekan bawah V2ScanRelationPushDown
• [SPARK-37917] [SQL] Dorong limit 1 untuk bagian kanan dari semi/anti kiri join jika kondisi join kosong
• [SPARK-37959] [ML] Perbaiki UT norma pemeriksaan di KMeans & BiKMeans
• [SPARK-37906] [SQL] spark-sql tidak boleh meneruskan komentar terakhir ke backend
• [SPARK-37627] [SQL] Tambahkan column yang diurutkan di BucketTransform

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 10.4 LTS.

Lingkungan sistem

• Sistem Operasi: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada 24-02-2022.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)