Databricks Runtime 11.3 LTS

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 11.3 LTS, didukung oleh Apache Spark 3.3.0. Databricks merilis versi ini pada Oktober 2022.

Perubahan perilaku

[Perubahan menerobos] Versi Python baru memerlukan pembaruan klien Databricks Connect V1 Python

Untuk menerapkan patch keamanan yang diperlukan, versi Python di Databricks Runtime 11.3 LTS diperbarui dari 3.9.5 ke 3.9.19. Karena perubahan ini dapat menyebabkan kesalahan pada klien yang menggunakan fungsi PySpark tertentu, setiap klien yang menggunakan Databricks Connect V1 untuk Python dengan Databricks Runtime 11.3 LTS harus diperbarui ke Python 3.9.7 atau yang lebih baru.

Fitur dan peningkatan baru

• Python ditingkatkan dari 3.9.19 ke 3.9.21
• Pemicu Streaming Terstruktur sekali tidak digunakan lagi
• Mengubah jalur sumber untuk Auto Loader
• Konektor Databricks Kinesis sekarang mendukung pembacaan dari aliran Data Kinesis dalam mode EFO
• Fungsi geospasial H3 baru dan menambahkan dukungan Photon untuk semua fungsi H3
• Fitur baru untuk I/O Prediktif
• Meningkatkan partisi awal untuk memindai kueri selektif
• Visualisasi versi paket AQE baru
• Pelacakan kemajuan asinkron baru dan mode pembersihan log
• Streaming Terstruktur di Unity Catalog sekarang mendukung display()
• Peristiwa alur sekarang dicatat dalam format JSON
• Pemrosesan Stateful Arbitrer dalam Streaming Terstruktur dengan Python
• Inferensi tanggal dalam file CSV
• Mengkloning dukungan untuk tabel Apache Parquet dan Apache Iceberg (Pratinjau Umum)
• Gunakan SQL untuk menentukan lokasi penyimpanan tingkat skema dan katalog untuk tabel terkelola Katalog Unity

Python ditingkatkan dari 3.9.19 ke 3.9.21

Versi Python di Databricks Runtime 11.3 LTS diperbarui dari 3.9.19 ke 3.9.21.

Pemicu Streaming Terstruktur sekali tidak digunakan lagi

Trigger.Once Pengaturan tidak digunakan lagi. Databricks merekomendasikan Anda menggunakan Trigger.AvailableNow. Lihat Mengonfigurasi interval pemicu Streaming Terstruktur.

Mengubah jalur sumber untuk Auto Loader

Anda sekarang dapat mengubah jalur input direktori untuk Auto Loader yang dikonfigurasi dengan mode daftar direktori tanpa harus memilih direktori titik pemeriksaan baru. Lihat Mengubah jalur sumber untuk Auto Loader.

Konektor Databricks Kinesis sekarang mendukung pembacaan dari aliran Data Kinesis dalam mode EFO

Anda sekarang dapat menggunakan sumber streaming terstruktur Databricks Kinesis di Databricks Runtime 11.3 LTS untuk menjalankan kueri yang dibaca dari aliran Data Kinesis dalam mode fan-out yang ditingkatkan. Ini memungkinkan throughput khusus per pecahan, per konsumen dan merekam pengiriman dalam mode pendorongan.

Fungsi geospasial H3 baru dan menambahkan dukungan Photon untuk semua fungsi H3

Memperkenalkan 4 fungsi H3 baru, , h3_maxchild, h3_minchildh3_pointash3, dan h3_pointash3string. Fungsi-fungsi ini tersedia di SQL, Scala, dan Python. Semua ekspresi H3 sekarang didukung di Photon. Lihat Fungsi geospasial H3.

Fitur baru untuk I/O Prediktif

Photon mendukung mode rentang untuk menjalankan bingkai, menggunakan RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon juga mendukung mode rentang untuk bingkai yang berkembang, menggunakan RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Meningkatkan partisi awal untuk memindai kueri selektif

Nilai partisi awal yang akan dipindai telah ditingkatkan menjadi 10 untuk kueri selektif dengan take/tail/limit di kluster yang diaktifkan Photon dan LIMIT di Databricks SQL. Dengan 10 partisi, Anda dapat menghindari overhead meluncurkan beberapa pekerjaan kecil dan peningkatan skala yang lambat. Anda juga dapat mengonfigurasi ini melalui spark.sql.limit.selectiveInitialNumPartitions.

Visualisasi versi paket AQE baru

Memperkenalkan versi paket AQE yang memungkinkan Anda memvisualisasikan pembaruan rencana runtime Anda dari eksekusi kueri adaptif (AQE).

Pelacakan kemajuan asinkron baru dan mode pembersihan log

Memperkenalkan mode Streaming Terstruktur yang disebut pelacakan kemajuan asinkron dan pembersihan log asinkron. Mode pembersihan log asinkron menurunkan latensi kueri streaming dengan menghapus log yang digunakan untuk pelacakan kemajuan di latar belakang.

Streaming Terstruktur di Unity Catalog sekarang mendukung display()

Sekarang Anda dapat menggunakan display() saat menggunakan Streaming Terstruktur untuk bekerja dengan tabel yang terdaftar di Katalog Unity.

Peristiwa alur sekarang dicatat dalam format JSON

Azure Databricks sekarang menulis peristiwa alur ke log driver dalam format JSON. Meskipun setiap peristiwa akan dapat diurai JSON, peristiwa besar mungkin tidak berisi semua bidang, atau bidang mungkin terpotong. Setiap peristiwa dicatat dalam satu baris dengan awalan Event received: . Berikut ini adalah contoh peristiwa.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Pemrosesan Stateful Arbitrer dalam Streaming Terstruktur dengan Python

Memperkenalkan applyInPandasWithState fungsi yang dapat digunakan untuk melakukan pemrosesan stateful arbitrer di PySpark. Ini setara dengan flatMapGroupsWithState fungsi di Java API.

Inferensi tanggal dalam file CSV

Memperkenalkan inferensi kolom jenis tanggal yang ditingkatkan dalam file CSV. Saat format tanggal konsisten di seluruh rekaman untuk kolom, kolom tersebut dapat disimpulkan sebagai DateType. Anda juga dapat memiliki kombinasi format tanggal di berbagai kolom. Azure Databricks dapat secara otomatis menyimpulkan format tanggal untuk setiap kolom. Kolom tanggal dalam file CSV sebelum Databricks Runtime 11.3 LTS dibiarkan sebagai StringType.

Mengkloning dukungan untuk tabel Apache Parquet dan Apache Iceberg (Pratinjau Umum)

Kloning sekarang dapat digunakan untuk membuat dan memperbarui tabel Delta secara bertahap yang mencerminkan tabel Apache Parquet dan Apache Iceberg. Anda dapat memperbarui tabel Parquet sumber anda dan secara bertahap menerapkan perubahan ke tabel Delta kloning mereka dengan perintah kloning. Lihat Mengkloning parquet dan tabel Iceberg secara bertahap ke Delta Lake.

Gunakan SQL untuk menentukan lokasi penyimpanan tingkat skema dan katalog untuk tabel terkelola Katalog Unity

Anda sekarang dapat menggunakan MANAGED LOCATION perintah SQL untuk menentukan lokasi penyimpanan cloud untuk tabel terkelola di tingkat katalog dan skema. Lihat CREATE CATALOG dan CREATE SCHEMA.

Perubahan perilaku

Databricks Connect 11.3.2

Pembaruan klien Databricks Connect 11.3.2 sekarang didukung. Lihat Catatan rilis Databricks Connect dan Databricks Connect.

Konektor Snowflake Azure Databricks yang diperbarui

Konektor Azure Databricks Snowflake telah diperbarui ke versi terbaru kode dari repositori sumber terbuka, Sumber Data Snowflake untuk Apache Spark. Ini sekarang sepenuhnya kompatibel dengan Databricks Runtime 11.3 LTS, termasuk pushdown predikat dan pushdown rencana kueri internal sambil mempertahankan semua fitur versi sumber terbuka.

Cache Hadoop untuk S3A sekarang dinonaktifkan

Cache Hadoop (FileSystem Apache Hadoop Main 3.3.4 API) untuk S3A sekarang dinonaktifkan. Ini untuk menyelaraskan dengan konektor penyimpanan cloud lainnya. Untuk beban kerja yang mengandalkan penembolokan sistem file, pastikan bahwa sistem file yang baru dibuat disediakan dengan konfigurasi Hadoop yang benar, termasuk penyedia kredensial.

Skema pengumpulan statistik Delta Lake sekarang cocok dengan urutan kolom dalam definisi skema tabel

Perubahan ini mengatasi bug dalam protokol Delta Lake di mana statistik tidak dikumpulkan untuk kolom karena ketidakcocokan dalam DataFrame dan pengurutan kolom tabel. Dalam beberapa kasus, Anda mungkin mengalami penurunan performa tulis karena koleksi statistik pada bidang yang sebelumnya tidak terlaruti. Lihat Melewatkan data untuk Delta Lake.

applyInPandasWithState memunculkan kesalahan jika kueri mengalami pengacakan setelah operator

Operator applyInPandasWithState melemparkan kesalahan jika kueri memiliki shuffle setelah operator. Ini terjadi ketika pengguna menambahkan shuffle setelah operasi, atau pengoptimal atau sink menambahkan secara implisit shuffle .

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • distlib dari 0.3.5 hingga 0.3.6
• Pustaka R yang ditingkatkan:
  • sapu dari 1.0.0 hingga 1.0.1
  • callr dari 3.7.1 ke 3.7.2
  • dplyr dari 1.0.9 hingga 1.0.10
  • dtplyr dari 1.2.1 ke 1.2.2
  • forcats dari 0.5.1 hingga 0.5.2
  • dari 1.27.0 hingga 1.28.0
  • future.apply dari 1.9.0 hingga 1.9.1
  • gert dari 1.7.0 hingga 1.8.0
  • global dari 0,16,0 ke 0,16,1
  • dapat di gtable dari 0.3.0 hingga 0.3.1
  • dari 2.5.0 hingga 2.5.1
  • hms dari 1.1.1 hingga 1.1.2
  • httr dari 1.4.3 hingga 1.4.4
  • rajut dari 1,39 hingga 1,40
  • modelr dari 0.1.8 hingga 0.1.9
  • pilar dari 1.8.0 hingga 1.8.1
  • progressr dari 0.10.1 ke 0.11.0
  • readxl dari 1.4.0 hingga 1.4.1
  • reprex dari 2.0.1 ke 2.0.2
  • rlang dari 1.0.4 ke 1.0.5
  • rmarkdown dari 2.14 ke 2.16
  • RSQLite dari 2.2.15 ke 2.2.16
  • rstudioapi dari 0,13 hingga 0,14
  • rversion dari 2.1.1 hingga 2.1.2
  • rvest dari 1.0.2 hingga 1.0.3
  • skala dari 1.2.0 ke 1.2.1
  • sparklyr dari 1.7.7 ke 1.7.8
  • stringr dari 1.4.0 hingga 1.4.1
  • bertahan hidup dari 3,2-13 hingga 3,4-0
  • tinytex dari 0,40 hingga 0,41
  • viridisLite dari 0.4.0 ke 0.4.1
• Pustaka Java yang ditingkatkan:
  • com.fasterxml.jackson.core.jackson-anotasi dari 2.13.3 hingga 2.13.4
  • com.fasterxml.jackson.core.jackson-core dari 2.13.3 ke 2.13.4
  • com.fasterxml.jackson.core.jackson-databind dari 2.13.3 ke 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.13.3 ke 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.13.3 hingga 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.13.3 hingga 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer dari 2.13.3 hingga 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 dari 2.13.3 hingga 2.13.4
  • org.apache.hadoop.hadoop-client-api dari 3.3.2-databricks ke 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime dari 3.3.2 hingga 3.3.4
  • org.apache.orc.orc-core dari 1.7.5 hingga 1.7.6
  • org.apache.orc.orc-mapreduce dari 1.7.5 hingga 1.7.6
  • org.apache.orc.orc-shims dari 1.7.5 hingga 1.7.6
  • org.apache.parquet.parquet-column dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet dari 2.34 hingga 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core dari 2.34 hingga 2.36
  • org.glassfish.jersey.core.jersey-client dari 2.34 hingga 2.36
  • org.glassfish.jersey.core.jersey-common dari 2.34 hingga 2.36
  • org.glassfish.jersey.core.jersey-server dari 2.34 hingga 2.36
  • org.glassfish.jersey.inject.jersey-hk2 dari 2.34 hingga 2.36

Apache Spark

Databricks Runtime 11.3 LTS mencakup Apache Spark 3.3.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 11.2 (EoS), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Penundaan eksekusi onDisconnected untuk memungkinkan Driver menerima ExecutorExitCode
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Meningkatkan proses LaunchTask untuk menghindari kegagalan Tahap yang disebabkan oleh pesan LaunchTask yang gagal dikirim
• [SPARK-40474] [SC-106248][cherry-pick] Memperbaiki perilaku inferensi skema CSV untuk kolom tanggal dan waktu serta memperkenalkan deteksi otomatis untuk bidang tanggal
• [SPARK-40535] [SC-111243][sql] Perbaiki bug pada buffer AggregatingAccumulator yang tidak akan dibuat jika baris inputnya kosong
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Menerapkan applyInPandasWithState di PySpark
• [SPARK-40460] [SC-110832][ss] Perbaiki metrik streaming saat memilih _metadata
• [SPARK-40324] [SC-109943][sql] Menyediakan konteks kueri ParseException
• [SPARK-40466] [SC-110899][ss] Meningkatkan pesan kesalahan saat DSv2 dinonaktifkan sementara DSv1 tidak tersedia
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext harus murah untuk dipanggil berulang kali
• [SPARK-40169] [SC-110772][sql] Jangan terapkan filter Parquet tanpa referensi ke skema data
• [SPARK-40467] [SC-110759][ss] Membagi FlatMapGroupsWithState menjadi beberapa suite pengujian
• [SPARK-40468] [SC-110813][sql] Perbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
• [SPARK-40291] [SC-110085][sql] Meningkatkan pesan untuk kolom yang tidak berada dalam grup berdasarkan kesalahan klausa
• [SPARK-40398] [SC-110762][core][SQL] Gunakan Loop alih-alih Arrays.stream API
• [SPARK-40433] [SC-110684][ss][PYTHON] Tambahkan toJVMRow di PythonSQLUtils untuk mengonversi Row PySpark yang terseial ke Row JVM
• [SPARK-40414] [SC-110568][sql][PYTHON] Jenis generik lainnya di PythonArrowInput dan PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Tambahkan alias fungsi: len, datepart, dateadd, date_diff dan curdate
• [SPARK-40470] [SC-110761][sql] Handle GetArrayStructFields dan GetMapValue dalam fungsi "arrays_zip"
• [SPARK-40387] [SC-110685][sql] Meningkatkan implementasi Spark Decimal
• [SPARK-40429] [SC-110675][sql] Hanya atur KeyGroupedPartitioning saat kolom yang direferensikan ada di output
• [SPARK-40432] [SC-110716][ss][PYTHON] Memperkenalkan GroupStateImpl dan GroupStateTimeout di PySpark
• [SPARK-39915] [SC-110496][sql] Pastikan partisi output ditentukan pengguna di AQE
• [SPARK-29260] [SQL] Dukungan ALTER DATABASE SET LOCATION jika HMS mendukung
• [SPARK-40185] [SC-110056][sql] Hapus saran kolom saat daftar kandidat kosong
• [SPARK-40362] [SC-110401][sql] Perbaiki kanonisasi BinaryComparison
• [SPARK-40411] [SC-110381][ss] Refaktorisasi FlatMapGroupsWithStateExec agar memiliki sifat induk
• [SPARK-40293] [SC-110084][sql] Membuat pesan kesalahan tabel V2 lebih bermakna
• [SPARK-38734] [SC-110383][sql] Hapus kelas kesalahan INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Perbaiki nama kolom dalam fungsi "arrays_zip" saat array direferensikan dari struktur berlapis
• [SPARK-40276] [SC-109674][core] Kurangi ukuran hasil dari RDD.takeOrdered
• [SPARK-40197] [SC-109176][sql] Ganti rencana kueri dengan konteks untuk MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Migrasi ke kelas kesalahan DATATYPE_MISMATCH
• [SPARK-40149] [SC-110055][sql] Sebarkan kolom metadata melalui Project
• [SPARK-40280] [SC-110146][sql] Tambahkan dukungan untuk pushdown parquet untuk int dan long yang diberi anotasi
• [SPARK-40220] [SC-110143][sc-109175][SQL] Jangan keluarkan peta kosong parameter pesan kesalahan
• [SPARK-40295] [SC-110070][sql] Izinkan fungsi v2 dengan arg harfiah dalam distribusi/pemesanan tulis
• [SPARK-40156] [SC-109264][sql] url_decode() harus mengembalikan kelas kesalahan
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator harus membatalkan tahap ketika file yang diterapkan tidak konsisten dengan status tugas
• [SPARK-40260] [SC-109424][sql] Gunakan kelas kesalahan untuk menyusun kesalahan di GROUP BY sebuah posisi
• [SPARK-40205] [SC-110144][sc-109082][SQL] Menyediakan konteks pencarian untuk ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Meningkatkan fungsi TO_BINARY()
• [SPARK-40209] [SC-109081][sql] Jangan mengubah nilai interval Desimal dalam changePrecision() ketika terjadi kesalahan
• [SPARK-40319] [SC-109873][sql] Hapus metode kesalahan eksekusi kueri duplikat untuk PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] Numeric try_add/try_divide/try_subtract/try_multiply harus melemparkan kesalahan dari anak-anak mereka
• [SPARK-40183] [SC-108907][sql] Gunakan kelas kesalahan NUMERIC_VALUE_OUT_OF_RANGE untuk luapan dalam konversi desimal
• [SPARK-40180] [SC-109069][sql] Format pesan kesalahan dengan spark-sql
• [SPARK-40153] [SC-109165][sql] Menyatukan fungsi pemecahan masalah dan fungsi bernilai tabel
• [SPARK-40308] [SC-109880][sql] Izinkan argumen pemisah yang tidak dapat dilipat ke fungsi str_to_map
• [SPARK-40219] [SC-110052][sc-109663][SQL] Rencana logis tampilan yang diselesaikan harus menyimpan skema untuk menghindari pencarian berlebihan
• [SPARK-40098] [SC-109939][sc-108693][SQL] Format pesan kesalahan di Thrift Server
• [SPARK-39917] [SC-109038][sql] Gunakan kelas kesalahan yang berbeda untuk luapan aritmatika numerik/interval
• [SPARK-40033] [SC-109875][sql] Dukungan pemangkasan skema berlapis melalui element_at
• [SPARK-40194] [SC-109660][sql] SPLIT pada regex kosong harus memotong string kosong berikutnya.
• [SPARK-40228] [SC-109835][sql] Jangan menyederhanakan multiLike jika anak bukan ekspresi murah
• [SPARK-40039] [SC-109896][sc-109260][SS] Memperkenalkan manajer file titik pemeriksaan streaming berdasarkan antarmuka Abortable Hadoop
• [SPARK-40285] [SC-109679][sql] Menyederhanakan roundTo[Numeric] untuk Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison harus berfungsi ketika literal downcast In/InSet gagal.
• [SPARK-40040] [SC-109662][sql] Terapkan pembatas lokal ke kedua sisi jika syarat gabungan kosong
• [SPARK-40055] [SC-109075][sql] listCatalogs juga harus mengembalikan spark_catalog bahkan ketika implementasi spark_catalog adalah defaultSessionCatalog
• [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) mungkin tidak membuat N partisi pada bagian Non-AQE
• [SPARK-40207] [SC-109401][sql] Tentukan nama kolom saat tipe data tidak didukung oleh sumber data
• [SPARK-40245] [SC-109295][sql] Perbaiki pemeriksaan kesetaraan FileScan saat kolom filter partisi atau data tidak dibaca
• [SPARK-40113] [SC-109405][sql] Implementasi antarmuka Reactor ParquetScanBuilder DataSourceV2
• [SPARK-40211] [SC-109226][core][SQL] Izinkan kustomisasi nomor partisi awal dalam perilaku take()
• [SPARK-40252] [SC-109379][sql] Ganti Stream.collect(Collectors.joining) dengan StringJoiner Api
• [SPARK-40247] [SC-109272][sql] Perbaiki pemeriksaan kesetaraan BitSet
• [SPARK-40067] [SQL] Gunakan Table#name() alih-alih Scan#name() untuk mengisi nama tabel di simpul BatchScan di SparkUI
• [SPARK-39966] [SQL] Menggunakan Filter V2 di SupportsDelete
• [SPARK-39607] [SC-109268][sql][DSV2] Distribusi dan pemesanan mendukung fungsi V2 secara tertulis
• [SPARK-40224] [SC-109271][sql] Membuat ObjectHashAggregateExec melepaskan memori dengan cepat saat beralih ke berbasis pengurutan
• [SPARK-40013] [SQL] Ekspresi DS V2 harus memiliki default toString
• [SPARK-40214] [SC-109079][python][SQL] tambahkan 'get' ke fungsi
• [SPARK-40192] [SC-109089][sql][ML] Hapus groupby yang berlebihan
• [SPARK-40146] [SC-108694][sql] Sederhanakan proses codegen untuk mendapatkan nilai peta
• [SPARK-40109] [SQL] Fungsi SQL baru: get()
• [SPARK-39929] [SQL] DS V2 mendukung fungsi string push down (non ANSI)
• [SPARK-39819] [SQL] Pendorongan agregat DS V2 dapat berfungsi dengan N Teratas atau Penomoran (Urutkan dengan ekspresi)
• [SPARK-40213] [SC-109077][sql] Mendukung konversi nilai ASCII untuk karakter Latin-1
• [SPARK-39887] [SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
• [SPARK-39764] [SQL] Membuat PhysicalOperation sama dengan ScanOperation
• [SPARK-39964] [SQL] Pushdown DS V2 harus menyatukan jalur terjemahan
• [SPARK-39528] [SQL] Menggunakan Filter V2 di SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Mode ANSI: selalu mengembalikan null pada akses yang tidak valid ke kolom peta
• [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
• [SPARK-39833] [SC-108736][sql] Nonaktifkan indeks kolom Parquet di DSv1 untuk memperbaiki masalah kebenaran dalam kasus partisi dan kolom data yang tumpang tindih
• [SPARK-39880] [SQL] V2 SHOW FUNCTIONS perintah harus mencetak nama fungsi yang memenuhi syarat seperti v1
• [SPARK-39767] [SQL] Hapus UnresolvedDBObjectName dan tambahkan UnresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(Map)
• [SPARK-40136] [SQL] Memperbaiki fragmen konteks kueri SQL
• [SPARK-40107] [SC-108689][sql] Memisahkan konversi dari kosong menjadi null dari FileFormatWriter
• [SPARK-40121] [PYTHON][sql] Inisialisasi proyeksi yang digunakan untuk Python UDF
• [SPARK-40128] [SQL] Buat VectorizedColumnReader mengenali DELTA_LENGTH_BYTE_ARRAY sebagai pengodean kolom mandiri
• [SPARK-40132] [ML] Pulihkan rawPredictionCol ke MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] Enhance EliminateSorts untuk mendukung penghapusan pengurutan melalui LocalLimit
• [SPARK-39629] [SQL] Dukungan v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Tambahkan kelebihan beban array_sort(kolom, komparator) ke operasi DataFrame
• [SPARK-40117] [PYTHON][sql] Konversi kondisi ke java di DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Meningkatkan partisi ulang di ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Menambahkan nama katalog sesi untuk tabel dan fungsi database v1
• [SPARK-39889] [SQL] Gunakan kelas kesalahan yang berbeda untuk numerik/interval yang dibagi 0
• [SPARK-39741] [SQL] Mendukung pengodean/dekode url sebagai fungsi bawaan dan merapikan fungsi terkait url
• [SPARK-40102] [SQL] Gunakan SparkException alih-alih IllegalStateException di SparkPlan
• [SPARK-40014] [SQL] Mendukung pemeran desimal ke interval ANSI
• [SPARK-39776] [SQL][lanjut] Perbarui pengujian unit untuk PlanStabilitySuite dalam mode ANSI
• [SPARK-39963] [SQL] Menyederhanakan SimplifyCasts.isWiderCast

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 11.3.

Lingkungan sistem

• Sistem Operasi: Ubuntu 20.04.5 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.21
• R: 4.1.3
• Danau Delta: 2.1.0

Pustaka Python yang diinstal

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2022-09-08. Rekam jepret tidak lagi tersedia.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)