Databricks Runtime 14.0 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 14.0, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada September 2023.

Fitur dan peningkatan baru

• Pelacakan baris adalah GA
• I/O prediktif untuk pembaruan adalah GA
• Vektor penghapusan adalah GA
• Spark 3.5.0 tersedia secara umum
• Pratinjau publik untuk fungsi tabel yang didefinisikan pengguna untuk Python
• Pratinjau publik untuk konkurensi tingkat baris
• Direktori kerja default saat ini telah berubah
• Masalah umum dengan sparklyr
• Memperkenalkan Spark Connect dalam arsitektur kluster bersama
• Mencantumkan pembaruan API versi Spark yang tersedia

Pelacakan baris adalah GA

Pelacakan baris untuk Delta Lake sekarang siap digunakan secara luas. Lihat Gunakan pelacakan baris untuk tabel Delta.

I/O prediktif untuk pembaruan adalah GA

I/O prediktif untuk pembaruan sekarang tersedia secara umum. Lihat Apa itu I/O prediktif?.

Vektor penghapusan adalah GA

Vektor penghapusan sekarang tersedia secara umum. Lihat Apa itu vektor penghapusan?.

Spark 3.5.0 adalah GA

Apache Spark 3.5.0 sekarang tersedia secara umum. Lihat Rilis Spark 3.5.0.

Pratinjau publik untuk fungsi tabel yang didefinisikan pengguna untuk Python

Fungsi tabel yang ditentukan pengguna (UDTF) memungkinkan Anda mendaftarkan fungsi yang mengembalikan tabel alih-alih nilai skalar. Lihat fungsi tabel yang ditentukan oleh pengguna (UDTF) dalam Python.

Pratinjau publik untuk konkurensi tingkat baris

Konkurensi tingkat baris mengurangi konflik antara operasi tulis bersamaan dengan mendeteksi perubahan di tingkat baris dan secara otomatis menyelesaikan perubahan bersaing dalam penulisan bersamaan yang memperbarui atau menghapus baris yang berbeda dalam file data yang sama. Lihat Konflik penulisan dengan konkurensi tingkat baris.

Direktori kerja default saat ini telah berubah

Direktori kerja default saat ini (CWD) untuk kode yang dijalankan secara lokal sekarang adalah direktori yang berisi buku catatan atau skrip yang dijalankan. Ini termasuk kode seperti %sh dan kode Python atau R yang tidak menggunakan Spark. Lihat Apa direktori kerja bawaan saat ini?.

Masalah umum dengan sparklyr

Versi paket yang sparklyr diinstal (versi 1.8.1) tidak kompatibel dengan Databricks Runtime 14.0. Untuk menggunakan sparklyr, instal versi 1.8.3 atau lebih tinggi.

Memperkenalkan Spark Connect dalam arsitektur kluster bersama

Dengan Databricks Runtime 14.0 ke atas, kluster bersama sekarang menggunakan Spark Connect dengan Driver Spark dari Python REPL secara default. API Spark internal tidak lagi dapat diakses dari kode pengguna.

Spark Connect berinteraksi dengan Spark Driver dari REPL, bukan integrasi REPL lama.

Mencantumkan pembaruan API versi Spark yang tersedia

Aktifkan Photon dengan mengatur runtime_engine = PHOTON, dan aktifkan aarch64 dengan memilih jenis instans graviton. Azure Databricks mengatur versi Databricks Runtime yang benar. Sebelumnya, API versi Spark akan mengembalikan runtime khusus implementasi untuk setiap versi. Lihat GET /api/2.0/clusters/spark-versions di Referensi REST API.

Perubahan mencolok

Di Databricks Runtime 14.0 ke atas, kluster dengan mode akses standar (sebelumnya mode akses bersama) menggunakan Spark Connect untuk komunikasi server klien. Ini termasuk perubahan berikut.

Untuk informasi selengkapnya tentang batasan mode akses standar, lihat Batasan mode akses komputasi untuk Unity Catalog.

Python pada kluster dengan mode akses standar (sebelumnya mode akses bersama)

• sqlContext tidak tersedia. Azure Databricks merekomendasikan penggunaan spark variabel untuk SparkSession instans.
• Konteks Spark (sc) tidak lagi tersedia di Notebook, atau saat menggunakan Databricks Connect pada kluster dengan mode akses standar. Fungsi berikut sc tidak lagi tersedia:
  • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
• Fitur Info Dataset tidak lagi didukung.
• Tidak ada lagi dependensi pada JVM saat mengkueri Apache Spark dan sebagai konsekuensinya, API internal yang terkait dengan JVM, seperti _jsc, _jconf_jvm_jsparkSession_jreader_jc, _jseq, _jdf, _jmap, dan _jcols tidak lagi didukung.
• Saat mengakses nilai konfigurasi dengan hanya menggunakan spark.conf, yang dapat diakses adalah nilai konfigurasi runtime dinamis.
• Perintah analisis DLT belum didukung pada kluster bersama.

Delta pada kluster dengan mode akses standar (sebelumnya mode akses bersama)

• Di Python, tidak ada lagi dependensi pada JVM saat mengkueri Apache Spark. API internal yang terkait dengan JVM, seperti DeltaTable._jdt, , DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder, dan DeltaOptimizeBuilder._jbuilder tidak lagi didukung.

SQL pada kluster dengan mode akses standar (sebelumnya mode akses bersama)

• DBCACHE dan DBUNCACHE perintah tidak lagi didukung.
• Kasus penggunaan langka seperti cache table db as show databases tidak lagi didukung.

Peningkatan pustaka

• Pustaka Python yang ditingkatkan:
  • asttokens dari 2.2.1 ke 2.0.5
  • attrs dari 21.4.0 hingga 22.1.0
  • botocore dari 1.27.28 ke 1.27.96
  • certifi dari 14/09/2022 hingga 07/12/2022
  • kriptografi dari 37.0.1 hingga 39.0.1
  • debugpy dari 1.6.0 hingga 1.6.7
  • docstring-to-markdown dari 0,12 ke 0,11
  • melaksanakan dari versi 1.2.0 ke versi 0.8.3
  • ringkasan faset dari 1.0.3 hingga 1.1.1
  • googleapis-common-protos dari 1.56.4 hingga 1.60.0
  • grpcio dari 1.48.1 ke 1.48.2
  • idna dari 3.3 hingga 3.4
  • ipykernel dari 6.17.1 ke 6.25.0
  • ipython dari 8.10.0 hingga 8.14.0
  • Jinja2 dari 2.11.3 hingga 3.1.2
  • jsonschema dari 4.16.0 ke 4.17.3
  • jupyter_core dari 4.11.2 ke 5.2.0
  • kiwisolver dari 1.4.2 ke 1.4.4
  • MarkupSafe dari 2.0.1 hingga 2.1.1
  • matplotlib dari 3.5.2 ke 3.7.0
  • nbconvert dari 6.4.4 ke 6.5.4
  • nbformat dari 5.5.0 hingga 5.7.0
  • nest-asyncio dari 1.5.5 hingga 1.5.6
  • notebook dari 6.4.12 hingga 6.5.2
  • numpy dari 1.21.5 hingga 1.23.5
  • kemasan dari 21,3 hingga 22,0
  • pandas dari 1.4.4 hingga 1.5.3
  • pathspec dari 0.9.0 hingga 0.10.3
  • patsy dari 0.5.2 hingga 0.5.3
  • Perangkat lunak Pillow dari versi 9.2.0 hingga 9.4.0
  • pip dari 22.2.2 ke 22.3.1
  • protobuf dari 3.19.4 ke 4.24.0
  • pytoolconfig dari 1.2.2 ke 1.2.5
  • pytz dari 2022.1 hingga 2022.7
  • s3transfer dari 0.6.0 hingga 0.6.1
  • seaborn dari 0.11.2 hingga 0.12.2
  • setuptools dari 63.4.1 hingga 65.6.3
  • soupsieve dari 2.3.1 ke 2.3.2.post1
  • stack-data dari 0.6.2 hingga 0.2.0
  • statsmodels dari 0.13.2 ke 0.13.5
  • terminado dari 0.13.1 hingga 0.17.1
  • traitlet dari 5.1.1 hingga 5.7.1
  • typing_extensions dari 4.3.0 ke 4.4.0
  • urllib3 dari 1.26.11 hingga 1.26.14
  • virtualenv dari 20.16.3 hingga 20.16.7
  • roda dari 0.37.1 hingga 0.38.4
• Pustaka R yang ditingkatkan:
  • panah dari 10.0.1 hingga 12.0.1
  • dasar dari 4.2.2 ke 4.3.1
  • blob dari 1.2.3 hingga 1.2.4
  • broom dari 1.0.3 hingga 1.0.5
  • bslib dari 0.4.2 ke 0.5.0
  • cachem dari 1.0.6 hingga 1.0.8
  • caret dari 6,0-93 hingga 6,0-94
  • chron dari 2,3-59 ke 2,3-61
  • kelas dari 7.3-21 hingga 7.3-22
  • cli dari 3.6.0 hingga 3.6.1
  • jam dari 0.6.1 hingga 0.7.0
  • commonmark dari 1.8.1 hingga 1.9.0
  • compiler dari 4.2.2 ke 4.3.1
  • cpp11 dari 0.4.3 hingga 0.4.4
  • curl dari 5.0.0 ke 5.0.1
  • data.table dari 1.14.6 hingga 1.14.8
  • himpunan data dari 4.2.2 hingga 4.3.1
  • dbplyr dari 2.3.0 ke 2.3.3
  • Ikhtisar dari 0.6.31 hingga 0.6.33
  • downlit dari versi 0.4.2 ke versi 0.4.3
  • dplyr dari 1.1.0 ke 1.1.2
  • dtplyr dari 1.2.2 ke 1.3.1
  • evaluasi dari 0,20 hingga 0,21
  • fastmap dari 1.1.0 hingga 1.1.1
  • fontawesome dari 0.5.0 hingga 0.5.1
  • fs dari 1.6.1 hingga 1.6.2
  • masa depan dari 1.31.0 ke 1.33.0
  • future.apply dari 1.10.0 hingga 1.11.0
  • kumur dari 1.3.0 hingga 1.5.1
  • ggplot2 dari 3.4.0 ke 3.4.2
  • gh dari 1.3.1 ke 1.4.0
  • glmnet dari 4,1-6 hingga 4,1-7
  • googledrive dari 2.0.0 hingga 2.1.1
  • googlesheets4 dari 1.0.1 hingga 1.1.1
  • grafik dari 4.2.2 hingga 4.3.1
  • grDevices dari 4.2.2 ke 4.3.1
  • kisi dari 4.2.2 hingga 4.3.1
  • gtable dari 0.3.1 hingga 0.3.3
  • hardhat dari 1.2.0 hingga 1.3.0
  • paket haven dari 2.5.1 hingga 2.5.3
  • hms dari 1.1.2 ke 1.1.3
  • htmltool dari 0.5.4 hingga 0.5.5
  • htmlwidgets dari 1.6.1 ke 1.6.2
  • httpuv dari 1.6.8 hingga 1.6.11
  • httr dari 1.4.4 hingga 1.4.6
  • ipred dari 0,9-13 ke 0,9-14
  • jsonlite dari 1.8.4 ke 1.8.7
  • KernSmooth dari 2,23-20 ke 2,23-21
  • knitr dari 1,42 hingga 1,43
  • kemudian dari 1.3.0 hingga 1.3.1
  • kisi dari 0,20-45 hingga 0,21-8
  • lava dari 1.7.1 hingga 1.7.2.1
  • lubridat dari 1.9.1 hingga 1.9.2
  • diskon dari 1.5 hingga 1.7
  • massa dari 7.3-58.2 ke 7.3-60
  • Matriks dari 1,5-1 hingga 1,5-4.1
  • metode dari 4.2.2 hingga 4.3.1
  • mgcv dari 1,8-41 ke 1,8-42
  • modelr versi 0.1.10 ke versi 0.1.11
  • nnet dari 7,3-18 hingga 7,3-19
  • openssl dari 2.0.5 hingga 2.0.6
  • paralel dari 4.2.2 hingga 4.3.1
  • secara paralel dari 1.34.0 hingga 1.36.0
  • pilar dari 1.8.1 hingga 1.9.0
  • pkgbuild dari 1.4.0 ke 1.4.2
  • pkgload dari 1.3.2 ke 1.3.2.1
  • pROC dari 1.18.0 ke 1.18.4
  • processx dari 3.8.0 hingga 3.8.2
  • prodlim dari 2019.11.13 hingga 2023.03.31
  • profvis dari 0.3.7 hingga 0.3.8
  • ps dari 1.7.2 ke 1.7.5
  • Rcpp dari 1.0.10 hingga 1.0.11
  • readr dari 2.1.3 hingga 2.1.4
  • readxl dari 1.4.2 ke 1.4.3
  • resep dari 1.0.4 hingga 1.0.6
  • rlang dari 1.0.6 ke 1.1.1
  • rmarkdown dari 2.20 ke 2.23
  • Rserve dari 1,8-12 ke 1,8-11
  • RSQLite dari 2.2.20 ke 2.3.1
  • rstudioapi dari 0,14 hingga 0,15,0
  • sass dari 0.4.5 hingga 0.4.6
  • mengkilap dari 1.7.4 hingga 1.7.4.1
  • sparklyr diupgrade dari 1.7.9 ke 1.8.1
  • SparkR dari 3.4.1 ke 3.5.0
  • spline dari 4.2.2 ke 4.3.1
  • statistik dari 4.2.2 hingga 4.3.1
  • stats4 dari 4.2.2 hingga 4.3.1
  • Bertahan hidup pada rentang 3,5-3 hingga 3,5-5.
  • sys dari 3.4.1 hingga 3.4.2
  • tcltk dari 4.2.2 ke 4.3.1
  • testthat dari 3.1.6 ke 3.1.10
  • tibble dari 3.1.8 ke 3.2.1
  • tidyverse dari 1.3.2 hingga 2.0.0
  • tinytex dari 0,44 hingga 0,45
  • alat dari 4.2.2 hingga 4.3.1
  • tzdb dari 0.3.0 hingga 0.4.0
  • usethis dari 2.1.6 hingga 2.2.2
  • utils dari 4.2.2 ke 4.3.1
  • vctrs dari 0.5.2 hingga 0.6.3
  • viridisLite dari 0.4.1 ke 0.4.2
  • vroom dari 1.6.1 hingga 1.6.3
  • waldo dari 0.4.0 hingga 0.5.1
  • xfun dari 0,37 hingga 0,39
  • xml2 dari 1.3.3 hingga 1.3.5
  • zip dari 2.2.2 hingga 2.3.0
• Pustaka Java yang ditingkatkan:
  • com.fasterxml.jackson.core.jackson-annotations dari versi 2.14.2 ke versi 2.15.2
  • com.fasterxml.jackson.core.jackson-core dari 2.14.2 ke 2.15.2
  • com.fasterxml.jackson.core.jackson-databind dari 2.14.2 ke 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.14.2 hingga 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.14.2 hingga 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.13.4 hingga 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer dari 2.14.2 hingga 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 dari 2.14.2 hingga 2.15.2
  • com.github.luben.zstd-jni dari 1.5.2-5 ke 1.5.5-4
  • com.google.code.gson.gson dari 2.8.9 ke 2.10.1
  • com.google.crypto.tink.tink dari 1.7.0 hingga 1.9.0
  • commons-codec.commons-codec dari 1.15 hingga 1.16.0
  • commons-io.commons-io dari 2.11.0 hingga 2.13.0
  • io.airlift.aircompressor dari 0.21 hingga 0.24
  • io.dropwizard.metrics.metrics-core dari 4.2.10 menjadi 4.2.19
  • io.dropwizard.metrics.metrics-graphite dari 4.2.10 hingga 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks dari 4.2.10 hingga 4.2.19
  • io.dropwizard.metrics.metrics-jetty9 dari 4.2.10 hingga 4.2.19
  • io.dropwizard.metrics.metrics-jmx dari 4.2.10 ke 4.2.19
  • io.dropwizard.metrics.metrics-json dari 4.2.10 ke 4.2.19
  • io.dropwizard.metrics.metrics-jvm dari 4.2.10 ke 4.2.19
  • io.dropwizard.metrics.metrics-servlets dari 4.2.10 hingga 4.2.19
  • io.netty.netty-all dari 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-buffer diperbarui dari versi 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-codec dari 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-codec-http dari 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-codec-http2 dari 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-codec-socks diperbarui dari versi 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-common dari 4.1.87.Final hingga 4.1.93.Final
  • io.netty.netty-handler dari 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-handler-proxy dari 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-resolver dari 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-transport dari versi 4.1.87.Final ke versi 4.1.93.Final
  • io.netty.netty-transport-classes-epoll dari 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue dari 4.1.87.Final ke 4.1.93.Final
  • io.netty.netty-transport-native-epoll dari 4.1.87.Final-linux-x86_64 ke 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue dari 4.1.87.Final-osx-x86_64 ke 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common dari 4.1.87.Final ke 4.1.93.Final
  • org.apache.arrow.arrow-format dari 11.0.0 hingga 12.0.1
  • org.apache.arrow.arrow-memory-core dari 11.0.0 hingga 12.0.1
  • org.apache.arrow.arrow-memory-netty dari 11.0.0 hingga 12.0.1
  • org.apache.arrow.arrow-vector dari 11.0.0 hingga 12.0.1
  • org.apache.avro.avro dari 1.11.1 hingga 1.11.2
  • org.apache.avro.avro-ipc dari 1.11.1 hingga 1.11.2
  • org.apache.avro.avro-mapred dari 1.11.1 ke 1.11.2
  • org.apache.commons.commons-compress dari 1.21 hingga 1.23.0
  • org.apache.hadoop.hadoop-client-runtime dari 3.3.4 hingga 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api dari 2.19.0 hingga 2.20.0
  • org.apache.logging.log4j.log4j-api dari 2.19.0 hingga 2.20.0
  • org.apache.logging.log4j.log4j-core dari 2.19.0 hingga 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl dari 2.19.0 hingga 2.20.0
  • org.apache.orc.orc-core dari 1.8.4-shaded-protobuf ke 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce dari 1.8.4-shaded-protobuf ke 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims dari 1.8.4 hingga 1.9.0
  • org.apache.xbean.xbean-asm9-shaded dari 4.22 hingga 4.23
  • org.checkerframework.checker-qual dari 3.19.0 hingga 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet dari 2.36 hingga 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core dari 2.36 hingga 2.40
  • org.glassfish.jersey.core.jersey-client dari 2.36 hingga 2.40
  • org.glassfish.jersey.core.jersey-common dari 2.36 hingga 2.40
  • org.glassfish.jersey.core.jersey-server dari 2.36 hingga 2.40
  • org.glassfish.jersey.inject.jersey-hk2 dari 2.36 hingga 2.40
  • org.javassist.javassist dari 3.25.0-GA ke 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client dari 2.7.4 hingga 2.7.9
  • org.postgresql.postgresql dari 42.3.8 hingga 42.6.0
  • org.roaringbitmap.RoaringBitmap dari 0.9.39 ke 0.9.45
  • org.roaringbitmap.shims dari 0.9.39 hingga 0.9.45
  • org.rocksdb.rocksdbjni dari 7.8.3 hingga 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 dari 2.4.3 hingga 2.9.0
  • org.slf4j.jcl-over-slf4j dari versi 2.0.6 ke versi 2.0.7
  • org.slf4j.jul-to-slf4j dari 2.0.6 ke 2.0.7
  • org.slf4j.slf4j-api dari 2.0.6 hingga 2.0.7
  • org.xerial.snappy.snappy-java dari 1.1.10.1 hingga 1.1.10.3
  • org.yaml.snakeyaml dari 1.33 hingga 2.0

Apache Spark

Databricks Runtime 14.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 13.3 LTS, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Perbaiki fungsi aes_decrypt dan ln di Connect
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Perbaiki namedtuples yang diwariskan agar berfungsi dalam createDataFrame
• [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache harus spesifik untuk classloader
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Membuat Kueri Streaming berfungsi dengan manajemen artefak Connect
• [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Membuat ArrowDeserializer berfungsi dengan kelas yang dihasilkan REPL
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Memperbaiki UDF Python yang dioptimalkan Arrow pada Spark Connect
• [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Mendukung fungsi protobuf python untuk Spark Connect
• [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Hapus fungsi uuid/random/chr dari PySpark
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Perbaiki nilai metadata untuk Artefak
• [SPARK-44822] [DBRRM-464][python][SQL] Membuat UDTF Python secara default non-deterministik
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refaktor Arrow Python UDTF
• [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Tambahkan metadata klien yang hilang ke panggilan
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: objek 'NoneType' tidak memiliki atribut 'message'
• [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager untuk melacak semua eksekusi
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Nonaktifkan pengoptimalan panah secara default untuk UDTF Python
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Menjalankan ExecuteGrpcResponseSender dalam eksekusi yang dapat disambungkan kembali di utas baru untuk memperbaiki kontrol alur
• [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Jadikan semua iterator menjadi CloseableIterators
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Coba Lagi ExecutePlan jika permintaan awal tidak menjangkau server di klien Python
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Coba Lagi ExecutePlan jika permintaan awal tidak mencapai server
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Kesalahan yang dipindahkan ke sq/api juga harus menggunakan AnalysisException
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Tambahkan objek Encoders
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Tindak lanjut penghentian kueri streaming saat sesi klien habis untuk Spark Connect
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] Melepaskan Eksekusi di ExecutePlanResponseReattachableIterator setelah memperoleh kesalahan dari server
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Hapus Dependensi Katalis Klien Connect
• [SPARK-44664] [DBRRM-396][python][CONNECT] Rilis eksekusi saat menutup iterator di klien Python
• [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Hapus direktori berbasis sesi saat cache sesi terisolasi dikeluarkan
• [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Jangan biarkan iterator yang menggantung
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Klien Python untuk menyambungkan kembali ke eksekusi yang sudah ada di Spark Connect
• [SPARK-44637] [SC-138571] Menyinkronkan akses ke ExecuteResponseObserver
• [SPARK-44538] [SC-138178][connect][SQL] Reinstate Row.jsonValue and friends
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Eksekusi yang dapat disambungkan kembali di Spark Connect
• [SPARK-44418] [SC-136807][python][CONNECT] Tingkatkan protobuf dari 3.19.5 ke 3.20.3
• [SPARK-44587] [SC-138315][sql][CONNECT] Tingkatkan batas rekursi pemroses protobuf
• [SPARK-44591] [SC-138292][connect][SQL] Tambahkan jobTags ke SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][sql] DeduplicateRelations harus mempertahankan metadata Alias saat membuat instans baru
• [SPARK-44542] [SC-138323][core] Memuat kelas SparkExitCode dengan cepat dalam penangan pengecualian
• [SPARK-44264] [SC-138143][python] Pengujian End-to-End untuk Deepspeed
• [SPARK-43997] [SC-138347][connect] Tambahkan dukungan untuk Java UDF
• [SPARK-44507] [SQL][connect][14.x][14.0] Pindahkan AnalysisException ke sql/api
• [SPARK-44453] [SC-137013][python] Gunakan difflib untuk menampilkan kesalahan dalam assertDataFrameEqual
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Tambahkan halaman UI Spark untuk Spark Connect
• [SPARK-44611] [SC-138415][connect] Jangan mengecualikan scala-xml
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Memindahkan inferensi encoder ke sql/api
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Perbaiki masalah pemuatan kelas cau...
• [SPARK-44590] [SC-138296][sql][CONNECT] Hapus batas jumlah catatan batch panah untuk SqlCommandResult
• [SPARK-43968] [SC-138115][python] Meningkatkan pesan kesalahan untuk UDTF Python dengan jumlah output yang salah
• [SPARK-44432] [SC-138293][ss][CONNECT] Menghentikan kueri streaming saat waktu sesi habis di Spark Connect
• [SPARK-44584] [SC-138295][connect] Atur informasi client_type untuk AddArtifactsRequest dan ArtifactStatusesRequest di Klien Scala
• [SPARK-44552] [14.0][sc-138176][SQL] Hapus definisi private object ParseState dari IntervalUtils
• [SPARK-43660] [SC-136183][connect][PS] Aktifkan resample dengan Spark Connect
• [SPARK-44287] [SC-136223][sql] Gunakan API PartitionEvaluator di operator RowToColumnarExec & ColumnarToRowExec SQL.
• [SPARK-39634] [SC-137566][sql] Izinkan pemisahan file dalam kombinasi dengan pembuatan indeks baris
• [SPARK-44533] [SC-138058][python] Tambahkan dukungan untuk akumulator, broadcast, dan file Spark dalam analisis UDTF Python
• [SPARK-44479] [SC-138146][python] Perbaikan ArrowStreamPandasUDFSerializer untuk menerima DataFrame pandas tanpa kolom
• [SPARK-44425] [SC-138177][connect] Validasi bahwa sessionId yang disediakan pengguna adalah UUID
• [SPARK-44535] [SC-138038][connect][SQL] Pindahkan API Streaming yang diperlukan ke sql/api
• [SPARK-44264] [SC-136523][ml][PYTHON] Tulis Deepspeed Distributed Learning Class DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][sql] Memperbaiki ResolveInlineTables yang tidak dapat memproses ekspresi RuntimeReplaceable
• [SPARK-44060] [SC-135693][sql] Code-gen untuk build side outer shuffled hash join
• [SPARK-44496] [SC-137682][sql][CONNECT] Pindahkan Antarmuka yang diperlukan oleh SCSC ke sql/api
• [SPARK-44532] [SC-137893][connect][SQL] Move ArrowUtils to sql/api
• [SPARK-44413] [SC-137019][python] Mengklarifikasi kesalahan untuk jenis data arg yang tidak didukung dalam assertDataFrameEqual
• [SPARK-44530] [SC-138036][core][CONNECT] Pindahkan SparkBuildInfo ke common/util
• [SPARK-36612] [SC-133071][sql] Mendukung gabungan luar kiri dengan membangun dari kiri atau gabungan luar kanan dengan membangun dari kanan dalam gabungan hash yang diacak
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils menghasilkan parameter yang salah untuk jar
• [SPARK-44449] [SC-137818][connect] Upcasting untuk Deserialisasi Arrow langsung
• [SPARK-44131] [SC-136346][sql] Tambahkan call_function dan call_udf tidak digunakan lagi untuk API Scala
• [SPARK-44541] [SQL] Hapus fungsi hasRangeExprAgainstEventTimeCol yang tidak berguna dari UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][sql] Filter maxRows/maxRowsPerPartition akan menjadi 0 jika kondisi LiteralSalah
• [SPARK-44540] [SC-137873][ui] Hapus lembar gaya dan file javascript jsonFormatter yang tidak digunakan
• [SPARK-44466] [SC-137856][sql] Mengecualikan konfigurasi yang dimulai dengan SPARK_DRIVER_PREFIX dan SPARK_EXECUTOR_PREFIX dari modifiedConfigs
• [SPARK-44477] [SC-137508][sql] Perlakukan TYPE_CHECK_FAILURE_WITH_HINT sebagai subkelas kesalahan
• [SPARK-44509] [SC-137855][python][CONNECT] Tambahkan API pembatalan pekerjaan yang ditetapkan di klien Spark Connect Python
• [SPARK-44059] [SC-137023] Menambahkan dukungan penganalisis dari argumen bernama untuk fungsi bawaan
• [SPARK-38476] [SC-136448][core] Gunakan kelas kesalahan di org.apache.spark.storage
• [SPARK-44486] [SC-137817][python][CONNECT] Mengimplementasikan fitur PyArrow self_destruct untuk toPandas
• [SPARK-44361] [SC-137200][sql] Gunakan PARTITIONEvaluator API di MapInBatchExec
• [SPARK-44510] [SC-137652][ui] Perbarui dataTables ke 1.13.5 dan hapus beberapa file png yang tidak dicapai
• [SPARK-44503] [SC-137808][sql] Tambahkan tata bahasa SQL untuk klausa PARTITION BY dan ORDER BY setelah argumen TABLE untuk panggilan TVF
• [SPARK-38477] [SC-136319][core] Gunakan kelas kesalahan di org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][connect] Spark Connect gangguan halus yang terperinci
• [SPARK-44380] [SC-137415][sql][PYTHON] Dukungan untuk Python UDTF untuk dianalisis di Python
• [SPARK-43923] [SC-137020][connect] Posting event listenerBus selama…
• [SPARK-44303] [SC-136108][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][ui] Perbaiki kolom HeapHistogram ditampilkan secara tak terduga dengan kotak pilih semua
• [SPARK-44409] [SC-136975][sql] Tangani char/varchar di Dataset.to agar konsisten dengan orang lain
• [SPARK-44334] [SC-136576][sql][UI] Status dalam respons REST API untuk DDL/DML yang gagal tanpa ada pekerjaan harus GAGAL daripada SELESAI
• [SPARK-42309] [SC-136703][sql] Memperkenalkan INCOMPATIBLE_DATA_TO_TABLE dan sub kelas.
• [SPARK-44367] [SC-137418][sql][UI] Tampilkan pesan kesalahan pada UI untuk setiap kueri yang gagal
• [SPARK-44474] [SC-137195][connect] Aktifkan kembali "Pengujian mengamati respons" di SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[1067.1150.1220.1265.1277]
• [SPARK-44310] [SC-136055][connect] Log startup Connect Server harus menampilkan nama host dan port
• [SPARK-44309] [SC-136193][ui] Tampilkan Tambahkan/Hapus Waktu untuk Eksekutor pada Tab Eksekutor
• [SPARK-42898] [SC-137556][sql] Menandai bahwa konversi string/tanggal tidak memerlukan zona waktu
• [SPARK-44475] [SC-137422][sql][CONNECT] Relokasi DataType dan Parser ke sql/api
• [SPARK-44484] [SC-137562][ss]Tambahkan batchDuration ke metode json StreamingQueryProgress
• [SPARK-43966] [SC-137559][sql][PYTHON] Mendukung fungsi bernilai tabel non-deterministik
• [SPARK-44439] [SC-136973][connect][SS]Memperbaiki listListeners untuk hanya mengirim ID-ID kembali kepada klien
• [SPARK-44341] [SC-137054][sql][PYTHON] Tentukan logika komputasi melalui PARTitionEvaluator API dan gunakan di WindowExec dan WindowInPandasExec
• [SPARK-43839] [SC-132680][sql] Konversi _LEGACY_ERROR_TEMP_1337 ke UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][connect][SS]Tambahkan dukungan untuk Pendengar Streaming di Scala untuk Spark Connect
• [SPARK-44260] [SC-135618][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[1215-1245-2329] & Gunakan checkError() untuk memeriksa Pengecualian di _CharVarchar_Suite
• [SPARK-42454] [SC-136913][sql] SPJ: merangkum semua parameter terkait SPJ di BatchScanExec
• [SPARK-44292] [SC-135844][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][connect] Deserialisasi Panah Langsung
• [SPARK-44324] [SC-137172][sql][CONNECT] Pindahkan CaseInsensitiveMap ke sql/api
• [SPARK-44395] [SC-136744][sql] Tambahkan pengujian kembali ke StreamingTableSuite
• [SPARK-44481] [SC-137401][connect][PYTHON] Jadikan pyspark.sql.is_remote sebuah API
• [SPARK-44278] [SC-137400][connect] Terapkan pencegat server GRPC yang membersihkan properti lokal utas
• [SPARK-44264] [SC-137211][ml][PYTHON] Mendukung Pelatihan Fungsi Terdistribusi Menggunakan Deepspeed
• [SPARK-44430] [SC-136970][sql] Tambahkan penyebab ke AnalysisException ketika opsi tidak valid
• [SPARK-44264] [SC-137167][ml][PYTHON] Menggabungkan FunctionPickler Ke Dalam TorchDistributor
• [SPARK-44216] [SC-137046] [PyTHON] Membuat API assertSchemaEqual menjadi publik
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-43203] [SC-134528][sql] Pindahkan semua kotak Drop Table ke DataSource V2
• [SPARK-43755] [SC-137171][connect][MINOR] Buka AdaptiveSparkPlanHelper.allChildren alih-alih menggunakan salinan di MetricGenerator
• [SPARK-44264] [SC-137187][ml][PYTHON] Merestrukturisasi TorchDistributor Untuk Memungkinkan Penunjuk Fungsi "run_training_on_file" Kustom
• [SPARK-43755] [SC-136838][connect] Pindahkan eksekusi dari SparkExecutePlanStreamHandler ke utas yang berbeda
• [SPARK-44411] [SC-137198][sql] Gunakan PARTITIONEvaluator API di ArrowEvalPythonExec dan BatchEvalPythonExec
• [SPARK-44375] [SC-137197][sql] Gunakan PARTITIONEvaluator API di DebugExec
• [SPARK-43967] [SC-137057][python] Mendukung UDTF Python reguler dengan nilai pengembalian kosong
• [SPARK-43915] [SC-134766][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][python][CONNECT] Dukungan Python UDTF di Spark Connect
• [SPARK-44154] [SC-137050][sql] Menambahkan lebih banyak pengujian unit ke BitmapExpressionUtilsSuite dan melakukan peningkatan kecil pada Ekspresi Agregat Bitmap
• [SPARK-44169] [SC-135497][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][connect][SQL] Remove StructType.toAttributes
• [SPARK-43964] [SC-136676][sql][PYTHON] Mendukung UDTF Python yang dioptimalkan panah
• [SPARK-44321] [SC-136308][connect] Decouple ParseException dari AnalysisException
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Mengaktifkan kembali test_artifact dengan perubahan yang relevan
• [SPARK-44145] [SC-136698][sql] Callback saat siap dieksekusi
• [SPARK-43983] [SC-136404][python][ML][connect] Aktifkan pengujian estimator validasi silang
• [SPARK-44399] [SC-136669][python][CONNECT] Impor SparkSession di Python UDF hanya ketika useArrow adalah None
• [SPARK-43631] [SC-135300][connect][PS] Memungkinkan Series.interpolate dengan Spark Connect
• [SPARK-44374] [SC-136544][python][ML] Tambahkan kode contoh untuk ML terdistribusi untuk spark connect
• [SPARK-44282] [SC-135948][connect] Siapkan penguraian DataType untuk digunakan di Klien Spark Connect Scala
• [SPARK-44052] [SC-134469][connect][PS] Tambahkan util untuk mendapatkan kelas Kolom atau DataFrame yang tepat untuk Spark Connect.
• [SPARK-43983] [SC-136404][python][ML][connect] Implementasikan estimator untuk validasi silang
• [SPARK-44290] [SC-136300][connect] File dan arsip berbasis sesi di Spark Connect
• [SPARK-43710] [SC-134860][ps][CONNECT] functions.date_part Dukungan untuk Spark Connect
• [SPARK-44036] [SC-134036][connect][PS] Cleanup & mengonsolidasikan tiket untuk menyederhanakan tugas.
• [SPARK-44150] [SC-135790][python][CONNECT] Penuangan Arrow secara eksplisit untuk jenis pengembalian yang tidak sesuai di Arrow Python UDF
• [SPARK-43903] [SC-134754][python][CONNECT] Meningkatkan dukungan input ArrayType di Arrow Python UDF
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Mengimplementasikan evaluator klasifikasi
• [SPARK-44255] [SC-135704][sql] Relokasi StorageLevel ke common/utils
• [SPARK-42169] [SC-135735] [SQL] Menerapkan pembuatan kode untuk fungsi to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refactor PythonUDTFRunner untuk mengirim jenis pengembaliannya secara terpisah
• [SPARK-43353] [SC-132734][python] Memigrasikan kesalahan sesi yang tersisa ke kelas kesalahan
• [SPARK-44133] [SC-134795][python] Upgrade MyPy dari 0,920 ke 0,982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde dalam format JSON
• [SPARK-43353] Batalkan "[SC-132734][es-729763][PYTHON] Memigrasikan kesalahan sesi yang tersisa ke kelas kesalahan"
• [SPARK-44100] [SC-134576][ml][CONNECT][python] Pindahkan namespace dari pyspark.mlv2 ke pyspark.ml.connect
• [SPARK-44220] [SC-135484][sql] Pindahkan StringConcat ke sql/api
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Tambahkan pola opsional untuk Catalog.listFunctions
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Mengimplementasikan estimator pipeline untuk ML pada Spark Connect
• [SPARK-43888] [SC-132893][core] Relokasi Pengelogan ke common/utils
• [SPARK-42941] Batalkan perubahan “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde dalam format JSON”
• [SPARK-43624] [SC-134557][ps][CONNECT] Tambahkan EWM ke SparkConnectPlanner.
• [SPARK-43981] [SC-134137][python][ML] Implementasi penyimpanan / pemuatan dasar untuk ML pada spark connect
• [SPARK-43205] [SC-133371][sql] perbaiki SQLQueryTestSuite
• [SPARK-43376] Batalkan "[SC-130433][sql] Tingkatkan penggunaan kembali subkueri dengan cache tabel"
• [SPARK-44040] [SC-134366][sql] Perbaiki statistik komputasi saat simpul AggregateExec di atas QueryStageExec
• [SPARK-43919] [SC-133374][sql] Memisahkan fungsionalitas JSON dari Row
• [SPARK-42618] [SC-134433][python][PS] Peringatan untuk perubahan perilaku terkait panda dalam rilis utama berikutnya
• [SPARK-43893] [SC-133381][python][CONNECT] Dukungan jenis data non-atomik di UDF Python yang dioptimalkan dengan Arrow
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] Aktifkan pyspark.pandas.spark.functions.{kurt, skew} di Spark Connect.
• [SPARK-43798] [SC-133990][sql][PYTHON] Mendukung fungsi tabel yang ditentukan pengguna Python
• [SPARK-43616] [SC-133849][ps][CONNECT] Aktifkan pyspark.pandas.spark.functions.mode di Spark Connect
• [SPARK-43133] [SC-133728] Dukungan Scala Client DataStreamWriter Foreach
• [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Fix (NullOps|NumOps).(eq|ne) for Spark Connect.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Aktifkan pyspark.pandas.spark.functions.{var, stddev} di Spark Connect
• [SPARK-43617] [SC-133893][ps][CONNECT] Aktifkan pyspark.pandas.spark.functions.product di Spark Connect
• [SPARK-43610] [SC-133832][connect][PS] Enable InternalFrame.attach_distributed_column in Spark Connect.
• [SPARK-43621] [SC-133852][ps][CONNECT] Aktifkan pyspark.pandas.spark.functions.repeat di Spark Connect
• [SPARK-43921] [SC-133461][protobuf] Menghasilkan file deskriptor Protobuf pada waktu build
• [SPARK-43613] [SC-133727][ps][CONNECT] Aktifkan pyspark.pandas.spark.functions.covar di Spark Connect
• [SPARK-43376] [SC-130433][sql] Meningkatkan penggunaan kembali subkueri dengan cache tabel
• [SPARK-43612] [SC-132011][connect][PYTHON] Implement SparkSession.addArtifact(s) di klien Python
• [SPARK-43920] [SC-133611][sql][CONNECT] Buat modul sql/api
• [SPARK-43097] [SC-133372][ml] Estimator regresi logistik Pyspark ML baru yang diterapkan di atas distributor
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Make MLv2 (ML on spark connect) mendukung pandas >= 2.0
• [SPARK-43024] [SC-132716][python] Tingkatkan pandas ke 2.0.0
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Tambahkan pola opsional untuk Catalog.listDatabases
• [SPARK-39281] [SC-131422][sql] Mempercepat inferensi jenis Tanda Waktu dengan format warisan dalam sumber data JSON/CSV
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Tambahkan pola opsional untuk Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [KONEKSI] Python Client DataStreamWriter foreach() API
• [SPARK-43545] [SC-132378][sql][PYTHON] Mendukung jenis tanda waktu berlapis
• [SPARK-43353] [SC-132734][python] Memigrasikan kesalahan sesi yang tersisa ke kelas kesalahan
• [SPARK-43304] [SC-129969][connect][PYTHON] Migrasikan NotImplementedError ke PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Antarmuka dasar sparkML untuk spark3.5: estimator/transformer/model/evaluator
• [SPARK-43128] Membatalkan “[SC-131628][connect][SS] Membuat recentProgress dan lastProgress mengembalikan StreamingQueryProgress konsisten dengan Api Scala asli”
• [SPARK-43543] [SC-131839][python] Perbaiki perilaku MapType berlapis di Pandas UDF
• [SPARK-38469] [SC-131425][core] Gunakan kelas kesalahan di org.apache.spark.network
• [SPARK-43309] [SC-129746][spark-38461][CORE] Perpanjang INTERNAL_ERROR dengan kategori dan tambahkan kelas kesalahan INTERNAL_ERROR_BROADCAST
• [SPARK-43265] [SC-129653] Memindahkan kerangka kerja Kesalahan ke modul utils umum
• [SPARK-43440] [SC-131229][python][CONNECT] Mendukung pendaftaran Python UDF yang dioptimalkan Arrow
• [SPARK-43528] [SC-131531][sql][PYTHON] Mendukung nama bidang duplikat di createDataFrame dengan pandas DataFrame
• [SPARK-43412] [SC-130990][python][CONNECT] Memperkenalkan SQL_ARROW_BATCHED_UDF EvalType untuk UDF Python yang dioptimalkan dengan Arrow
• [SPARK-40912] [SC-130986][core]Overhead Pengecualian dalam KryoDeserializationStream
• [SPARK-39280] [SC-131206][sql] Mempercepat inferensi jenis Tanda Waktu dengan format yang disediakan pengguna dalam sumber data JSON/CSV
• [SPARK-43473] [SC-131372][python] Mendukung tipe struct dalam createDataFrame dari pandas DataFrame
• [SPARK-43443] [SC-131024][sql] Tambahkan tolok ukur untuk inferensi jenis Tanda Waktu saat menggunakan nilai yang tidak valid
• [SPARK-41532] [SC-130523][connect][CLIENT] Tambahkan pengecekan untuk operasi yang melibatkan beberapa data frame
• [SPARK-43296] [SC-130627][connect][PYTHON] Memigrasikan kesalahan sesi Spark Connect ke kelas kesalahan
• [SPARK-43324] [SC-130455][sql] Menangani perintah UPDATE untuk sumber berbasis delta
• [SPARK-43347] [SC-130148][python] Hapus Dukungan Python 3.7
• [SPARK-43292] [SC-130525][core][CONNECT] Pindahkan ExecutorClassLoader ke modul core dan sederhanakan Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Tambahkan pemuat data distributor obor yang memuat data dari data partisi spark
• [SPARK-43331] [SC-130061][connect] Tambahkan Spark Connect di SparkSession.interruptAll
• [SPARK-43306] [SC-130320][python] Migrasikan ValueError dari jenis Spark SQL ke kelas kesalahan
• [SPARK-43261] [SC-129674][python] Migrasikan TypeError dari jenis Spark SQL ke kelas kesalahan.
• [SPARK-42992] [SC-129465][python] Perkenalkan PySparkRuntimeError
• [SPARK-16484] [SC-129975][sql] Tambahkan dukungan untuk Datasketches HllSketch
• [SPARK-43165] [SC-128823][sql] Memindahkan canWrite ke DataTypeUtils
• [SPARK-43082] [SC-129112][connect][PYTHON] UDF Python yang dioptimalkan oleh Arrow di Spark Connect
• [SPARK-43084] [SC-128654] [SS] Menambahkan dukungan applyInPandasWithState untuk spark connect
• [SPARK-42657] [SC-128621][connect] Dukungan untuk menemukan dan mentransfer file kelas REPL sisi klien ke server sebagai artefak
• [SPARK-43098] [SC-77059][sql] Perbaiki bug COUNT kebenaran saat subkueri skalar memiliki klausa GROUP BY
• [SPARK-42884] [SC-126662][connect] Tambahkan integrasi Amonite REPL
• [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch Distributor mendukung Mode Lokal
• [SPARK-41498] [SC-125343]Kembalikan " Sebarkan metadata melalui Union"
• [SPARK-42993] [SC-127829][ml][CONNECT] Membuat Distributor PyTorch kompatibel dengan Spark Connect
• [SPARK-42683] [LC-75] Ganti nama kolom metadata yang bertentangan secara otomatis
• [SPARK-42874] [SC-126442][sql] Aktifkan kerangka kerja pengujian file emas baru untuk analisis untuk semua file input
• [SPARK-42779] [SC-126042][sql] Izinkan penulisan V2 menunjukkan ukuran partisi pemindahan berdasarkan saran
• [SPARK-42891] [SC-126458][connect][PYTHON] Implement CoGrouped Map API
• [SPARK-42791] [SC-126134][sql] Buat kerangka kerja pengujian file emas baru untuk analisis
• [SPARK-42615] [SC-124237][connect][PYTHON] Refaktor RPC AnalyzePlan dan tambahkan session.version
• [SPARK-41302] Batalkan "[ALL TESTS][sc-122423][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1185"
• [SPARK-40770] [SC-122652][python] Peningkatan pesan kesalahan pada applyInPandas terkait ketidakcocokan skema
• [SPARK-40770] Batalkan “[ALL TESTS][sc-122652][PYTHON] Peningkatan pesan kesalahan untuk applyInPandas pada ketidakcocokan skema”
• [SPARK-42398] [SC-123500][sql] Memperbaiki nilai kolom default antarmuka DS v2
• [SPARK-40770] [ALL TESTS][sc-122652][PYTHON] Peningkatan pesan kesalahan untuk applyInPandas terkait ketidakcocokan skema
• [SPARK-40770] Membatalkan perubahan “[SC-122652][python] Peningkatan pesan kesalahan dalam applyInPandas untuk ketidakcocokan skema"
• [SPARK-40770] [SC-122652][python] Pesan kesalahan yang ditingkatkan untuk applyInPandas untuk ketidakcocokan skema
• [SPARK-42038] [ALL TESTS] Kembali "Kembalikan "[SC-122533][sql] SPJ: Mendukung distribusi terkluster sebagian""
• [SPARK-42038] Batalkan "[SC-122533][sql] SPJ: Mendukung distribusi terkluster sebagian"
• [SPARK-42038] [SC-122533][sql] SPJ: Mendukung distribusi berkluster sebagian
• [SPARK-40550] [SC-120989][sql] DataSource V2: Menangani perintah DELETE untuk sumber berbasis delta
• [SPARK-40770] Membatalkan “[SC-122652][python] Peningkatan pesan kesalahan untuk applyInPandas karena ketidakcocokan skema”
• [SPARK-40770] [SC-122652][python] Penyempurnaan pesan kesalahan untuk applyInPandas ketika terjadi ketidaksesuaian skema
• [SPARK-41302] Batalkan “[SC-122423][sql] Tetapkan nama ke _LEGACY_ERROR_TEMP_1185”
• [SPARK-40550] Membatalkan "[SC-120989][sql] DataSource V2: Mengelola perintah DELETE untuk sumber berbasis delta"
• [SPARK-42123] Balikkan "[SC-121453][sql] Sertakan nilai default kolom dalam DESCRIBE dan output SHOW CREATE TABLE"
• [SPARK-42146] [SC-121172][core] Memperbaiki Utils#setStringField agar build maven berhasil saat modul sql menggunakan metode ini
• [SPARK-42119] Membatalkan “[SC-121342][sql] Tambahkan fungsi bernilai tabel bawaan sebaris dan inline_outer”

Sorotan

• Perbaiki aes_decrypt dan lnfungsi di Connect SPARK-45109
• Memperbaiki tuple bernama yang diwariskan agar berfungsi di createDataFrame SPARK-44980
• Cache CodeGenerator sekarang bersifat spesifik untuk classloader [SPARK-44795]
• Ditambahkan SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
• Membuat Kueri Streaming beroperasi dengan manajemen artefak Connect [SPARK-44794]
• ArrowDeserializer bekerja dengan kelas yang dihasilkan oleh REPL [SPARK-44791]
• Memperbaiki Python UDF yang dioptimalkan Arrow pada Spark Connect [SPARK-44876]
• Dukungan klien Scala dan Go di Spark Connect SPARK-42554SPARK-43351
• Dukungan ML terdistribusi berbasis PyTorch untuk Spark Connect SPARK-42471
• Dukungan Streaming Terstruktur untuk Spark Connect di Python dan Scala SPARK-42938
• Dukungan API Pandas untuk Python Spark Connect Client SPARK-42497
• Memperkenalkan Arrow Python UDFs SPARK-40307
• Mendukung fungsi tabel yang ditentukan pengguna Python SPARK-43798
• Memigrasikan kesalahan PySpark ke dalam kelas kesalahan SPARK-42986
• PySpark Test Framework SPARK-44042
• Menambahkan dukungan untuk Datasketches HllSketch SPARK-16484
• Peningkatan Fungsi SQL Terbawakan SPARK-41231
• Klausa IDENTIFIER SPARK-43205
• Menambahkan fungsi SQL ke Scala, Python, dan R API SPARK-43907
• Menambahkan dukungan argumen bernama untuk fungsi SQL SPARK-43922
• Hindari pengoperasian ulang tugas yang tidak perlu pada eksekutor yang sudah dinonaktifkan dan hilang, jika data acak telah dimigrasikan SPARK-41469
• ML terdistribusi <> spark connect SPARK-42471
• DeepSpeed Distributor SPARK-44264
• Menerapkan changelog checkpointing untuk penyimpanan status RocksDB SPARK-43421
• Memperkenalkan propagasi tanda air di antara operator SPARK-42376
• Memperkenalkan dropDuplicatesWithinWatermark SPARK-42931
• Penyempurnaan manajemen memori pengelola penyimpanan status RocksDB SPARK-43311

Spark Connect

• Refaktorisasi modul SQL menjadi SQL dan SQL-API untuk menghasilkan satu set dependensi minimum yang dapat dibagikan antara klien Scala Spark Connect serta Spark, dan menghindari penarikan semua dependensi transitif Spark. SPARK-44273
• Memperkenalkan klien Scala untuk Spark Connect SPARK-42554
• Dukungan API Pandas untuk Python Spark Connect Client SPARK-42497
• Dukungan ML terdistribusi berbasis PyTorch untuk Spark Connect SPARK-42471
• Dukungan Streaming Terstruktur untuk Spark Connect di Python dan Scala SPARK-42938
• Versi awal klien Go SPARK-43351
• Banyak peningkatan kompatibilitas antara Spark asli dan klien Spark Connect di seluruh Python dan Scala
• Peningkatan debugabilitas dan penanganan permintaan untuk aplikasi klien (pemrosesan asinkron, percobaan ulang, kueri berumur panjang)

Spark SQL

Fitur

• Tambahkan kolom metadata untuk blok file berupa posisi mulai dan panjang SPARK-42423
• Mendukung parameter posisi di Scala/Java sql() SPARK-44066
• Menambahkan dukungan parameter bernama di parser untuk panggilan fungsi SPARK-43922
• Mendukung SELECT DEFAULT dengan ORDER BY, LIMIT, OFFSET untuk relasi sumber INSERT SPARK-43071
• Menambahkan tata bahasa SQL untuk klausul PARTITION BY dan ORDER BY setelah argumen TABLE untuk panggilan TVF SPARK-44503
• Sertakan nilai default kolom dalam DESCRIBE dan output SHOW CREATE TABLE SPARK-42123
• Menambahkan pola opsional untuk Catalog.listCatalogs SPARK-43792
• Menambahkan pola opsional untuk Catalog.listDatabases SPARK-43881
• Panggilan balik saat siap untuk eksekusi SPARK-44145
• Dukungan pernyataan "Insert By Name" SPARK-42750
• Menambahkan call_function untuk Scala API SPARK-44131
• Alias kolom turunan yang stabil SPARK-40822
• Mendukung ekspresi konstanta umum sebagai nilai CREATE/REPLACE TABLE OPTIONS SPARK-43529
• Mendukung subkueri dengan korelasi melalui INTERSECT/EXCEPT SPARK-36124
• Klausa IDENTIFIER SPARK-43205
• MODE ANSI: Conv harus mengembalikan kesalahan jika terjadi overflow pada konversi internal SPARK-42427

Fungsi

• Menambahkan dukungan untuk Datasketches HllSketch SPARK-16484
• Mendukung mode CBC dengan aes_encrypt()/aes_decrypt() SPARK-43038
• Mendukung aturan pengurai argumen TABLE untuk TableValuedFunction SPARK-44200
• Menerapkan fungsi bitmap SPARK-44154
• Menambahkan fungsi try_aes_decrypt() SPARK-42701
• array_insert harus gagal pada indeks 0 SPARK-43011
• Menambahkan alias to_varchar untuk to_char SPARK-43815
• Fungsi tingkat tinggi: implementasi array_compact SPARK-41235
• Menambahkan dukungan penganalisis argumen bernama untuk fungsi bawaan SPARK-44059
• Tambahkan NULL untuk INSERT pada daftar kolom yang ditentukan pengguna yang lebih sedikit daripada tabel target SPARK-42521.
• Menambahkan dukungan untuk IV aes_encrypt dan AAD SPARK-43290
• Fungsi DECODE menghasilkan hasil yang salah ketika diberikan NULL SPARK-41668
• Mendukung fungsi UDF 'luhn_check' SPARK-42191
• Mendukung resolusi alias kolom lateral implisit pada Agregat SPARK-41631
• Mendukung alias implisit untuk kolom lateral dalam kueri dengan Window SPARK-42217
• Menambahkan alias fungsi 3-args DATE_ADD dan DATE_DIFF SPARK-43492

Sumber Data

• Dukungan Char/Varchar untuk JDBC Catalog SPARK-42904
• Mendukung Pengambilan Kata Kunci SQL Secara Dinamis Melalui JDBC API dan TVF SPARK-43119
• DataSource V2: Menangani perintah MERGE untuk sumber berbasis delta SPARK-43885
• DataSource V2: Menangani perintah MERGE untuk sumber berbasis grup SPARK-43963
• DataSource V2: Menangani perintah UPDATE untuk sumber berbasis grup SPARK-43975
• DataSource V2: Mengizinkan mewakili pembaruan sebagai penghapusan dan penyisipan SPARK-43775
• Perbolehkan dialek jdbc untuk mengambil alih kueri yang digunakan untuk membuat tabel SPARK-41516
• SPJ: Mendukung distribusi terkluster sebagian SPARK-42038
• DSv2 memungkinkan CTAS/RTAS untuk mencadangkan skema ketidaknullan SPARK-43390
• Menambahkan spark.sql.files.maxPartitionNum SPARK-44021
• Menangani perintah UPDATE untuk sumber berbasis delta SPARK-43324
• Izinkan penulisan V2 untuk menunjukkan ukuran partisi shuffle saran SPARK-42779
• Mendukung codec kompresi lz4raw untuk Parquet SPARK-43273
• Avro: penulisan serikat kompleks SPARK-25050
• Mempercepat inferensi jenis Tanda Waktu dengan format yang disediakan pengguna dalam sumber data JSON/CSV SPARK-39280
• Avro untuk mendukung tipe desimal kustom yang berbasis Long SPARK-43901
• Hindari pengacakan di Storage-Partitioned Join saat kunci partisi tidak cocok, tetapi ekspresi gabungan tetap kompatibel. SPARK-41413
• Mengubah tipe biner menjadi tipe data yang tidak didukung dalam format CSV SPARK-42237
• Izinkan Avro mengonversi jenis union ke SQL dengan nama bidang stabil dengan tipe SPARK-43333
• Mempercepat inferensi jenis Tanggal/Waktu dengan format warisan pada sumber data JSON/CSV SPARK-39281

Pengoptimalan Kueri

• Dukungan eliminasi subekspresi untuk ekspresi pintasan SPARK-42815
• Meningkatkan estimasi statistik penggabungan jika satu sisi dapat mempertahankan keunikan SPARK-39851
• Perkenalkan batas grup pada jendela untuk filter berbasis peringkat guna mengoptimalkan komputasi top-k SPARK-37099
• Memperbaiki perilaku null IN (daftar kosong) dalam aturan pengoptimalan SPARK-44431
• Menyimpulkan dan mendorong batas jendela melalui jendela jika partitionSpec kosong SPARK-41171
• Hapus gabungan luar jika semuanya merupakan fungsi agregat yang berbeda SPARK-42583
• Ciutkan dua jendela yang berdekatan dengan partisi/urutan yang sama dalam subkueri SPARK-42525
• Mengurangi batas melalui Python UDFs SPARK-42115
• Mengoptimalkan urutan pemfilteran predikat SPARK-40045

Pembuatan Kode dan Eksekusi Kueri

• Filter runtime harus mendukung sisi gabungan acak multi-tingkat sebagai sisi pembuatan filter SPARK-41674
• Dukungan Codegen untuk HiveSimpleUDF SPARK-42052
• Dukungan Codegen untuk HiveGenericUDF SPARK-42051
• Dukungan Codegen untuk build side pada outer shuffled hash join SPARK-44060
• Menerapkan pembuatan kode untuk fungsi to_csv (StructsToCsv) SPARK-42169
• Menyediakan dukungan AQE untuk InMemoryTableScanExec SPARK-42101
• Mendukung build join outer kiri atau kanan, dan build join outer kanan dalam join hash yang diacak SPARK-36612
• Hormatilah RequiresDistributionAndOrdering dalam CTAS/RTAS SPARK-43088
• Wadah coalesce dalam gabungan diterapkan pada sisi streaming gabungan siaran SPARK-43107
• Atur nullable dengan benar pada coalesced join key pada full outer join USING SPARK-44251
• Memperbaiki nullabilitas ListQuery IN subkueri SPARK-43413

Perubahan penting lainnya

• Mengatur nullable dengan benar untuk kunci dalam USING joins SPARK-43718
• Perbaiki bug nilai null COUNT(*) dalam subkueri skalar berkorelasi SPARK-43156
• Dataframe.joinWith outer-join harus mengembalikan nilai null untuk baris SPARK-37829 yang tidak cocok
• Secara otomatis ganti nama kolom metadata yang bertentangan SPARK-42683
• Dokumentasikan kelas kesalahan Spark SQL dalam dokumentasi yang menghadap pengguna SPARK-42706

PySpark

Fitur

• Sekarang mendukung parameter posisional di Python sql() SPARK-44140
• Mendukung SQL berparameter oleh sql() SPARK-41666
• Mendukung fungsi tabel yang ditentukan pengguna Python SPARK-43797
• Dukungan untuk mengatur Python executable untuk API fungsi UDF dan pandas pada pekerja selama runtime SPARK-43574
• Menambahkan DataFrame.offset ke PySpark SPARK-43213
• Terapkan dir() di pyspark.sql.dataframe.DataFrame untuk menyertakan kolom SPARK-43270
• Tambahkan opsi untuk menggunakan vektor lebar variabel besar untuk operasi UDF arrow SPARK-39979
• Membuat mapInPandas / mapInArrow mendukung eksekusi dengan mode barier SPARK-42896
• Menambahkan API JobTag ke PySpark SparkContext SPARK-44194
• Dukungan untuk Python UDTF untuk dianalisis di Python SPARK-44380
• Mengekspos TimestampNTZType di pyspark.sql.type SPARK-43759
• Mendukung jenis tanda waktu berlapis SPARK-43545
• Mendukung UserDefinedType pada createDataFrame dari pandas DataFrame dan toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Menambahkan opsi biner deskriptor ke Pyspark Protobuf API SPARK-43799
• Terima tuple generik sebagai petunjuk pengetikan Pandas UDF SPARK-43886
• Tambahkan fungsi array_prepend SPARK-41233
• Tambahkan fungsi utilitas assertDataFrameEqual SPARK-44061
• Mendukung UDTF Python yang dioptimalkan dengan panah SPARK-43964
• Izinkan presisi kustom untuk kesetaraan aproksimasi fp SPARK-44217
• Menjadikan API assertSchemaEqual publik SPARK-44216
• Mendukung fill_value untuk ps. Seri SPARK-42094
• Mendukung tipe struct di createDataFrame dari pandas DataFrame SPARK-43473

Perubahan penting lainnya

• Tambahkan dukungan lengkapi otomatis untuk df[|] di pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Menghentikan & menghapus API yang akan dihapus di pandas 2.0 [SPARK-42593]
• Jadikan Python sebagai tab pertama untuk contoh kode - Spark SQL, DataFrames, dan Panduan Himpunan Data SPARK-42493
• Memperbarui contoh kode dokumentasi Spark yang tersisa untuk menampilkan Python secara default SPARK-42642
• Gunakan nama bidang yang telah dideduplikasi saat membuat Arrow RecordBatch [SPARK-41971]
• Mendukung nama kolom duplikat di createDataFrame dengan pandas DataFrame [SPARK-43528]
• Izinkan parameter kolom saat membuat DataFrame dengan Seri [SPARK-42194]

Inti

• Jadwalkan mergeFinalize saat melakukan push untuk menggabungkan shuffleMapStage sedang mencoba ulang tetapi tidak ada tugas yang sedang berjalan dalam [SPARK-40082].
• Memperkenalkan PartitionEvaluator untuk eksekusi operator SQL SPARK-43061
• Izinkan ShuffleDriverComponent untuk mendeklarasikan apakah data shuffle disimpan dengan andal SPARK-42689
• Menambahkan batasan upaya maks untuk tahapan untuk menghindari potensi percobaan ulang tak terbatas SPARK-42577
• Mendukung konfigurasi level log dengan conf Spark statis SPARK-43782
• Mengoptimalkan PercentileHeap SPARK-42528
• Tambahkan argumen alasan ke TaskScheduler.cancelTasks SPARK-42602
• Hindari pengoperasian ulang tugas yang tidak perlu pada eksekutor yang telah dinonaktifkan dan hilang jika shuffle data telah dimigrasikan SPARK-41469
• Memperbaiki perhitungan kurang pada akumulator dalam kasus tugas pengulangan dengan cache RDD SPARK-41497
• Gunakan RocksDB untuk spark.history.store.hybridStore.diskBackend secara default SPARK-42277
• Pembungkus NonFateSharingCache untuk Guava Cache SPARK-43300
• Meningkatkan performa MapOutputTracker.updateMapOutput SPARK-43043
• Mengizinkan aplikasi mengontrol apakah metadata mereka disimpan di basis data oleh External Shuffle Service SPARK-43179
• Menambahkan variabel env SPARK_DRIVER_POD_IP ke pod pelaksana SPARK-42769
• Memasang peta konfigurasi hadoop pada pod eksekutor SPARK-43504

Streaming Terstruktur

• Menambahkan dukungan untuk melacak penggunaan memori blok yang disematkan untuk keadaan penyimpanan RocksDB SPARK-43120
• Tambahkan peningkatan manajemen memori untuk penyedia penyimpanan status RocksDB SPARK-43311
• Memperkenalkan dropDuplicatesWithinWatermark SPARK-42931
• Memperkenalkan callback baru onQueryIdle() ke StreamingQueryListener SPARK-43183
• Tambahkan opsi untuk melewati koordinator komit sebagai bagian dari API StreamingWrite untuk sumber/sink DSv2 SPARK-42968
• Memperkenalkan panggilan balik baru "onQueryIdle" ke StreamingQueryListener SPARK-43183
• Menerapkan Titik Pemeriksaan berbasis Changelog untuk RocksDB State Store Provider SPARK-43421
• Tambahkan dukungan untuk WRITE_FLUSH_BYTES untuk RocksDB yang digunakan dalam operator stateful streaming SPARK-42792
• Tambahkan dukungan untuk pengaturan max_write_buffer_number dan write_buffer_size untuk RocksDB yang digunakan dalam streaming SPARK-42819
• Akuisisi kunci StateStore RocksDB seharusnya terjadi setelah memperoleh iterator input dari inputRDD SPARK-42566
• Memperkenalkan penyebaran tanda air di antara operator SPARK-42376
• Membersihkan file sst dan log yatim di direktori titik pemeriksaan RocksDB SPARK-42353
• Perluas QueryTerminatedEvent untuk berisi kelas kesalahan jika ada dalam pengecualian SPARK-43482

ML

• Mendukung Pelatihan Fungsi Terdistribusi Menggunakan Deepspeed SPARK-44264
• Antarmuka dasar sparkML untuk spark3.5: estimator/transformer/model/evaluator SPARK-43516
• Membuat MLv2 (ML pada spark connect) mendukung pandas >= 2.0 SPARK-43783
• Memperbarui antarmuka Transformer MLv2 SPARK-43516
• Estimator regresi logistik Pyspark ML baru diterapkan di atas distributor SPARK-43097
• Tambahkan Classifier.getNumClasses kembali SPARK-42526
• Membuat Kelas Pembelajaran Terdistribusi Deepspeed DeepspeedTorchDistributor SPARK-44264
• Implementasi penyimpanan/ pemuatan dasar untuk ML pada spark connect SPARK-43981
• Meningkatkan proses penyimpanan model regresi logistik SPARK-43097
• Menerapkan estimator alur untuk ML pada spark connect SPARK-43982
• Menerapkan estimator validator silang SPARK-43983
• Menerapkan evaluator klasifikasi SPARK-44250
• Membuat PyTorch Distributor kompatibel dengan Spark Connect SPARK-42993

Antarmuka Pengguna

• Menambahkan halaman Spark UI untuk Spark Connect SPARK-44394
• Dukung kolom Heap Histogram di tab Pelaksana SPARK-44153
• Perlihatkan pesan kesalahan pada UI untuk setiap kueri SPARK-44367 yang gagal
• Tampilkan Waktu Tambah/Hapus Pelaksana pada Tab Pelaksana SPARK-44309

Pengembangan dan Lainnya

• Hapus Dukungan Python 3.7 SPARK-43347
• Tingkatkan versi minimum PyArrow ke 4.0.0 SPARK-44183
• Dukungan R 4.3.1 SPARK-43447SPARK-44192
• Menambahkan API JobTag ke SparkR SparkContext SPARK-44195
• Menambahkan fungsi matematika ke SparkR SPARK-44349
• Tingkatkan Parquet ke 1.13.1 SPARK-43519
• Tingkatkan ASM ke 9.5 SPARK-43537SPARK-43588
• Tingkatkan rocksdbjni ke 8.3.2 SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Tingkatkan Netty ke 4.1.93 SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• Tingkatkan zstd-jni ke 1.5.5-5 SPARK-42409 SPARK-42625SPARK-43080SPARK-43294SPARK-43737 SPARK-43994 SPARK-44465
• Tingkatkan Dropwizard metrics 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Tingkatkan gcs-connector ke 2.2.14 SPARK-42888SPARK-43842
• Tingkatkan commons-crypto ke 1.2.0 SPARK-42488
• Tingkatkan scala-parser-combinator dari 2.1.1 ke 2.2.0 SPARK-42489
• Tingkatkan protobuf-java ke 3.23.4 SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Tingkatkan commons-codec ke 1.16.0 SPARK-44151
• Tingkatkan Apache Kafka ke 3.4.1 SPARK-42396SPARK-44181
• Tingkatkan RoaringBitmap ke 0.9.45 SPARK-42385SPARK-43495SPARK-44221
• Memperbarui ORC ke 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Tingkatkan ke Avro 1.11.2 SPARK-44277
• Tingkatkan commons-compress ke 1.23.0 SPARK-43102
• Tingkatkan joda-time dari 2.12.2 ke 2.12.5 SPARK-43008
• Tingkatkan snappy-java ke 1.1.10.3 SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• Tingkatkan mysql-connector-java dari 8.0.31 ke 8.0.32 SPARK-42717
• Tingkatkan Apache Arrow ke 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Tingkatkan commons-io ke 2.12.0 SPARK-43739
• Tingkatkan Apache commons-io ke 2.13.0 SPARK-43739SPARK-44028
• Tingkatkan FasterXML jackson ke 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Meningkatkan log4j2 ke 2.20.0 SPARK-42536
• Tingkatkan slf4j ke 2.0.7 SPARK-42871
• Tingkatkan numpy dan pandas dalam Dockerfile rilis SPARK-42524
• Tingkatkan Jersey ke 2.40 SPARK-44316
• Tingkatkan H2 dari 2.1.214 ke 2.2.220 SPARK-44393
• Upgrade optionator ke ^0.9.3 SPARK-44279
• Tingkatkan bcprov-jdk15on dan bcpkix-jdk15on ke 1,70 SPARK-44441
• Tingkatkan mlflow ke 2.3.1 SPARK-43344
• Tingkatkan Tink ke 1.9.0 SPARK-42780
• Tingkatkan peredam ke 1.7.13 SPARK-41787SPARK-44031
• Tingkatkan Amonite ke 2.5.9 SPARK-44041
• Tingkatkan Scala ke 2.12.18 SPARK-43832
• Tingkatkan org.scalatestplus:selenium-4-4 ke org.scalatestplus:selenium-4-7 SPARK-41587
• Tingkatkan minimatch ke 3.1.2 SPARK-41634
• Tingkatkan sbt-assembly dari 2.0.0 ke 2.1.0 SPARK-41704
• Memperbarui maven-checkstyle-plugin dari 3.1.2 ke 3.2.0 SPARK-41714
• Tingkatkan dev.ludovic.netlib ke 3.0.3 SPARK-41750
• Tingkatkan hive-storage-api ke 2.8.1 SPARK-41798
• Tingkatkan Apache httpcore ke 4.4.16 SPARK-41802
• Tingkatkan dermaga ke 9.4.52.v20230823 SPARK-45052
• Tingkatkan compress-lzf ke 1.1.2 SPARK-42274

Penghapusan, Perubahan Perilaku, dan Pemusnahan

Penghapusan yang Akan Datang

Fitur berikut akan dihapus dalam rilis utama Spark berikutnya

• Dukungan untuk Java 8 dan Java 11, dan versi Java yang didukung minimal adalah Java 17
• Dukungan untuk Scala 2.12, dan versi Scala yang didukung minimal adalah 2.13

Panduan Migrasi

• Spark Core
• SQL, Himpunan Data, dan DataFrame
• Streaming Terstruktur
• MLlib (Pembelajaran Mesin)
• PySpark (Python di Spark)
• SparkR (R on Spark)

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Lingkungan sistem

• Sistem Operasi: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Pustaka Python yang diinstal

Perpustakaan R yang terinstal

Pustaka R diinstal dari snapshot CRAN pada Posit Package Manager pada tanggal 13 Juli 2023.

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)