共用方式為

Databricks Runtime 14.0 (EoS)

  • 發行項

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。

下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 14.0 的相關信息。

Databricks 於 2023 年 9 月發行此版本。

新功能和改進

數據列追蹤為 GA

Delta Lake 的數據列追蹤現已正式推出。 請參閱使用資料列追蹤於 Delta 表格。

更新的預測性 I/O 已正式發行

更新的預測性 I/O 現已正式發行。 請參閱什麼是預測性 I/O？。

刪除向量已進入 GA 階段

刪除向量現已全面推出。 請參閱什麼是刪除向量？。

Spark 3.5.0 已經正式推出

Apache Spark 3.5.0 現已正式推出。 請參閱 Spark 3.5.0 版。

適用於 Python 的使用者定義數據表函式公開預覽

使用者定義的數據表函式 （UDF） 可讓您註冊傳回數據表而非純量值的函式。 請參閱 Python 使用者定義資料表函式 （UDF）。

數據列層級並行的公開預覽

行級並行存取藉由偵測行級變更，自動解決並行寫入中更新或刪除不同行的競爭更動，以減少相同數據文件中並行寫入操作之間的衝突。 請參閱資料列層級並行的寫入衝突。

預設目前的工作目錄已變更

本機執行程式碼的預設目前工作目錄 (CWD) 現在是包含筆記本或腳本的目錄。 這包括代碼，例如 %sh 和 Python 或 R 代碼，而不使用 Spark。 請參閱預設的目前工作目錄是什麼？。

sparklyr 的已知問題

已安裝的 sparklyr 套件版本 （1.8.1 版） 與 Databricks Runtime 14.0 不相容。 若要使用 sparklyr，請安裝 1.8.3 版或更新版本。

在共用叢集架構中介紹Spark Connect

使用 Databricks Runtime 14.0 和更新版本時，共用叢集現在預設會使用 Spark Connect 與 Python REPL 中的 Spark 驅動程式。 無法再從使用者程式代碼存取內部Spark API。

Spark Connect 現在透過 REPL 與 Spark 驅動器進行互動，而非使用舊版 REPL 整合。

列出可用的 Spark 版本 API 更新

藉由設定 runtime_engine = PHOTON 來啟用 Photon，並選擇 graviton 實例類型來啟用 aarch64。 Azure Databricks 會設定正確的 Databricks Runtime 版本。 先前，Spark 版本 API 會傳回每個版本的實作特定運行時間。 請參閱 REST API 參考中的 GET /api/2.0/clusters/spark-versions。

重大變更

在 Databricks Runtime 14.0 和更新版本中，具有標準存取模式的叢集（先前稱為共用存取模式）會使用 Spark Connect 進行客戶端-伺服器通訊。 這包括下列變更。

如需標準存取模式限制的詳細資訊，請參閱 Unity 目錄的計算存取模式限制。

具有標準存取模式之叢集上的 Python（先前稱為共用存取模式）

  • sqlContext 無法使用。 Azure Databricks 建議針對 spark 實例使用 SparkSession 變數。
  • Spark Context（sc）在 Notebooks 中已經不再可用，在具有標準訪問模式的叢集上使用 Databricks Connect 時也是如此。 下列 sc 函式已無法使用：
    • emptyRDD、range、init_batched_serializer、parallelize、pickleFile、textFile、wholeTextFiles、binaryFiles、binaryRecords、sequenceFile、newAPIHadoopFile、newAPIHadoopRDD、hadoopFile、hadoopRDD、union、runJob、setSystemProperty、uiWebUrl、stop、setJobGroup、setLocalProperty、getConf
  • 不再支持數據集資訊功能。
  • 查詢 Apache Spark 時，不再相依於 JVM，因此不再支援與 JVM 相關的內部 API，例如_jsc、_jconf、_jvm_jsparkSession_jreader_jc_jseq、 _jdf_jmap和 。_jcols
  • 當使用 spark.conf 存取配置值時，僅能存取動態運行時配置值。
  • 共用叢集尚不支援 DLT 分析命令。

在具有標準存取模式的叢集上的 Delta（以前稱為共用存取模式）

  • 在 Python 中，查詢 Apache Spark 時不再相依於 JVM。 不再支援與 JVM 相關的內部 API， 例如DeltaTable._jdt、 DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder與 DeltaOptimizeBuilder._jbuilder 。

具有標準存取模式的叢集上的 SQL （先前稱為共用存取模式）

  • DBCACHE 指令和 DBUNCACHE 指令不再支援。
  • 不再支援像 這樣的 cache table db as show databases 罕見使用案例。

函式庫升級

  • 升級 Python 庫
    • 從 2.2.1 到 2.0.5 的 asttokens
    • attrs 從 21.4.0 到 22.1.0
    • 從 1.27.28 到 1.27.96 的 botocore
    • 認證從 2022.9.14 到 2022.12.7
    • 從 37.0.1 到 39.0.1 的密碼編譯
    • 從 1.6.0 到 1.6.7 的 debugpy
    • docstring-to-markdown 版本從 0.12 降至 0.11
    • 從 1.2.0 執行到 0.8.3
    • 從 1.0.3 到 1.1.1 的 Facets 概覽
    • googleapis-common-protos，從 1.56.4 到 1.60.0
    • grpcio 從 1.48.1 更新到 1.48.2
    • idna 從 3.3 更新到 3.4
    • ipykernel 從 6.17.1 到 6.25.0
    • 從 8.10.0 到 8.14.0 的 ipython
    • Jinja2 從 2.11.3 到 3.1.2
    • jsonschema 從 4.16.0 到 4.17.3
    • jupyter_core 從 4.11.2 到 5.2.0
    • kiwisolver 從 1.4.2 到 1.4.4
    • MarkupSafe 從 2.0.1 到 2.1.1
    • matplotlib 從 3.5.2 到 3.7.0
    • nbconvert 從 6.4.4 到 6.5.4
    • nbformat 從版本 5.5.0 更新到 5.7.0
    • nest-asyncio 從 1.5.5 到 1.5.6
    • 筆記本版本從 6.4.12 更新到 6.5.2
    • numpy 從 1.21.5 更新至 1.23.5
    • 封裝從 21.3 到 22.0
    • pandas 從 1.4.4 更新到 1.5.3
    • pathspec 從 0.9.0 到 0.10.3
    • patsy 從 0.5.2 到 0.5.3
    • 枕頭從 9.2.0 到 9.4.0
    • pip 從 22.2.2 到 22.3.1
    • protobuf 從 3.19.4 到 4.24.0
    • pytoolconfig 從 1.2.2 到 1.2.5
    • pytz 版本從 2022.1 更新到 2022.7
    • s3transfer 從 0.6.0 到 0.6.1
    • seaborn 從 0.11.2 到 0.12.2
    • setuptools 從版本 63.4.1 更新至 65.6.3
    • soupsieve 從 2.3.1 到 2.3.2.post1
    • 從 0.6.2 到 0.2.0 的 stack-data
    • statsmodels 從 0.13.2 到 0.13.5
    • terminado 從 0.13.1 到 0.17.1
    • traitlets 從 5.1.1 更新到 5.7.1
    • typing_extensions 從 4.3.0 升級到 4.4.0
    • 從 1.26.11 到 1.26.14 的 urllib3
    • virtualenv 從 20.16.3 到 20.16.7
    • 方向盤從 0.37.1 到 0.38.4
  • 升級的 R 函式庫：
    • 從 10.0.1 到 12.0.1 的箭頭
    • 從 4.2.2 到 4.3.1 的 base
    • 從 1.2.3 到 1.2.4 的 Blob
    • 將 broom 從 1.0.3 更新到 1.0.5
    • bslib 從 0.4.2 到 0.5.0
    • cachem 從 1.0.6 到 1.0.8
    • caret 從 6.0-93 到 6.0-94
    • 序列從2.3-59到2.3-61
    • 類別從 7.3-21 到 7.3-22
    • cli 從 3.6.0 版本升級到 3.6.1 版本
    • 時鐘從 0.6.1 到 0.7.0
    • 從 commonmark 1.8.1 升級到 1.9.0
    • 編譯程式從 4.2.2 到 4.3.1
    • cpp11 從 0.4.3 到 0.4.4
    • curl 從版本 5.0.0 更新到 5.0.1
    • 從 1.14.6 到 1.14.8 的 data.table
    • 從 4.2.2 到 4.3.1 的數據集
    • dbplyr 從 2.3.0 到 2.3.3
    • 摘要從 0.6.31 到 0.6.33
    • 將 downlit 從 0.4.2 更新至 0.4.3
    • dplyr 從 1.1.0 到 1.1.2
    • dtplyr 從 1.2.2 到 1.3.1
    • 評估範圍從 0.20 到 0.21
    • fastmap 從版本 1.1.0 到 1.1.1
    • fontawesome 從 0.5.0 到 0.5.1
    • fs 從 1.6.1 到 1.6.2
    • 從 1.31.0 到 1.33.0 的未來
    • future.apply 從 1.10.0 到 1.11.0
    • gargle 從 1.3.0 更新到 1.5.1
    • ggplot2 從 3.4.0 到 3.4.2
    • gh 從 1.3.1 到 1.4.0
    • 從 4.1-6 到 4.1-7 的 glmnet
    • googledrive 從 2.0.0 到 2.1.1
    • googlesheets4 從 1.0.1 到 1.1.1
    • 從 4.2.2 到 4.3.1 的圖形
    • grDevices 從 4.2.2 到 4.3.1
    • 從 4.2.2 到 4.3.1 的方格
    • 從 0.3.1 到 0.3.3 的 gtable
    • hardhat 從 1.2.0 更新到 1.3.0
    • 軟體套件 haven 從 2.5.1 更新到 2.5.3
    • 從 1.1.2 到 1.1.3 的 hms
    • 從 0.5.4 到 0.5.5 的 htmltools
    • 從 1.6.1 到 1.6.2 的 htmlwidgets
    • httpuv 從 1.6.8 到 1.6.11
    • httr 從 1.4.4 到 1.4.6
    • ipred 從 0.9-13 到 0.9-14
    • jsonlite 從 1.8.4 到 1.8.7
    • 從 2.23-20 到 2.23-21 的 KernSmooth
    • knitr 從 1.42 更新到 1.43
    • 之後將版本從 1.3.0 升級到 1.3.1
    • 從 0.20-45 到 0.21-8 的格子
    • 從 1.7.1 到 1.7.2.1 的熔岩
    • lubridate 從 1.9.1 升級到 1.9.2
    • Markdown 從 1.5 到 1.7
    • 從 7.3-58.2 到 7.3-60 的 MASS
    • 從 1.5-1 到 1.5-4.1 的矩陣
    • 從 4.2.2 到 4.3.1 的方法
    • mgcv 從 1.8-41 到 1.8-42
    • modelr 從 0.1.10 到 0.1.11
    • nnet 從 7.3-18 到 7.3-19
    • openssl 從版本 2.0.5 升級到 2.0.6
    • 平行從 4.2.2 到 4.3.1
    • 平行地從 1.34.0 到 1.36.0
    • pillar從1.8.1更新到1.9.0
    • pkgbuild 從 1.4.0 到 1.4.2
    • pkgload 從 1.3.2 到 1.3.2.1
    • pROC 從 1.18.0 到 1.18.4
    • processx 從 3.8.0 到 3.8.2
    • prodlim 自 2019.11.13 至 2023.03.31 期間
    • profvis 從 0.3.7 到 0.3.8
    • ps 從 1.7.2 到 1.7.5
    • Rcpp 從 1.0.10 到 1.0.11
    • readr 更新版本從 2.1.3 到 2.1.4
    • readxl 從 1.4.2 到 1.4.3
    • 食譜從 1.0.4 到 1.0.6
    • rlang 從 1.0.6 到 1.1.1
    • rmarkdown 版本從 2.20 更新到 2.23
    • 從 1.8-12 到 1.8-11 的 Rserve
    • RSQLite 從 2.2.20 到 2.3.1
    • rstudioapi 從 0.14 到 0.15.0
    • sass 從版本 0.4.5 到 0.4.6
    • 閃亮從 1.7.4 到 1.7.4.1
    • sparklyr 從 1.7.9 到 1.8.1
    • 從 3.4.1 到 3.5.0 的 SparkR
    • 從 4.2.2 到 4.3.1 的曲線
    • 從 4.2.2 到 4.3.1 的統計數據
    • stats4 從 4.2.2 到 4.3.1
    • 從 3.5-3 到 3.5-5 的存活率
    • sys 從 3.4.1 到 3.4.2
    • tcltk 從 4.2.2 到 4.3.1
    • testthat 從 3.1.6 到 3.1.10
    • tibble 從 3.1.8 更新到 3.2.1
    • tidyverse 從 1.3.2 版本更新到 2.0.0 版本
    • tinytex 從 0.44 更新到 0.45
    • 從 4.2.2 到 4.3.1 的工具
    • tzdb 從 0.3.0 到 0.4.0
    • 將 usethis 從版本 2.1.6 升級至 2.2.2
    • utils 從 4.2.2 更新到 4.3.1
    • 從 0.5.2 到 0.6.3 的 vctrs
    • viridisLite 從 0.4.1 到 0.4.2
    • 從 1.6.1 到 1.6.3 的 vroom
    • waldo 從 0.4.0 到 0.5.1
    • 從 0.37 到 0.39 的 xfun
    • xml2 從 1.3.3 到 1.3.5
    • zip 從 2.2.2 到 2.3.0
  • 升級的 Java 程式庫：
    • com.fasterxml.jackson.core.jackson-annotations 從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.core.jackson-core 從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.core.jackson-databind 從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310，從 2.13.4 到 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer，從 2.14.2 到 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12，從 2.14.2 到 2.15.2
    • com.github.luben.zstd-jni，從 1.5.2-5 到 1.5.5-4
    • com.google.code.gson.gson 從 2.8.9 到 2.10.1
    • com.google.crypto.tink.tink 從 1.7.0 到 1.9.0
    • commons-codec.commons-codec 從 1.15 到 1.16.0
    • commons-io.commons-io 從 2.11.0 到 2.13.0
    • io.airlift.aircompressor 從 0.21 到 0.24
    • io.dropwizard.metrics.metrics-core 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-graphite 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks，版本從 4.2.10 更新到 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-jmx 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-json 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-jvm 從 4.2.10 到 4.2.19
    • io.dropwizard.metrics.metrics-servlets，從 4.2.10 到 4.2.19
    • io.netty.netty-all 從 4.1.87.Final 到 4.1.93.Final
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-buffer
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-codec
    • io.netty.netty-codec-http：從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-codec-http2：從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-codec-socks 版本更新，從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-common 從 4.1.87.Final 到 4.1.93.Final
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-handler
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-handler-proxy
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-resolver
    • 從 4.1.87.Final 到 4.1.93.Final 的 io.netty.netty-transport
    • io.netty.netty-transport-classes-epoll 從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue 從 4.1.87.Final 到 4.1.93.Final
    • io.netty.netty-transport-native-epoll 從 4.1.87.Final-linux-x86_64 到 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue 從 4.1.87.Final-osx-x86_64 到 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common：從 4.1.87.Final 到 4.1.93.Final
    • org.apache.arrow.arrow-format 從 11.0.0 到 12.0.1
    • org.apache.arrow.arrow-memory-core，從 11.0.0 到 12.0.1
    • org.apache.arrow.arrow-memory-netty 從 11.0.0 到 12.0.1
    • org.apache.arrow.arrow-vector 從 11.0.0 到 12.0.1
    • org.apache.avro.avro 從 1.11.1 到 1.11.2
    • org.apache.avro.avro-ipc 從 1.11.1 到 1.11.2
    • org.apache.avro.avro-mapred 從 1.11.1 到 1.11.2
    • org.apache.commons.commons-compress 從 1.21 到 1.23.0
    • org.apache.hadoop.hadoop-client-runtime 從 3.3.4 到 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api，從 2.19.0 到 2.20.0
    • org.apache.logging.log4j.log4j-api 從 2.19.0 到 2.20.0
    • org.apache.logging.log4j.log4j-core 版本從 2.19.0 更新至 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl，從版本 2.19.0 更新到 2.20.0
    • org.apache.orc.orc-core，從 1.8.4-shaded-protobuf 到 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce 從 1.8.4-shaded-protobuf 到 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims from 1.8.4 到 1.9.0
    • org.apache.xbean.xbean-asm9-shaded 從 4.22 到 4.23
    • org.checkerframework.checker-qual 從版本 3.19.0 更新至版本 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet 從 2.36 到 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core 從 2.36 到 2.40
    • org.glassfish.jersey.core.jersey-client 從 2.36 到 2.40
    • org.glassfish.jersey.core.jersey-common 從 2.36 到 2.40
    • org.glassfish.jersey.core.jersey-server 從 2.36 到 2.40
    • org.glassfish.jersey.inject.jersey-hk2 從 2.36 到 2.40
    • org.javassist.javassist 從 3.25.0-GA 到 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client 從 2.7.4 到 2.7.9
    • org.postgresql.postgresql 從 42.3.8 到 42.6.0
    • org.roaringbitmap.RoaringBitmap 從 0.9.39 到 0.9.45
    • org.roaringbitmap.shims 從 0.9.39 到 0.9.45
    • org.rocksdb.rocksdbjni 從 7.8.3 到 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12，從 2.4.3 到 2.9.0
    • org.slf4j.jcl-over-slf4j，從 2.0.6 到 2.0.7
    • org.slf4j.jul-to-slf4j，從 2.0.6 到 2.0.7
    • org.slf4j.slf4j-api 從 2.0.6 到 2.0.7
    • org.xerial.snappy.snappy-java 從 1.1.10.1 到 1.1.10.3
    • org.yaml.snakeyaml 從 1.33 到 2.0

Apache Spark

Databricks Runtime 14.0。 此版本包含 Databricks Runtime 13.3 LTS 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] 修正 Connect 中的aes_decrypt和 ln 函式
  • [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] 修正繼承的 namedtuples 以在 createDataFrame 中運作
  • [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache 應該是類載入器專屬
  • [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] 讓串流查詢可與 Connect 的元件管理搭配運作
  • [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] 讓 ArrowDeserializer 與 REPL 產生的類別搭配運作
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] 修正 Spark Connect 上的箭頭優化 Python UDF
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] 支援適用於 Spark Connect 的 python protobuf 函式
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] 從 PySpark 移除函式 uuid/random/chr
  • [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] 修正工件的元數據值
  • [SPARK-44822] [DBRRM-464][python][SQL] 預設將 Python UDDF 設為不具決定性
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] 重構箭號 Python UDTF
  • [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] 將遺漏的用戶端元數據新增至呼叫
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter： AttributeError： 'NoneType' 對象沒有屬性 'message'
  • [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager 來追蹤所有執行
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] 預設停用 Python UDF 的箭號優化
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] 在可重新連結的新線程中執行 ExecuteGrpcResponseSender 以修正流程控制
  • [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] 讓所有反覆運算器成為 CloseableIterators
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] 如果初始要求未連線到 Python 用戶端中的伺服器，請重試 ExecutePlan
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] 重試 ExecutePlan，以防初始要求未連線到伺服器
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] 移至 sq/api 的錯誤也應該使用 AnalysisException
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] 新增 Encoders 物件
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] 追蹤在用戶端會話逾時時 Spark Connect 的串流查詢終止情況
  • [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] 在從伺服器取得錯誤後，釋放 ExecutePlanResponseReattachableIterator 中的 ReleaseExecute
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] 移除 Connect 用戶端催化劑相依性
  • [SPARK-44664] [DBRRM-396][python][CONNECT] 關閉 Python 用戶端中的反覆運算器時釋放執行
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] 在收回隔離會話快取時移除會話型目錄
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] 不保留懸置迭代器
  • [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Python 客戶端，用於重新連接到 Spark Connect 中現有的執行
  • [SPARK-44637] [SC-138571] 同步 ExecuteResponseObserver 的存取權
  • [SPARK-44538] [SC-138178][connect][SQL] 恢復 Row.jsonValue 和 friend
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] 在 Spark Connect 中可重新連接的執行
  • [SPARK-44418] [SC-136807][python][CONNECT] 將 protobuf 從 3.19.5 升級至 3.20.3
  • [SPARK-44587] [SC-138315][sql][CONNECT] 增加 protobuf 序列化工具的遞歸限制
  • [SPARK-44591] [SC-138292][connect][SQL] 將 jobTags 新增至 SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][sql] DeduplicateRelations 在建立新實例時應保留別名元數據
  • [SPARK-44542] [SC-138323][core] 急切地載入例外狀況處理程式中的 SparkExitCode 類別
  • [SPARK-44264] [SC-138143][python]適用於 Deepspeed 的 E2E 測試
  • [SPARK-43997] [SC-138347][connect] 新增 Java UDF 的支援
  • [SPARK-44507] [SQL][connect][14.x][14.0] 將 AnalysisException 移至 sql/api
  • [SPARK-44453] [SC-137013][python] 使用 difflib 在 assertDataFrameEqual 中顯示錯誤
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] 新增 Spark Connect 的 Spark UI 頁面
  • [SPARK-44611] [SC-138415][connect] 請勿排除 scala-xml
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] 將編碼器推斷移至 sql/api
  • [SPARK-43744] [SC-138289][connect][14.x][14.0] 修正類別載入問題引起的問題...
  • [SPARK-44590] [SC-138296][sql][CONNECT] 移除 SqlCommandResult 的箭頭批次記錄限制
  • [SPARK-43968] [SC-138115][python] 改善具有錯誤輸出數目的 Python UDDF 錯誤訊息
  • [SPARK-44432] [SC-138293][ss][CONNECT] 在 Spark Connect 中逾時終止串流查詢
  • [SPARK-44584] [SC-138295][connect] 在 Scala 用戶端中設定 AddArtifactsRequest 和 ArtifactStatusesRequest 的client_type資訊
  • [SPARK-44552] [14.0][sc-138176][SQL] 從 IntervalUtils 移除 private object ParseState 定義
  • [SPARK-43660] [SC-136183][connect][PS] 使用 Spark Connect 啟用 resample
  • [SPARK-44287] [SC-136223][sql] 在 RowToColumnarExec 中使用 PartitionEvaluator API & ColumnarToRowExec SQL 運算符。
  • [SPARK-39634] [SC-137566][sql] 允許檔案分割與數據列索引產生結合
  • [SPARK-44533] [SC-138058][python] 在 Python UDTF 分析中新增對累積器、廣播和 Spark 檔案的支援
  • [SPARK-44479] [SC-138146][python] 修正 ArrowStreamPandasUDFSerializer 以接受無欄位的 pandas DataFrame
  • [SPARK-44425] [SC-138177][connect] 驗證使用者提供的 sessionId 是否為 UUID
  • [SPARK-44535] [SC-138038][connect][SQL] 將必要的串流 API 移至 sql/api
  • [SPARK-44264] [SC-136523][ml][PYTHON] 撰寫 Deepspeed 分散式學習類別 DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][sql] 修正 ResolveInlineTables 無法處理 RuntimeReplaceable 表達式
  • [SPARK-44060] [SC-135693][sql] 建置端的外部隨機哈希聯接的程式代碼生成
  • [SPARK-44496] [SC-137682][sql][CONNECT] 將 SCSC 所需的介面移至 sql/api
  • [SPARK-44532] [SC-137893][connect][SQL] 將 ArrowUtils 移至 sql/api
  • [SPARK-44413] [SC-137019][python] 在 assertDataFrameEqual 中釐清不支援的 arg 數據類型錯誤
  • [SPARK-44530] [SC-138036][core][CONNECT] 將 SparkBuildInfo 移至 common/util
  • [SPARK-36612] [SC-133071][sql] 在隨機哈希聯結中支援左外部聯接組建左方或右外部聯接組建
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils 為 jar 產生不正確的參數
  • [SPARK-44449] [SC-137818][connect] 直接箭號還原串行化向上傳播
  • [SPARK-44131] [SC-136346][sql] 新增 Scala API 的 call_function 和棄用 call_udf
  • [SPARK-44541][SQL]從中移除無用函式hasRangeExprAgainstEventTimeColUnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][sql] Filter 的 maxRows/maxRowsPerPartition 為 0，當條件為 FalseLiteral 時
  • [SPARK-44540] [SC-137873][ui] 移除 jsonFormatter 的未使用樣式表單和 javascript 檔案
  • [SPARK-44466] [SC-137856][sql] 從 modifiedConfigs 排除開頭為 SPARK_DRIVER_PREFIX 和 SPARK_EXECUTOR_PREFIX 的設定
  • [SPARK-44477] [SC-137508][sql] 將TYPE_CHECK_FAILURE_WITH_HINT視為錯誤子類別
  • [SPARK-44509] [SC-137855][python][CONNECT] 在 Spark Connect Python 用戶端中新增作業取消 API 集
  • [SPARK-44059] [SC-137023]為內建函式新增具名自變數的分析器支援
  • [SPARK-38476] [SC-136448][core] 在 org.apache.spark.storage 中使用錯誤類別
  • [SPARK-44486] [SC-137817][python][CONNECT] 針對 toPandas 實作 PyArrow self_destruct 功能
  • [SPARK-44361] [SC-137200][sql] 在 MapInBatchExec 中使用 PartitionEvaluator API
  • [SPARK-44510] [SC-137652][ui] 將 dataTables 更新為 1.13.5，並移除一些未快取的 png 檔案
  • [SPARK-44503] [SC-137808][sql] 在 TVF 呼叫 TABLE 自變數之後，為 PARTITION BY 和 ORDER BY 子句新增 SQL 文法
  • [SPARK-38477] [SC-136319][core] 在 org.apache.spark.shuffle 中使用錯誤類別
  • [SPARK-44299] [SC-136088][sql] 將名稱指派給錯誤類別 _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Spark Connect 精細中斷
  • [SPARK-44380] [SC-137415][sql][PYTHON] 支援 Python UDTF 以在 Python 中進行分析
  • [SPARK-43923] [SC-137020][connect] 發布 listenerBus 事件期間...
  • [SPARK-44303] [SC-136108][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][ui] 修正 HeapHistogram 欄位與「全選」方框一起意外顯示
  • [SPARK-44409] [SC-136975][sql] 在 Dataset.to 方法中處理 char/varchar，以保持與其他一致
  • [SPARK-44334] [SC-136576][sql][UI] REST API 回應中失敗的 DDL/DML 狀態，應為 FAILED 而不是 COMPLETED
  • [SPARK-42309] [SC-136703][sql] 介紹 INCOMPATIBLE_DATA_TO_TABLE 和子類別。
  • [SPARK-44367] [SC-137418][sql][UI] 在每個失敗查詢的 UI 上顯示錯誤訊息
  • [SPARK-44474] [SC-137195][connect] 在 SparkConnectServiceSuite 上重新啟用 「測試觀察回應」
  • [SPARK-44320] [SC-136446][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][connect] Connect Server 啟動記錄應該會顯示主機名和埠
  • [SPARK-44309] [SC-136193][ui] 在執行程式索引卷標上顯示執行程式新增/移除時間
  • [SPARK-42898] [SC-137556][sql] 標示字串/日期轉換不需要時區標識符
  • [SPARK-44475] [SC-137422][sql][CONNECT] 將 DataType 和解析器移動至 sql/api
  • [SPARK-44484] [SC-137562][ss]將 batchDuration 新增至 StreamingQueryProgress json 方法
  • [SPARK-43966] [SC-137559][sql][PYTHON] 支援非決定性數據表值函式
  • [SPARK-44439] [SC-136973][connect][SS]已修正 listListeners 僅將識別碼傳回給用戶端
  • [SPARK-44341] [SC-137054][sql][PYTHON] 透過 PartitionEvaluator API 定義運算邏輯，並將其用於 WindowExec 和 WindowInPandasExec
  • [SPARK-43839] [SC-132680][sql] 將 _LEGACY_ERROR_TEMP_1337 轉換為 UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]新增對 Scala for Spark Connect 中串流接聽程序的支援
  • [SPARK-44260] [SC-135618][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[1215-1245-2329] & 使用 checkError（） 檢查_CharVarchar_Suite中的例外狀況
  • [SPARK-42454] [SC-136913][sql] SPJ：封裝 BatchScanExec 中的所有 SPJ 相關參數
  • [SPARK-44292] [SC-135844][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][connect] 直接箭頭還原串行化
  • [SPARK-44324] [SC-137172][sql][CONNECT] 將 CaseInsensitiveMap 移至 sql/api
  • [SPARK-44395] [SC-136744][sql] 將測試新增回 StreamingTableSuite
  • [SPARK-44481] [SC-137401][connect][PYTHON] Make pyspark.sql.is_remote an API
  • [SPARK-44278] [SC-137400][connect] 實作清除線程本機屬性的 GRPC 伺服器攔截器
  • [SPARK-44264] [SC-137211][ml][PYTHON] 支援使用 Deepspeed 的函式進行分散式訓練
  • [SPARK-44430] [SC-136970][sql] 在選項無效時新增原因至 AnalysisException
  • [SPARK-44264] [SC-137167][ml][PYTHON] 將 FunctionPickler 併入 TorchDistributor
  • [SPARK-44216] [SC-137046][PYTHON]將 assertSchemaEqual API 設為公用
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-43203] [SC-134528][sql] 將所有 Drop Table 案例移至 DataSource V2
  • [SPARK-43755] [SC-137171][connect][MINOR] 開啟 AdaptiveSparkPlanHelper.allChildren，而不是在 MetricGenerator 中使用複本
  • [SPARK-44264] [SC-137187][ml][PYTHON] 重新構造 TorchDistributor 以支援自定義 “run_training_on_file” 函式指標
  • [SPARK-43755] [SC-136838][connect] 將執行移出 SparkExecutePlanStreamHandler，並移至不同的線程
  • [SPARK-44411] [SC-137198][sql] 在 ArrowEvalPythonExec 和 BatchEvalPythonExec 中使用 PartitionEvaluator API
  • [SPARK-44375] [SC-137197][sql] 在 DebugExec 中使用 PartitionEvaluator API
  • [SPARK-43967] [SC-137057][python] 支援具有空白傳回值的一般 Python UDDF
  • [SPARK-43915] [SC-134766][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] 支援 Spark Connect 中的 Python UDTF
  • [SPARK-44154] [SC-137050][sql] 已將更多單元測試新增至 BitmapExpressionUtilsSuite，並稍微改善位圖匯總表達式
  • [SPARK-44169] [SC-135497][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] 移除 StructType.toAttributes
  • [SPARK-43964] [SC-136676][sql][PYTHON] 支援箭頭優化的 Python UDDF
  • [SPARK-44321] [SC-136308][connect] 從 AnalysisException 分離 ParseException
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] 重新啟用 "test_artifact" 並實施相關變更
  • [SPARK-44145] [SC-136698][sql] 準備執行時回呼
  • [SPARK-43983] [SC-136404][python][ML][connect] 啟用跨驗證器估算器測試
  • [SPARK-44399] [SC-136669][pyhton][CONNECT] 只有在 useArrow 為 None 時才在 Python UDF 中匯入 SparkSession
  • [SPARK-43631] [SC-135300][connect][PS] 啟用 Spark Connect 的 Series.interpolate 功能
  • [SPARK-44374] [SC-136544][python][ML] 新增 Spark 連線分散式 ML 的範例程序代碼
  • [SPARK-44282] [SC-135948][connect] 準備 DataType 解析以用於 Spark Connect Scala 客戶端
  • [SPARK-44052] [SC-134469][connect][PS] 新增 util 以取得 Spark Connect 的適當 Column 或 DataFrame 類別。
  • [SPARK-43983] [SC-136404][python][ML][connect] 實作交叉驗證器估算器
  • [SPARK-44290] [SC-136300][connect] Spark Connect 中的會話型檔案和封存
  • [SPARK-43710] [SC-134860][ps][CONNECT] 支援 Spark Connect functions.date_part
  • [SPARK-44036] [SC-134036][connect][PS] 清理 & 合併票證以簡化工作。
  • [SPARK-44150] [SC-135790][python][CONNECT] 在箭頭 Python UDF 中傳回類型不相符的明確箭號轉換
  • [SPARK-43903] [SC-134754][python][CONNECT] 改善箭頭 Python UDF 中的 ArrayType 輸入支援
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] 實作分類評估工具
  • [SPARK-44255] [SC-135704][sql] 將 StorageLevel 重新定位為 common/utils
  • [SPARK-42169] [SC-135735][SQL]實作to_csv函式的程式代碼產生 （StructsToCsv）
  • [SPARK-44249] [SC-135719][sql][PYTHON] 重構 PythonUDTFRunner 以個別傳送其傳回類型
  • [SPARK-43353] [SC-132734][python] 將剩餘的會話錯誤移轉至錯誤類別
  • [SPARK-44133] [SC-134795][python] 將 MyPy 從 0.920 升級至 0.982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
  • [SPARK-43353] 還原 “[SC-132734][es-729763][PYTHON] 將剩餘的會話錯誤移轉至錯誤類別”
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] 將命名空間從 pyspark.mlv2 移至 pyspark.ml.connect
  • [SPARK-44220] [SC-135484][sql] 將 StringConcat 移至 sql/api
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] 新增 Catalog.listFunctions 的選擇性模式
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] 在 Spark Connect 上實作機器學習模型的管道估算器
  • [SPARK-43888] [SC-132893][core] 將記錄重新定位至一般/公用程式
  • [SPARK-42941] 還原 “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde”
  • [SPARK-43624] [SC-134557][ps][CONNECT] 將 EWM 新增至 SparkConnectPlanner。
  • [SPARK-43981] [SC-134137][python][ML] Spark 連線上 ML 的基本儲存/載入實作
  • [SPARK-43205] [SC-133371][sql] 修正 SQLQueryTestSuite
  • [SPARK-43376] 還原 “[SC-130433][sql] 改善數據表快取的重複使用子查詢”
  • [SPARK-44040] [SC-134366][sql] 修正 AggregateExec 節點在 QueryStageExec 上方時的計算統計數據問題
  • [SPARK-43919] [SC-133374][sql] 從數據列擷取 JSON 功能
  • [SPARK-42618] [SC-134433][python][PS] 下一個主要版本中 pandas 相關行為變更的警告
  • [SPARK-43893] [SC-133381][python][CONNECT] 支援在 Apache Arrow 優化的 Python UDF 中的非原子數據類型
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] 在 Spark Connect 中啟用 pyspark.pandas.spark.functions.{kurt, skew}。
  • [SPARK-43798] [SC-133990][sql][PYTHON] 支援 Python 使用者定義數據表函式
  • [SPARK-43616] [SC-133849][ps][CONNECT] 在 Spark Connect 中啟用 pyspark.pandas.spark.functions.mode
  • [SPARK-43133] [SC-133728] Scala 客戶端 DataStreamWriter Foreach 支援
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] 修正 Spark Connect 中的 (NullOps|NumOps).(eq|ne)。
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] 在 Spark Connect 中啟用 pyspark.pandas.spark.functions.{var, stddev}
  • [SPARK-43617] [SC-133893][ps][CONNECT] 在 Spark Connect 中啟用 pyspark.pandas.spark.functions.product
  • [SPARK-43610] [SC-133832][connect][PS] 在 Spark Connect 中啟用 InternalFrame.attach_distributed_column。
  • [SPARK-43621] [SC-133852][ps][CONNECT] 在 Spark Connect 中啟用 pyspark.pandas.spark.functions.repeat
  • [SPARK-43921] [SC-133461][protobuf] 在建置時產生 Protobuf 描述元檔案
  • [SPARK-43613] [SC-133727][ps][CONNECT] 在 Spark Connect 中啟用 pyspark.pandas.spark.functions.covar
  • [SPARK-43376] [SC-130433][sql] 改善數據表快取的重複使用子查詢
  • [SPARK-43612] [SC-132011][connect][PYTHON] 在 Python 用戶端中實作 SparkSession.addArtifact（s）
  • [SPARK-43920] [SC-133611][sql][CONNECT] 建立 sql/api 模組
  • [SPARK-43097] [SC-133372][ml] 新的 pyspark ML 羅吉斯回歸估算器已經在分發器之上實作
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Make MLv2 （ML on spark connect） 支援 pandas >= 2.0
  • [SPARK-43024] [SC-132716][python] 將 pandas 升級至 2.0.0
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] 新增 Catalog.listDatabases 的選擇性模式
  • [SPARK-39281] [SC-131422][sql] 以 JSON/CSV 數據源中的傳統格式加速時間戳記類型推斷
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] 新增 Catalog.listCatalogs 的選擇性模式
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 用戶端 DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][sql][PYTHON] 支援巢狀時間戳類型
  • [SPARK-43353] [SC-132734][python] 將剩餘的會話錯誤移轉至錯誤類別
  • [SPARK-43304] [SC-129969][connect][PYTHON] 將 NotImplementedError 移轉至 PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ml][PYTHON][connect] sparkML 的基本介面，適用於 spark3.5：估算器/轉換器/模型/評估工具
  • [SPARK-43128] 還原 “[SC-131628][connect][SS] 讓 recentProgress 並 lastProgress 傳回與原生 Scala Api 一致的 StreamingQueryProgress」
  • [SPARK-43543] [SC-131839][python] 修正 Pandas UDF 中的巢狀 MapType 行為
  • [SPARK-38469] [SC-131425][core] 在 org.apache.spark.network 中使用錯誤類別
  • [SPARK-43309] [SC-129746][spark-38461][CORE] 使用類別擴充INTERNAL_ERROR並新增錯誤類別INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653]將錯誤架構移至常見的公用程式模組
  • [SPARK-43440] [SC-131229][python][CONNECT] 支援註冊使用 Apache Arrow 優化的 Python UDF
  • [SPARK-43528] [SC-131531][sql][PYTHON] 在具有 pandas DataFrame 的 createDataFrame 中支持重複的欄位名稱
  • [SPARK-43412] [SC-130990][python][CONNECT] 介紹箭號優化 Python UDF 的 SQL_ARROW_BATCHED_UDF EvalType
  • [SPARK-40912] [SC-130986][核心]KryoDeserializationStream 中例外狀況的額外負荷
  • [SPARK-39280] [SC-131206][sql] 使用 JSON/CSV 數據源中的使用者提供格式加速時間戳類型推斷
  • [SPARK-43473] [SC-131372][python] 支援從 pandas DataFrame 建立DataFrame 中的結構類型
  • [SPARK-43443] [SC-131024][sql] 在使用無效值時新增時間戳類型推斷的基準測試
  • [SPARK-41532] [SC-130523][connect][CLIENT] 新增針對涉及多個數據框的操作檢查
  • [SPARK-43296] [SC-130627][connect][PYTHON] 將 Spark Connect 會話錯誤遷移至錯誤類別
  • [SPARK-43324] [SC-130455][sql] 處理差異型來源的 UPDATE 命令
  • [SPARK-43347] [SC-130148][python] 移除 Python 3.7 支援
  • [SPARK-43292] [SC-130525][core][CONNECT] 將 ExecutorClassLoader 移至 core 模組並簡化 Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900][ML] [CONNECT] 新增Torch分發器的資料載入器，以從Spark分區資料中載入資料
  • [SPARK-43331] [SC-130061][connect] 新增 Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][python] 將 ValueError 從 Spark SQL 類型遷移至錯誤類別
  • [SPARK-43261] [SC-129674][python] 將 TypeError 從 Spark SQL 類型遷移至錯誤類別。
  • [SPARK-42992] [SC-129465][python] 簡介 PySparkRuntimeError
  • [SPARK-16484] [SC-129975][sql] 新增 Datasketches HllSketch 的支援
  • [SPARK-43165] [SC-128823][sql] 將 canWrite 移至 DataTypeUtils
  • [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect 中的箭頭優化 Python UDF
  • [SPARK-43084] [SC-128654][SS] 新增 spark connect 的 applyInPandasWithState 支援
  • [SPARK-42657] [SC-128621][connect] 支援尋找並傳輸用戶端 REPL 類別檔至伺服器作為工件
  • [SPARK-43098] [SC-77059][sql] 修正當純量子查詢包含 GROUP BY 子句時 COUNT 的正確性錯誤
  • [SPARK-42884] [SC-126662][connect] 增加 Ammonite REPL 的整合功能
  • [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch 分散式執行支援本地模式
  • [SPARK-41498] [SC-125343] 還原“透過聯合傳播中繼資料”
  • [SPARK-42993] [SC-127829][ml][CONNECT] 使 PyTorch 分配器與 Spark Connect 相容
  • [SPARK-42683] [LC-75]自動重新命名衝突的中繼資料資料行
  • [SPARK-42874] [SC-126442][sql] 啟用新的黃金檔案測試架構以分析所有輸入檔
  • [SPARK-42779] [SC-126042][sql] 允許 V2 寫入指示建議的重分配分區大小
  • [SPARK-42891] [SC-126458][connect][PYTHON] 實作 CoGrouped Map API
  • [SPARK-42791] [SC-126134][sql] 建立新的黃金檔案測試架構進行分析
  • [SPARK-42615] [SC-124237][connect][PYTHON] 重構 AnalyzePlan RPC 並新增 session.version
  • [SPARK-41302] 回復 “[ALL TESTS][sc-122423][SQL] 將名稱指派給 _LEGACY_ERROR_TEMP_1185”
  • [SPARK-40770] [SC-122652][python] 改善 applyInPandas 中因架構不匹配而產生的錯誤訊息
  • [SPARK-40770] 還原 “[ALL TESTS][sc-122652][PYTHON] 已改善 applyInPandas 架構不符的錯誤訊息”
  • [SPARK-42398] [SC-123500][sql] 改進預設欄位值 DS v2 介面
  • [SPARK-40770] [ALL TESTS][sc-122652][PYTHON] 已改善 applyInPandas 架構不符的錯誤訊息
  • [SPARK-40770] 還原 “[SC-122652][python] 已改善 applyInPandas 結構不匹配的錯誤訊息”
  • [SPARK-40770] [SC-122652][python] 已改善 applyInPandas 架構不符的錯誤訊息
  • [SPARK-42038] [ALL TESTS] 還原“還原「[SC-122533][sql] SPJ：支援部分叢集散發」”
  • [SPARK-42038] 還原 “[SC-122533][sql] SPJ：支援部分群集分佈”
  • [SPARK-42038] [SC-122533][sql] SPJ：支援部分群集散發
  • [SPARK-40550] [SC-120989][sql] DataSource V2：處理基於 Delta 的來源的 DELETE 命令
  • [SPARK-40770] 還原 “[SC-122652][python] 已改善 applyInPandas 架構不符的錯誤訊息”
  • [SPARK-40770] [SC-122652][python] 已改善因 applyInPandas 函數架構不符而產生的錯誤訊息
  • [SPARK-41302] 還原 “[SC-122423][sql] 將名稱指派給 _LEGACY_ERROR_TEMP_1185”
  • [SPARK-40550] 還原 “[SC-120989][sql] DataSource V2：處理基於增量的來源的 DELETE 命令”
  • [SPARK-42123] 還原 “[SC-121453][sql] 在 DESCRIBE 和 SHOW CREATE TABLE 輸出中包含欄位預設值”
  • [SPARK-42146] [SC-121172][core] 重構 Utils#setStringField，以便當 SQL 模組使用此方法時，Maven 可以成功構建
  • [SPARK-42119] 回復 “[SC-121342][sql] 新增內建的 inline 和 inline_outer 表值函數”

重點

Spark Connect

Spark SQL

功能

功能

資料來源

查詢優化

程式代碼產生和查詢執行

其他值得注意的變更

  • 在 USING 聯結 SPARK-43718 中正確設定密鑰可為空的屬性
  • 修正相互關聯的純量子查詢中 COUNT(*) 為 Null 的錯誤 SPARK-43156
  • DataFrame.joinWith 外部連接應該傳回不匹配的列的 null 值 SPARK-37829
  • 自動重新命名衝突的元數據行 SPARK-42683
  • 在使用者界面的文件中記載 Spark SQL 錯誤類別SPARK-42706

PySpark

功能

其他值得注意的變更

  • 在 pyspark.sql.dataframe.DataFrame 中新增 df[|] 的自動完成支援 [SPARK-43892]
  • 棄用並移除將在 pandas 2.0 中被移除的 API [SPARK-42593]
  • 將 Python 設為程式代碼範例的第一個索引標籤 - Spark SQL、DataFrame 和數據集指南 SPARK-42493
  • 更新其餘 Spark 檔程式代碼範例，以依預設 顯示 Python SPARK-42642
  • 在創建 Arrow RecordBatch 時，請使用已去重的欄位名稱 [SPARK-41971]
  • 在使用 pandas DataFrame 的 createDataFrame 中支持重複的欄位名稱 [SPARK-43528]
  • 使用數列建立 DataFrame 時允許 columns 參數 [SPARK-42194]

核心

  • 在推送合併shuffleMapStage重試時，排程mergeFinalize，但沒有執行中的任務 SPARK-40082
  • 介紹 PartitionEvaluator，用於 SQL 運算符執行 SPARK-43061
  • 允許 ShuffleDriverComponent 宣告洗牌資料是否可靠儲存 SPARK-42689
  • 為階段新增最大嘗試限制，以避免潛在的無限重試 SPARK-42577
  • 支援靜態 Spark 配置的日誌等級設定 SPARK-43782
  • 優化 PercentileHeap SPARK-42528
  • 將 reason 自變數新增至 TaskScheduler.cancelTasks SPARK-42602
  • 避免在已解除的執行程式上重新執行不必要的工作，如果洗牌數據已遷移 SPARK-41469
  • 修正重試任務情況下使用 rdd 快取時累加器計數不足的問題 SPARK-41497
  • 使用 RocksDB 作為 spark.history.store.hybridStore.diskBackend 的預設後端 SPARK-42277
  • NonFateSharingCache 用於 Guava Cache SPARK-43300 的包裝器
  • 改善 MapOutputTracker.updateMapOutput SPARK-43043 的效能
  • 允許應用程式控制其元數據是否會由外部隨機服務 SPARK-43179 儲存在資料庫中
  • 將 SPARK_DRIVER_POD_IP env 變數新增至執行程式 Pod SPARK-42769
  • 在執行程式 Pod 上掛接 hadoop 配置映射 SPARK-43504

結構化串流

ML

UI

建構及其他

移除、行為更改和棄用

即將移除

下一個 Spark 主要版本中將會移除下列功能

  • 支援 Java 8 和 Java 11，最低支援的 Java 版本將是 Java 17
  • Scala 2.12 的支援，且最低支援的 Scala 版本將是 2.13

移轉指南

Databricks ODBC/JDBC 驅動程式支援

Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 (下載 ODBC，下載 JDBC)。

系統環境

  • 作業系統：Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python：3.10.12
  • R：4.3.1
  • Delta Lake: 2.4.0

已安裝的 Python 程式庫

圖書館 版本 圖書館 版本 圖書館 版本
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 屬性 22.1.0 回調 0.2.0
beautifulsoup4 4.11.1 黑色 22.6.0 漂白劑 4.1.0
方向燈 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 點擊 8.0.4 通訊 0.1.2
contourpy 1.0.5 密碼編譯 39.0.1 騎行者 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 裝飾器 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 入口點 0.4
執行 0.8.3 面向概述 1.1.1 fastjsonschema 2.18.0
文件鎖定 3.12.2 fonttools 4.25.0 GCC 執行階段程式庫 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets（JupyterLab 元件） 1.0.0
鑰匙圈 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
麥卡貝 0.7.0 米斯圖恩 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 筆記本 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 包裝 22.0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 替罪羊 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 枕頭 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit（提示工具包） 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic（Python 資料驗證庫） 1.10.6 pyflakes（Python 程式碼分析工具） 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
請求 2.28.1 繩子 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 六 1.16.0
sniffio 1.2.0 湯濾網 2.3.2.post1 ssh-import-id 5.11
堆疊數據 0.2.0 statsmodels 0.13.5 韌性 8.1.0
完成 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
自動升級 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 網頁編碼 0.5.1
websocket-client 0.58.0 這是什麼修補程式 1.0.2 輪子 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

已安裝的 R 函式庫

R 套件庫會從 Posit 封裝管理工具的 CRAN 於 2023年7月13日的快照中安裝。

圖書館 版本 圖書館 版本 圖書館 版本
箭 12.0.1 askpass 1.1 assertthat（斷言函數） 0.2.1
向後移植 1.4.1 基地 4.3.1 base64enc 0.1-3
位元 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 釀造 1.0-8 活力 1.1.3
掃帚 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 班級 7.3-22 cli 3.6.1
clipr 0.8.0 時鐘 0.7.0 叢集 2.1.4
codetools 0.2-19 色彩空間 2.1-0 commonmark 1.9.0
編譯器 4.3.1 設定 0.3.1 矛盾的 1.2.0
cpp11 0.4.4 蠟筆 1.5.2 資格證書 1.3.2
curl 5.0.1 data.table 1.14.8 資料集 4.3.1
DBI 1.1.3 dbplyr 2.3.3 遞減 1.4.2
devtools 2.4.5 圖表 1.6.5 diffobj 0.3.5
消化 / 摘要 0.6.33 向下照明 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 省略符號 0.3.2
評估 0.21 粉絲 1.0.4 顏色 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 外國 0.8-82 鍛造 0.2.0
fs 1.6.2 未來 1.33.0 未來應用 (future.apply) 1.11.0
漱口 1.5.1 泛型 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 全域變數 0.16.2 膠水 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 高爾 1.0.1
圖形 4.3.1 grDevices 4.3.1 網格 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
安全帽 1.3.0 避風港 2.5.3 The translation cannot be improved without additional context or correct input. 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
標籤 0.4.2 稍後 1.3.1 格子 0.21-8
熔岩 1.7.2.1 生命週期 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
質量 7.3-60 矩陣 1.5-4.1 記憶化 2.0.1
方法 4.3.1 mgcv 1.8-42 默劇 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 平行 4.3.1
平行地 1.36.0 柱子 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 讚美 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 進度 1.2.2
progressr 0.13.0 承諾 1.2.0.1 proto 1.0.0
代理 0.4-27 附言 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
隨機森林 (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 食譜 1.0.6
復賽 1.0.1 rematch2 2.1.2 遙控器 2.4.2
重現範例 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 磅秤 1.2.1
selectr 0.4-2 會話資訊 1.2.2 形狀 1.4.6
閃亮的 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 空間的 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 統計數據 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
生存 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 文字排版 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 時間變更 0.2.0 時間日期 4022.108
tinytex 0.45 工具 4.3.1 tzdb 0.4.0
URL 檢查器 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 uuid（通用唯一識別碼） 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
鬍鬚 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-用戶端 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK 支援 (aws-java-sdk-support) 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 串流 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson模組-參數名稱解析器 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 原生
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 原生
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 原生
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 原生
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone 容易出錯的註釋 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.版本發布
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
公共集合 commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
公用檔案上傳 commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool（資源池） 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib 基本線性代數程序 (BLAS) 3.0.3
dev.ludovic.netlib LAPACK（線性代數程式庫） 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空氣壓縮機 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics 度量註解 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics 指標-健康檢查 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common（Netty 傳輸本機 Unix 常通道） 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 醃菜 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake Snowflake 資料導入 SDK 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr 字串範本 3.2.1
org.apache.ant 螞蟻 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow 箭頭格式 12.0.1
org.apache.arrow 箭頭記憶核心 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow 箭頭向量 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress (壓縮函式庫) 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 策展人客戶 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人食譜 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims（Hive兼容層） 2.3.9
org.apache.hive hive-storage-api (蜂巢儲存API) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents HttpClient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus 觀眾註釋 0.13.0
org.apache.zookeeper 動物園管理員 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty Jetty 網頁應用程式 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket WebSocket 伺服器 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (位於 Jersey 中的容器伺服器) 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator（Hibernate 驗證器） 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 註釋 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 墊片 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 測試介面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 與 scalatest 相容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1