共用方式為

Databricks Runtime 12.0 (EoS)

  • 發行項

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。

下列版本資訊提供由 Apache Spark 3.3.1 提供之 Databricks Runtime 12.0 的相關信息。

Databricks 於 2022 年 12 月發行此版本。

新功能和改進

預測性 I/O 為 GA

預測性 I/O 現已正式推出。 如需詳細資訊，請參閱 什麼是預測性 I/O？。

Photon 寫入器支援 zstd 壓縮

當透過將 spark.sql.parquet.compression.codec 設定為 zstd 來啟用 zstd 時，Photon 原生寫入器現在支援 zstd 壓縮編解碼器。

支援獨立叢集的階段級別任務資源配置描述檔

在停用動態配置時，您現在可以在獨立叢集上使用階段層級排程。 若要使用此功能，請針對每個階段指定工作資源 ResourceProfileBuilder。

SQL 支援選擇性覆寫REPLACE WHERE

您現在可以使用下列模式，選擇性地覆寫與 Delta 數據表中任意表示式相符的數據。

INSERT INTO table_name REPLACE WHERE predicate append_relation

請參閱 任意選擇性覆寫，與 replaceWhere。

SQL 現在支援浮水印

您現在可以使用 DLT SQL 介面和針對串流資料框架的 SQL 查詢來指定浮水印。 請參閱 WATERMARK子句。

PySpark 記憶體分析

現在已針對 PySpark 使用者定義函式啟用記憶體分析。 這會提供使用者定義函式中每一行程式代碼的記憶體遞增、記憶體使用量和出現次數的相關信息。

DELETE 和 UPDATE 的動態修剪

使用啟用 Photon 的計算時，DELETE 和 UPDATE 現在在能提升效能的情況下使用動態檔案和分割剪除。 例如，當較小的源數據表用來更新或刪除較大數據表中的數據列時，就會啟用動態剪除。

列級刪除計量用於分區資料操作語言操作

使用分割述詞時，用戶現在可以稽核執行資料操作語言 （DML） 作業時刪除的數據列數目，例如 DELETE、 TRUNCATE和 replaceWhere。

錯誤修正

修正了自動載入器中 JSON 剖析的問題，其中所有數據行都保留為字元串。 先前 cloudFiles.inferColumnTypes 未設定或設定為 false ，且 JSON 包含巢狀物件。

圖書館升級 / 資料庫升級

  • 升級的 Python 庫：
    • argon2-cffi 版本從 20.1.0 到 21.3.0
    • attrs 從 21.2.0 到 21.4.0
    • backports.entry-points-selectable 從 1.1.1 到 1.2.0
    • 從 4.0.0 到 4.1.0 的漂白
    • boto3 從 1.21.18 到 1.21.32
    • 從 1.24.18 到 1.24.32 的 botocore
    • cffi 從 1.14.6 到 1.15.0
    • 從 8.0.3 更新至 8.0.4
    • cycler 從 0.10.0 到 0.11.0
    • Cython 從 0.29.24 到 0.29.28
    • debugpy 從 1.4.1 到 1.5.1
    • decorator 從 5.1.0 更新到 5.1.1
    • 從 0.3 到 0.4 的入口點
    • 從 3.2 到 3.3 的 idna
    • 從 6.12.1 到 6.15.3 的 ipykernel
    • 從 7.32.0 到 8.5.0 的 ipython
    • 從 7.7.0 到 7.7.2 的 ipywidgets
    • jedi 從 0.18.0 到 0.18.1
    • joblib 從 1.0.1 到 1.1.0
    • jsonschema 從 3.2.0 到 4.4.0
    • kiwisolver 從 1.3.1 到 1.3.2
    • matplotlib 從 3.4.3 到 3.5.1
    • nbclient 從 0.5.3 到 0.5.13
    • nbconvert 從 6.1.0 到 6.4.4
    • nbformat 從 5.1.3 到 5.3.0
    • nest-asyncio 從 1.5.1 到 1.5.5
    • 筆記本版本從 6.4.5 更新到 6.4.8
    • numpy 從 1.20.3 升級到 1.21.5
    • 封裝從 21.0 到 21.3
    • pandas 從 1.3.4 更新至 1.4.2
    • pandocfilters 從 1.4.3 更新至 1.5.0
    • 將 parso 從 0.8.2 更新到 0.8.3
    • 枕頭從 8.4.0 到 9.0.1
    • platformdirs 從 2.5.2 更新到 2.5.4
    • 從 5.9.0 到 5.6.0 的繪圖
    • prometheus-client 從 0.11.0 到 0.13.1
    • protobuf 版本從 4.21.5 降至 3.19.4
    • pycparser 從 2.20 到 2.21
    • 從 2.10.0 到 2.11.2 的 Pygments
    • pyodbc 從 4.0.31 到 4.0.32
    • pyzmq 從 22.2.1 到 22.3.0
    • 要求從 2.26.0 到 2.27.1
    • s3transfer 從 0.5.2 到 0.5.0
    • scikit-learn 從版本 0.24.2 升級至 1.0.2
    • scipy 從 1.7.1 到 1.7.3
    • 從 0.12.2 到 0.13.2 的 statsmodel
    • terminado 從 0.9.4 到 0.13.1
    • tomli 從 2.0.1 到 1.2.2
    • 從 5.1.0 到 5.1.1 的特性
    • 從 1.26.7 到 1.26.9 的 urllib3
    • widgetsnbextension 從版本 3.6.0 更新到版本 3.6.1
  • 升級的 R 程式庫：
    • 基準從 4.1.3 到 4.2.2
    • Brew升級從 1.0-7 到 1.0-8
    • bslib 從 0.4.0 到 0.4.1
    • callr 版本從 3.7.2 更新到 3.7.3
    • 2.3-57 到 2.3-58 的時序
    • cli 從 3.3.0 升級到 3.4.1
    • 叢集從 2.1.3 到 2.1.4
    • commonmark 從 1.8.0 更新至 1.8.1
    • 編譯程式從 4.1.3 到 4.2.2
    • cpp11 從 0.4.2 到 0.4.3
    • crayon 從 1.5.1 到 1.5.2
    • curl（軟體）從 4.3.2 更新到 4.3.3
    • 從 1.14.2 到 1.14.4 的 data.table
    • 從 4.1.3 到 4.2.2 的數據集
    • 說明從 1.4.1 到 1.4.2
    • devtools 從 2.4.4 到 2.4.5
    • 摘要從 0.6.29 到 0.6.30
    • e1071 從 1.7-11 到 1.7-12
    • 在 0.16 到 0.18 之間進行評估
    • fontawesome 從 0.3.0 更新至 0.4.0
    • 從 1.28.0 到 1.29.0 的未來
    • future.apply 從 1.9.1 到 1.10.0
    • gargle 從 1.2.0 到 1.2.1
    • gert 從版本 1.8.0 更新到 1.9.1
    • ggplot2 從 3.3.6 到 3.4.0
    • gh 從 1.3.0 到 1.3.1
    • gitcreds 從 0.1.1 版本更新到 0.1.2 版本
    • 從 4.1.3 到 4.2.2 的圖形
    • grDevices 從 4.1.3 到 4.2.2
    • 從 4.1.3 到 4.2.2 的方格
    • 從 1.6.5 到 1.6.6 的 httpuv
    • isoband 從 0.2.5 到 0.2.6
    • jsonlite 從 1.8.0 到 1.8.3
    • 從 1.6.10 到 1.7.0 的熔岩
    • 從 1.0.1 到 1.0.3 的生命週期
    • 從 1.8.0 到 1.9.0 的 lubridate 軟體包
    • Markdown 從 1.1 到 1.3
    • MASS 從 7.3-56 到 7.3-58
    • 從 1.4-1 到 1.5-1 的矩陣
    • 從 4.1.3 到 4.2.2 的方法
    • mgcv 從 1.8-40 到 1.8-41
    • nlme 從 3.1-157 到 3.1-160
    • nnet 從 7.3-17 到 7.3-18
    • openssl 從 2.0.2 到 2.0.4
    • 平行從 4.1.3 到 4.2.2
    • 從 1.3.0 到 1.3.1 的 pkgload
    • processx 從 3.7.0 到 3.8.0
    • ps 版本從 1.7.1 更新到 1.7.2
    • 從 0.3.4 到 0.3.5 的 purrr
    • ragg 從 1.2.2 版本更新到 1.2.4 版本
    • RcppEigen 從 0.3.3.9.2 到 0.3.3.9.3
    • readr 從 2.1.2 更新到 2.1.3
    • 從 1.0.1 到 1.0.3 的食譜
    • rlang 從版本 1.0.5 更新到 1.0.6
    • 從 2.16 到 2.18 的 rmarkdown
    • 從 4.1.16 到 4.1.19 的 rpart 版本更新
    • RSQLite 從 2.2.16 到 2.2.18
    • 閃亮從 1.7.2 到 1.7.3
    • 從 3.3.0 到 3.3.1 的 SparkR
    • 從 4.1.3 到 4.2.2 的曲線
    • 從 4.1.3 到 4.2.2 的統計數據
    • stats4 從 4.1.3 到 4.2.2
    • sys 從 3.4 到 3.4.1
    • tcltk 從 4.1.3 到 4.2.2
    • testthat 從 3.1.4 到 3.1.5
    • tidyr 從 1.2.0 到 1.2.1
    • 從 1.1.2 到 1.2.0 的 tidyselect
    • timeDate 從 4021.104 到 4021.106
    • tinytex 從 0.41 到 0.42
    • 從 4.1.3 到 4.2.2 的工具
    • 將工具從 4.1.3 更新到 4.2.2
    • 從 0.4.1 到 0.5.0 的 vctrs
    • vroom 版本從 1.5.7 更新到 1.6.0
    • xfun 從版本 0.32 更新到 0.34
    • yaml 從 2.3.5 到 2.3.6
    • zip 從 2.2.0 到 2.2.2
  • 升級的 Java 程式庫：
    • com.fasterxml.jackson.core.jackson-databind 從 2.13.4 到 2.13.4.2
    • org.apache.parquet.parquet-column 從版本 1.12.0-databricks-0007 更新至版本 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common，從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding：從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures，從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop 從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson 從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations 從 0.5.0 至 0.13.0

Apache Spark

Databricks Runtime 12.0 包含 Apache Spark 3.3.1。 此版本包含 Databricks Runtime 11.3 LTS 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] 還原 “[SC-113542][ss] 翻轉 Kafka 位移擷取 config 的默認值”
  • [SPARK-40646] [SC-116061] 恢復 “[SC-113379][sql] 修正在 JSON 數據源和 JSON 函式中傳回部分結果”
  • [SPARK-41195] [SC-116305][sql] 支援 PIVOT/UNPIVOT 加入子系
  • [SPARK-41178] [SC-116139][sql] 修正 JOIN 與逗號之間的剖析器規則優先順序
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] 將錯誤類別 STREAM_FAILED 新增至 StreamingQueryException
  • [SPARK-40921] 還原 “[SC-115140][sc-114585][SQL] 將 WHEN NOT MATCHED BY SOURCE 子句新增至 MERGE INTO
  • [SPARK-37980] [SC-115758][SQL]擴充METADATA資料行以支援 Parquet 檔案的數據列索引
  • [SPARK-41055] [SC-115582][sql] 將 _LEGACY_ERROR_TEMP_2424 重新命名為 GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] 訊息類別名稱支援 PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] SQL 等同於 Dataframe 覆寫命令
  • [SPARK-41095] [SC-115659][sql] 將未解決的運算符轉換為內部錯誤
  • [SPARK-41144] [SC-115866][sql] 未解決的提示不應該造成查詢失敗
  • [SPARK-41137] [SC-115858][sql] 將 LATERAL_JOIN_OF_TYPE 重新命名為 INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] 將錯誤類別重新命名 _LEGACY_ERROR_TEMP_0040 為 INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] UnitTest 資料生成器的空值檢查
  • [SPARK-40769] [SC-114923][core][SQL] 將匯總表達式的類型檢查失敗移轉至錯誤類別
  • [SPARK-41043] [SC-115183][sql] 將錯誤類別重新命名 _LEGACY_ERROR_TEMP_2429 為 NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobuf 匯入支援並移動錯誤類別。
  • [SPARK-41019] [SC-114987][sql] 提供查詢內容以 failAnalysis()
  • [SPARK-41027] [SC-115131][sql] 使用 UNEXPECTED_INPUT_TYPE，而不是使用 MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] 減少 ALS 的隨機大小
  • [SPARK-41134] [SC-115851][sql] 改善內部錯誤的錯誤訊息
  • [SPARK-37980] 還原 “ [SQL] 擴充 METADATA 數據行以支援 Parquet 檔案的數據列索引
  • [SPARK-41109] [SC-115788][sql] 將錯誤類別從 _LEGACY_ERROR_TEMP_1216 更名為 INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] 使用 NON_FOLDABLE_INPUT 而不是 FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] 優化 GenericArrayData for Scala 2.13 的建構函式使用
  • [SPARK-40697] [SC-113648][sql] 新增讀取端字元填補以涵蓋外部數據檔
  • [SPARK-40978] [SC-114574][sql] 將沒有上下文的 failAnalysis() 遷移至錯誤類別
  • [SPARK-40663] [SC-114586][sql] 將執行錯誤移轉至錯誤類別：_LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2：支持數據列層級命令中的運行時間群組篩選
  • [SPARK-40372] [SC-115668][sql] 將數位類型檢查失敗移轉至錯誤類別
  • [SPARK-41038] [SC-115371][sql] 將 MULTI_VALUE_SUBQUERY_ERROR 重新命名為 SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] 將錯誤類別重新命名 _LEGACY_ERROR_TEMP_1208 為 FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] 將條件類型檢查的失敗映射到錯誤類別中
  • [SPARK-40371] [SC-114557][sql] 將 NthValue 和 NTile 的類型檢查失敗移轉至錯誤類別
  • [SPARK-41092] [SC-115547][sql] 請勿使用標識符來比對間隔單位
  • [SPARK-41009] [SC-115360][sql] 將錯誤類別重新命名 _LEGACY_ERROR_TEMP_1070 為 LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL]擴充METADATA資料行以支援 Parquet 檔案的數據列索引
  • [SPARK-40967] [SC-114448][sql] 將 failAnalysis() 遷移至錯誤類別
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] 使用 SQL 計量檢測 Python UDF
  • [SPARK-41012] [SC-114873][sql] 將 _LEGACY_ERROR_TEMP_1022 重新命名為 ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] 將 PARSE_CHAR_MISSING_LENGTH 重新命名為 DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] 將各類表達式的類型檢查失敗移轉至錯誤類別中
  • [SPARK-37945] [SC-115534][sql][CORE] 在算術運算的執行錯誤中使用錯誤類別
  • [SPARK-40374] [SC-114705][sql] 將類型建立者的類型檢查失敗移轉至錯誤類別
  • [SPARK-41056] [SC-115354][r] 修正 R 4.2 中引進的新 R_LIBS_SITE 行為
  • [SPARK-41041] [SC-115357][sql] 將 _LEGACY_ERROR_TEMP_1279 整合到 TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] 將執行錯誤遷移至錯誤類別：_LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] 將錯誤類別重新命名 _LEGACY_ERROR_TEMP_1019 為 STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] 不要修補 RewriteDistinctAggregates 中聚合函數的可折迭子系
  • [SPARK-39778] [SC-114353][sql] 改善錯誤類別和訊息
  • [SPARK-40798] [SC-113782][sql] 修改分區應驗證值是否符合 storeAssignmentPolicy。
  • [SPARK-40810] [SC-113533][sql] 在 CreateDatabaseCommand 中使用 SparkIllegalArgumentException，而不是 IllegalArgumentException & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] 將 WHEN NOT MATCHED BY SOURCE 子句新增至 MERGE INTO
  • [SPARK-40360] [SC-114965]ALREADY_EXISTS和NOT_FOUND例外狀況
  • [SPARK-41007] [SC-115085][sql] 新增 java.math.BigInteger 的遺漏序列化器
  • [SPARK-40751] [SC-114254][sql] 將高階函式的類型檢查失敗移轉至錯誤類別
  • [SPARK-40248] [SC-114704][sql] 使用較多的位來建置 Bloom 篩選
  • [SPARK-41040] [SC-115145][ss] 修正使用 readStream.table 時自我聯結串流查詢失敗的問題
  • [SPARK-32380] [SC-114966][sql] 修正從 Spark 透過 Hive 存取 HBase 表格的問題
  • [SPARK-40749] [SC-114860][sql] 將產生器類型檢查失敗移轉至錯誤類別
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] 修正具狀態運算符的延遲問題...
  • [SPARK-40654] [SC-112783]拿掉暫存記錄行
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] 修正與泛型類型相關的 Java 編譯警告
  • [SPARK-40657] [SC-113642][擷取] 在 Protob 中新增 Java 類別的支援...
  • [SPARK-40898] [SC-113932][sql] 在數據類型不匹配錯誤中為函數名稱加上引號
  • [SPARK-40760] [SC-113750][sql] 將間隔表達式的類型檢查失敗移轉至錯誤類別
  • [SPARK-36114] [SC-113771][sql] 支援與相互關聯非相等述詞的子查詢
  • [SPARK-40856] [SC-113738][sql] 更新WRONG_NUM_PARAMS的錯誤範本
  • [SPARK-40759] [SC-114251][sql] 將時間窗口的類型檢查失敗移轉至錯誤類別
  • [SPARK-40750] [SC-113812][sql] 將數學表達式的類型檢查失敗移轉至錯誤類別
  • [SPARK-40756] [SC-113749][sql] 將字串表達式的類型檢查失敗移轉至錯誤類別
  • [SPARK-40768] [SC-113640][sql] 將 bloom_filter_agg() 的類型檢查失敗遷移至錯誤類別
  • [SPARK-40369] [SC-113402][core][SQL] 將透過反射調用的類型檢查失敗遷移到錯誤類別中
  • [SPARK-39445] [SQL]如果 windowExpressions 在資料行剪除中是空的，請移除視窗
  • [SPARK-40761] [SC-113245][sql] 將百分位數表達式的類型檢查失敗移轉至錯誤類別
  • [SPARK-40361] [SC-112789][sql] 將算術類型檢查失敗移轉至錯誤類別
  • [SPARK-40714] [SC-112576][sql] 移除 PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] 修正 PartitionsAlreadyExistException 中的數據分割規格
  • [SPARK-40358] [SC-112631][sql] 將集合類型檢查失敗移轉至錯誤類別
  • [SPARK-40910] [SC-114259][sql] 以 SparkUnsupportedOperationException 取代 UnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] 將 UNPIVOT 新增至 SQL 語法
  • [SPARK-39783] [SC-113389][sql] Quote qualifiedName，以修正錯誤訊息中數據行候選專案的反引號
  • [SPARK-40663] [SC-112520][sql] 將執行錯誤遷移至錯誤類別：_LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] 將錯誤類別重新命名 _LEGACY_ERROR_TEMP_0021 為 UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] 排除個別的錯誤子類別字段
  • [SPARK-40944] [SC-114530][sql] 放寬 CREATE TABLE 欄位選項的排序條件約束
  • [SPARK-40815] [SC-114528][sql] 新增 DelegateSymlinkTextInputFormat 作為 SymlinkTextInputSplit 問題的解決方法
  • [SPARK-40933] [SC-114441][sql] 使用內建 sql 函式重新實現 df.stat.{cov, corr}
  • [SPARK-40932] [SC-114439][core] 修正 allGather 的錯誤訊息被覆蓋的問題
  • [SPARK-39312] [SQL]在篩選下推下中使用 parquet 原生 In 述詞
  • [SPARK-40862] [SC-114352][sql] 支援 RewriteCorrelatedScalarSubquery 中的非匯總子查詢
  • [SPARK-40963] [SC-114446][sql] 在 ExtractGenerator 所建立專案中正確設定可為 Null
  • [SPARK-40663] [SC-112295][sql] 將執行錯誤遷移至錯誤類別：_LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] 放寬對 window_time 規則的要求 - 允許多次呼叫 window_time
  • [SPARK-40540] [SC-111639][sql] 將編譯錯誤遷移至錯誤類別：_LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] 修正 Unhex 在輸入包含奇數符號時的問題
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] 介紹window_time函式，以從視窗數據行擷取事件時間
  • [SPARK-40800] [SC-113772][sql] 在 OptimizeOneRowRelationSubquery 中始終內嵌表達式
  • [SPARK-40900] [SC-114006][sql] 使用數據框架作業重新實作 frequentItems
  • [SPARK-40735] [SC-114022][sc-112657] 以 /usr/bin/env bash 在腳本中持續叫用 bash，讓程式代碼更具可移植性
  • [SPARK-40773] [SC-113091][sql] 重構 checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][sql] 在去關聯子查詢時檢查不支持的數據類型
  • [SPARK-40660] [SC-112293][core][SQL] 切換至 XORShiftRandom 以散發元素
  • [SPARK-40540] [SC-113926][sc-111331][SQL] 將編譯錯誤移轉至錯誤類別
  • [SPARK-40551] [SC-113135][sql] DataSource V2：新增基於增量的列層級操作的 API
  • [SPARK-39391] [SC-110676][核心] 重用分區器類別
  • [SPARK-40368] [SC-113396][sql] 將 Bloom 篩選類型檢查失敗移轉至錯誤類別
  • [SPARK-39146] [SC-111814][core][SQL] 引入可重複使用的本地單例 ObjectMapper
  • [SPARK-40357] [SC-113786][sc-111352][SQL] 將窗口類型檢查失敗移轉至錯誤類別
  • [SPARK-40874] [SC-113756][python] 修正啟用加密時在 Python UDF 中的廣播機制。
  • [SPARK-40359] [SC-113770][sc-111146][SQL] 將 CSV/JSON 表達式中的類型檢查失敗移轉至錯誤類別
  • [SPARK-40880] [SC-113764][sql] 使用數據框架作業重新實作 summary
  • [SPARK-40877] [SC-113763][sql] 使用數據框架作業重新實作 crosstab
  • [SPARK-40382] [SC-113098][sql] 在 RewriteDistinctAggregates 中按語意相同的子項群組不同的匯總表達式。
  • [SPARK-40826] [SC-113532][ss] 新增額外的檢查點重新命名檔案檢查
  • [SPARK-40829] [SC-113426][sql] CREATE TABLE LIKE 檢視中的 STORED AS serde 無法運作
  • [SPARK-40844] [SC-113542][ss] 翻轉 Kafka 位移擷取設定的預設值
  • [SPARK-40488] [SC-113568][sc-111160] 請勿包裝數據源寫入失敗時擲回的例外狀況
  • [SPARK-40560] [SC-113631][sc-111335][SQL] 以錯誤 STANDARD 格式將 message 重新命名為 messageTemplate
  • [SPARK-40618] [SC-113096][sql] 修正含有巢狀子查詢且使用參考追蹤的 MergeScalarSubqueries 規則中的 bug
  • [SPARK-40530] [SC-113528][sc-111332][SQL] 新增錯誤相關的開發人員 API
  • [SPARK-40806] [SC-113250][sql] 錯字修正：CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] 修正 JSON 數據源和 JSON 函式中傳回部分結果的問題
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Protobuf 對 Spark 的支援 - 來自...
  • [SPARK-40753] [SC-113539][sql] 修正目錄作業測試案例中的 Bug
  • [SPARK-40765] [SC-113056][sql] 在 CommandUtils#calculateSingleLocationSize#getPathSize 方法中優化備援 fs 作業
  • [SPARK-40114] [ES-479282][r][11.X] 箭號 9.0.0 支援 SparkR
  • [SPARK-40479] [SC-110935][sql] 將非預期的輸入類型錯誤移轉至錯誤類別
  • [SPARK-40473] [SC-113388][sc-111141][SQL] 將剖析錯誤移轉至錯誤類別
  • [SPARK-39853] [SC-111867][核心] 在動態配置停用時，支援獨立叢集的階段層級任務資源設定檔（回溯移植自 PR-47157）
  • [SPARK-40407] [SC-111161][sql] 修正 df.repartition 所造成的潛在數據扭曲
  • [SPARK-40425] [SC-110840][sql] DROP TABLE 不需要執行數據表查閱
  • [SPARK-40703] [SC-113242][sql] 引入 SinglePartition 上的數據交換以改善並行性
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil 來設定 hadoop/hive 設定選項的來源
  • [SPARK-39062] [11.x][核心] 新增獨立叢集的階段層級資源排程支援
  • [SPARK-33861] [SC-109877]還原 “[SQL] 簡化述詞中的條件式”
  • [SPARK-40667] [SC-113136][sql] 重構檔案數據源選項
  • [SPARK-40370] [SC-110677][sql] 將類型檢查失敗對應至 CAST 中的錯誤類別
  • [SPARK-40611] [SC-113105][sql] 改善 setInterval & getInterval 的效能以提升 UnsafeRow
  • [SPARK-40733] [SC-113126][sql] 使 ShowCreateTableAsSerdeCommand 結果中 SERDEPROPERTIES 的內容具有固定順序
  • [SPARK-40585] [SC-112180][sql] 支援雙引號標識符
  • [SPARK-40772] [SC-112992][sql] 改善 spark.sql.adaptive.skewJoin.skewedPartitionFactor 以支援 Double 值
  • [SPARK-40565] [SC-112417][sql] 請勿將非決定性篩選推送至 V2 檔案來源
  • [SPARK-8731] [SC-112784]Beeline 無法在背景啟動時使用 -e 選項
  • [SPARK-35242] [SC-111398][sql] 支援變更會話目錄的默認資料庫
  • [SPARK-40426] [SC-110672][sql] 從 SparkThrowable.getMessageParameters 傳回地圖
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] 優化 keys.zipWithIndex.toMap 程式代碼模式的效能
  • [SPARK-40521] [SC-112430][sql] 只傳回 Hive 建立分區 PartitionsAlreadyExistException 中已存在的分區
  • [SPARK-40705] [SC-112567][sql] 處理將 Row 轉換為 JSON 時使用可變陣列於 Scala 2.13 的情況
  • [SPARK-39895] [SC-112590][sql][PYTHON] 支援多個欄位刪除
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] 移除多餘的字符串插補器作業
  • [SPARK-40420] [SC-112604][sc-110569][SQL] 依 JSON 格式的名稱排序錯誤訊息參數
  • [SPARK-40403] [SC-110564][sql] 使用 longs 計算不安全的陣列大小，以避免錯誤訊息中的負大小
  • [SPARK-40482] [SC-110831][sql] 還原 SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] 將錯誤訊息參數傳遞至例外狀況作為對應
  • [SPARK-40628] [SC-112414][sql] 不要透過專案推送複雜左半/反聯結條件
  • [SPARK-40562] [SC-111455][sql] 新增 spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] 新增 PushProjectionThroughLimit 以用於 Optimizer
  • [SPARK-39200] [SC-111244][core] 讓後援儲存使用 `readFully` 方法讀取內容
  • [SPARK-38717] [SC-111241][sql] 處理 Hive 桶規範的大小寫保持行為
  • [SPARK-40385] [SC-111123][sql] 修正隨附物件建構函式的解譯路徑
  • [SPARK-40216] [SC-112413][sql] 擷取一般 ParquetUtils.prepareWrite 方法，以在 ParquetFileFormat 和 ParquetWrite 中刪除重複程序代碼
  • [SPARK-40636] [SC-112160][core] 修正 BlockManagerDecommissioner 中錯誤保留的洗牌日誌
  • [SPARK-40617] [SC-112009]修正處理 ExecutorMetricsPoller 階段TCMP 項目的競爭條件
  • [SPARK-40618] [SC-112046][sql] 修正 MergeScalarSubqueries 規則在處理巢狀子查詢時的錯誤
  • [SPARK-40612] [SC-111933][core] 修正用於非 YARN 資源管理員委派令牌更新的主體
  • [SPARK-40595] [SC-111662][sql] 改善未使用 CTE 關係的錯誤訊息
  • [SPARK-40314] [SC-111879][sql][PYTHON] 新增內嵌和inline_outer的 scala 和 python 系結
  • [SPARK-40416] [SC-110945][sql] 將子查詢表達式的 CheckAnalysis 錯誤訊息移至新錯誤架構中
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg（） 應該從其子系擲回例外狀況
  • [SPARK-40509] [SC-111644][ss][PYTHON] 新增 applyInPandasWithState 的範例
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum（） 應該從其子系擲回例外狀況
  • [SPARK-40016] [SQL]在實作 try_sum（） 中移除不必要的 TryEval
  • [SPARK-40527] [SC-111224][sql] 在 CreateStruct 中保留結構欄位名稱或映射鍵值
  • [SPARK-38098] [SC-111178][python] 將巢狀 StructType 的 ArrayType 支援新增至箭頭型轉換
  • [SPARK-40324] [SC-111359][sc-110293][SQL] 在 AnalysisException 中提供查詢內容
  • [SPARK-40492] [SC-111324][ss] 在串流狀態儲存卸載之前進行維護
  • [SPARK-40487] [SC-111124][sql] 使 BroadcastNestedLoopJoinExec 中的預設 Join 平行執行
  • [SPARK-40474] [SC-111273][sql] 更正具有混合日期和時間戳的數據行 CSV 架構推斷和數據剖析行為
  • [SPARK-40508] [SC-111066][sql] 將未知的分區視為 UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] 修正設定以控制 “enableDateTimeParsingFallback”
  • [SPARK-40435] [SC-111214][ss][PYTHON] 在 PySpark 中新增 applyInPandasWithState 的測試套件
  • [SPARK-40434] [SC-111125][ss][PYTHON] 在 PySpark 中實作 applyInPandasWithState

維護更新

請參閱 Databricks Runtime 12.0 維護更新。

系統環境

  • 作業系統：Ubuntu 20.04.5 LTS
  • Java：Zulu 8.64.0.19-CA-linux64
  • Scala：2.12.14
  • Python：3.9.5
  • R: 4.2.2
  • Delta Lake：2.2.0

已安裝的 Python 程式庫

圖書館 版本 圖書館 版本 圖書館 版本
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
屬性 21.4.0 回調 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 黑色 22.3.0 漂白劑 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
點擊 8.0.4 密碼編譯 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
裝飾者 5.1.1 defusedxml 0.7.1 distlib 0.3.6
入口點 0.4 執行 0.8.3 面向概述 1.0.0
fastjsonschema 2.16.2 文件鎖 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
筆記本 6.4.8 numpy 1.21.5 包裝 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 替罪羊 0.5.2 pexpect 4.8.0
皮克爾共享 (Pickleshare) 0.7.5 枕頭 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 請求 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
六 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
堆疊資料 0.2.0 statsmodels 0.13.2 堅韌 8.0.1
結束 0.13.1 測試路徑 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 無人值守升級 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 輪子 0.37.0 widgetsnbextension 3.6.1

已安裝的 R 程式庫

R 程式庫自 2022-11-11 於 Microsoft CRAN 快照集安裝。

圖書館 版本 圖書館 版本 圖書館 版本
箭 10.0.0 askpass 1.1 assertthat 0.2.1
回溯移植 1.4.1 基礎 4.2.2 base64enc 0.1-3
位元 4.0.4 64位元 4.0.5 blob 1.2.3
boot 1.3-28 沖泡 / 釀造 1.0-8 活力 1.1.3
掃帚 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 課程 7.3-20 cli 3.4.1
clipr 0.8.0 時鐘 0.6.1 群集 2.1.4
codetools 0.2-18 色彩空間 2.0-3 commonmark 1.8.1
編譯器 4.2.2 配置 0.3.1 cpp11 0.4.3
蠟筆 1.5.2 憑證 1.3.2 curl 4.3.3
data.table 1.14.4 資料集 4.2.2 DBI 1.1.3
dbplyr 2.2.1 描述 1.4.2 devtools 2.4.5
diffobj 0.3.5 摘要 0.6.30 向下照明 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
省略符號 0.3.2 評估 0.18 fansi 1.0.3
顏色 2.1.1 快速映射 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 外國 0.8-82
鍛造 / 偽造 (depending on context) 0.2.0 fs 1.5.2 未來 1.29.0
future.apply 1.10.0 漱口 1.2.1 泛型 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 全域變數 0.16.1
膠水 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 圖形 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 安全帽 1.2.0 避風港 2.5.1
虛擬活動平台 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
識別碼 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
標籤 0.4.2 稍後 1.3.0 格子 0.20-45
熔岩 1.7.0 生命週期 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
質量 7.3-58 矩陣 1.5-1 記憶化 2.0.1
方法 4.2.2 mgcv 1.8-41 默劇 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016年8月至2017年1月1日 openssl 2.0.4 平行 4.2.2
平行地 1.32.1 支柱 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr (普勒格) 0.2.0 plyr 1.8.7 讚美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 進度 1.2.2
progressr 0.11.0 承諾 1.2.0.1 proto 1.0.0
代理 0.4-27 附註 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
隨機森林 (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 食譜 1.0.3
重賽 1.0.1 rematch2 2.1.2 遙控器 2.4.2
可重現範例 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 秤 1.2.1
selectr 0.4-2 會話信息 1.2.2 形狀 1.4.6
光亮的 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 空間的 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 統計資料 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
生存 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 文字排版 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 時間變更 0.1.1 時間日期 4021.106
tinytex 0.42 工具 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 UUID（通用唯一識別碼） 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 維瑟（假設為品牌或專有名詞的音譯） 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport（AWS Java 開發套件導入導出工具） 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift (Amazon Web Services 的 Redshift Java 軟體開發工具包) 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 串流 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger 性能分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版本
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 設定 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload（檔案上傳） commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib BLAS（基本線性代數子程式） 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空氣壓縮機 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics 指標-健康檢查 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common（Netty 傳輸本地 Unix 公用程式） 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine 醃黃瓜 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc驅動程式 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr 字串範本 3.2.1
org.apache.ant 螞蟻 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 箭頭格式 7.0.0
org.apache.arrow 箭頭記憶核心 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow 箭頭向量 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons 公共文本 1.10.0
org.apache.curator 策展人-客戶 2.13.0
org.apache.curator curator框架 2.13.0
org.apache.curator 策展人食譜 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop 客戶端運行時 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents HttpClient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 常春藤 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet Parquet 欄位 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-編碼 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 結構 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus 觀眾註釋 0.13.0
org.apache.zookeeper 動物園管理員 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty 噴流安全性 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket 應用程式介面 (WebSocket API) 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket 伺服器 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core Jersey 客戶端 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 註解 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap 墊片 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 測試介面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用的 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1