Databricks Runtime 10.2 (EoS)

下列版本資訊提供由 Apache Spark 3.2.0 提供的 Databricks Runtime 10.2 和 Databricks Runtime 10.2 Photon 的相關信息。 Databricks 於 2021 年 12 月發行此版本。 Photon 處於 公開預覽狀態。

新功能和改進

• 搭配 Spark 串流使用 Repos 中的檔案
• Databricks Utilities 新增 update 掛接命令
• Delta Lake 支援重新命名 columns （公開預覽）
• Delta Lake table 歷程記錄會新增 Databricks 運行時間版本資訊
• Databricks 公用程式會在列出目錄時新增最新的修改時間資訊
• Spark SQL 新增函 approx_top_k 式以傳回最上層專案及其計數
• Trigger.AvailableNow 現在可在 Python 和 Scala 中使用
• 自動載入器現在支援 Avro 演進（公開預覽）schema

搭配 Spark 串流使用 Repos 中的檔案

您現在可以從 Spark 串流存取 Repos 中的檔案。

Databricks 公用程式新增update 掛載指令

新的命令類似於 dbutils.fs.updateMount，但這個新dbutils.fs.mount命令會更新現有的裝入點，而不是建立新的裝入點。 請參閱 updateMount 命令 （dbutils.fs.updateMount） 。

Delta Lake 支援 columns 更名功能（公開預覽版本）

Delta Lake 現在支援重新命名「column」。 若要重新命名 Delta table的 column，您必須將 Delta table的版本升級，然後將 column 對應模式 set 為名稱對應。 請參閱 重新命名和卸除 columns 與 Delta Lake column 對應。

Delta Lake table 歷程記錄新增 Databricks Runtime 版本資訊

現在當對 Delta table進行寫入時，還會記錄執行寫入操作的 Databricks Runtime 版本資訊。 若要 get 版本資訊，請在 table 上執行 DESCRIBE HISTORY 命令，然後在輸出中看到 engineInfocolumn。 請參閱 DESCRIBE HISTORY 與 使用 Delta Lake table 歷程記錄。

Databricks 公用程式會在列出目錄時新增最新的修改時間資訊

列出 dbutils.fs.ls 目錄內容的命令現在會輸出 modificationTime 欄位。 此欄位包含每個欄位的檔案或目錄的最新修改時間。 請參閱 ls 指令 （dbutils.fs.ls） 。

Spark SQL 新增函 approx_top_k 式以傳回最上層專案及其計數

新的 approx_top_k 函式會針對指定的表達式傳回最常出現的項目 values及其大致計數。 這些範例包含：

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

執行任一範例的結果為：

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

請參閱 approx_top_k聚合函數。

Trigger.AvailableNow 現在可在 Python 和 Scala 中使用

這項變更支援 Python 和 Scala 中的 Delta 來源串流查詢 Trigger.AvailableNow 。 Databricks Runtime 10.1 引進了在 Scala 中此觸發程序的支援。 Databricks Runtime 10.2 現在也支援 Python 中的此觸發程式。 請參閱什麼是自動載入器？Trigger.AvailableNow涵蓋範圍。

自動載入器現在支援 Avro 的 schema 演進功能（公測版）

請參閱 在 Auto Loader中配置 schema 推斷與演化。

連結庫升級

• 升級的 Python 連結庫：
  • filelock from 3.3.1 to 3.4.0
  • 從 5.3.0 到 5.3.1 的繪圖
• 升級的 R 連結庫：
  • base 從 4.1.1 到 4.1.2
  • 編譯程式從 4.1.1 到 4.1.2
  • 從 4.1.1 到 4.1.2 的數據集
  • 從 4.1.1 到 4.1.2 的圖形
  • grDevices 從 4.1.1 到 4.1.2
  • 從 4.1.1 到 4.1.2 的方格
  • 從 4.1.1 到 4.1.2 的方法
  • 平行從 4.1.1 到 4.1.2
  • 從 1.8-8 到 1.8-10 的 Rserve
  • 從 4.1.1 到 4.1.2 的曲線
  • 從 4.1.1 到 4.1.2 的統計數據
  • stats4 從 4.1.1 到 4.1.2
  • tcltk 從 4.1.1 到 4.1.2
  • 從 4.1.1 到 4.1.2 的工具
  • utils from 4.1.1 to 4.1.2
  • 從 1.2.1 到 1.4.0 的反向移植
  • 從 0.7.9 到 0.7.10 的掃把
  • cli 從 3.0.1 到 3.1.0
  • cpp11 從 0.4.0 到 0.4.1
  • 從 1.4.1 到 1.4.2 的 crayon
  • 從 1.3.1 到 1.3.2 credentials
  • 未來從 1.22.1 到 1.23.0
  • 從 1.4.1 到 1.4.3 的 gert
  • 從 4.1-2 到 4.1-3 的 glmnet
  • 從 1.4.2 到 1.5.0 的黏附
  • 備忘從 2.0.0 到 2.0.1
  • 平行從 1.28.1 到 1.29.0
  • 自 2.0.2 到 2.1.0 的 readr
  • sessioninfo 從 1.1.1 到 1.2.1
  • stringi 從 1.7.5 到 1.7.6
  • 從 3.1.5 到 3.1.6 的 tibble
  • tinytex from 0.34 to 0.35
  • tzdb 從 0.1.2 到 0.2.0
  • usethis from 2.1.2 to 2.1.3
  • 從 0.1-4 到 1.0-3 的 uuid
  • 從 1.5.5 到 1.5.6 的 vroom
  • 從 0.27 到 0.28 的 xfun
• 升級的 Java 程式庫：
  • com.fasterxml.jackson 從 2.12.2 到 2.12.3
  • io.airlift.aircompressor from 0.19 to 0.21
  • io.netty.netty-all 從 4.1.63.Final 到 4.1.68.Final
  • joda-time.joda-time 從 2.10.5 到 2.10.10
  • org.apache.commons.commons-compress 從 1.20 到 1.21
  • org.apache.orc 從 1.6.10 到 1.6.12
  • org.eclipse.jetty 從 9.4.40.v20210413 到 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 從 1.0 到 1.2
  • 從 1.0 到 1.2 org.scalanlp.breeze_2.12
  • 從 2.0.0 到 2.0.1 的 org.org.typelevel.algebra_2.12
  • org.typelevel.cats-kernel_2.12，從 2.0.0 到 2.0.1

Apache Spark

Databricks Runtime 10.2 包含 Apache Spark 3.2.0。 此版本包含 Databricks Runtime 10.1 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

• [SPARK-37447] [SQL]Cache LogicalPlan.isStreaming（） 會導致延遲 val
• [SPARK-37468] [SQL]支援 UnionEstimation 的 ANSI 間隔和 TimestampNTZ
• [SPARK-37464] [SQL] SCHEMA 和 DATABASE 應該只是 NAMESPACE 的別名
• [SPARK-37452] [SQL]Char 和 Varchar 會中斷 v3.1 與 v2 之間的回溯相容性
• [SPARK-36861] [SQL] 使用 yyyy-MM-dd 作為 partition 探索中的日期模式
• [SPARK-37456] [SQL] CREATE NAMESPACE 應該 qualify v2 命令的位置
• [SPARK-37357] [SQL] 為重新平衡數據分割新增小型 partition 因素
• [SPARK-37446] [SQL]使用 getWithoutRegisterFns 的反映來允許不同的 Hive 版本進行建置
• [SPARK-37444] [SQL]ALTER NAMESPACE ... SET LOCATION 應一致地處理 v1 和 v2 命令的空白位置
• [SPARK-36357] [SQL]支持沒有 orc 時區的下推時間戳
• [SPARK-36346] [SQL]支援 Orc 檔案來源中的 TimestampNTZ 類型
• [SPARK-36646] [SQL] 群組依據下推以用於匯總 partitioncolumn
• [SPARK-34960] [SQL]ORC 的匯總下推
• [SPARK-37386] [SQL]簡化 OptimizeSkewedJoin 以不執行成本評估工具
• [SPARK-36073] [SQL]EquivalentExpressions 修正和改善
• [SPARK-35352] [SQL] 為全外連結排序合併新增自動程式生成 join
• [SPARK-37292] [SQL] 若僅在流處理端有著別名的 DISTINCT，則移除外部 join
• [SPARK-37371] [SQL]如果所有子系支援單欄式，UnionExec 應該支援單欄式
• [SPARK-36645] [SQL]Parquet 的匯總 （最小值/最大值/計數） 下推
• [SPARK-37379] [SQL]將樹狀結構模式剪除新增至 CTESubstitution 規則
• [SPARK-37332] [SQL]允許中的 ANSI 間隔 ALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] Optimize RocksDB 狀態存放區提供者上的寫入路徑
• [SPARK-37304] [SQL]允許 v2 中的 ANSI 間隔 ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL]ANSI 間隔與 IntegralType 之間的 CAST
• [SPARK-37289] [SQL] RemovepartitionSchemaOption 函式
• [SPARK-37270] [SQL]如果 elseValue 是空的，請修正可折疊至 CaseWhen 分支
• [SPARK-35345] [SQL]將 Parquet 測試新增至 BloomFilterBenchmark
• [SPARK-37341] [SQL] 避免在完整外部排序合併中不必要的緩衝和複製 join
• [SPARK-37266] [SQL] 視圖文本只能 SELECT 查詢
• [SPARK-37288] [PYTHON][3.2] Backport 自註釋 update
• [SPARK-37262] [SQL]請勿在 JDBCScan 中記錄空的匯總和群組
• [SPARK-37283] [SQL] 請勿嘗試儲存 V1 table，其中包含 Hive 相容格式的 ANSI 間隔
• [SPARK-37221] [SQL]SparkPlan 中的類似收集 API 應該支援單欄輸出
• [SPARK-37202] [SQL]使用 AnalysisContext 追蹤參考的暫存函式
• [SPARK-37023] [CORE]當 shuffleMergeEnabled 在重試期間隨機顯示為 false 時，請避免擷取合併狀態
• [SPARK-37307] [CORE]請勿取得空白分割區的 JDBC 連線
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions 支援 optimize 非根節點
• [SPARK-36799] [SQL]在 CLI 中傳遞 queryExecution 名稱
• [SPARK-37261] [SQL]允許在 DSv2 中使用 ANSI 間隔新增分割區
• [SPARK-37203] [SQL]使用 TypedImperativeAggregate 觀察時修正 NotSerializableException
• [SPARK-37199] [SQL]將決定性欄位新增至 QueryPlan
• [SPARK-37253] [PYTHON] try_simplify_traceback 當 為 None 時 tb_frame.f_lineno 不應該失敗
• [SPARK-37214] [SQL]先前的查詢分析失敗，標識碼無效
• [SPARK-37240] [SQL]處理 ANSI 間隔依據 ColumnVectorUtils.populate()
• [SPARK-35437] [SQL]使用表達式來篩選用戶端的Hive分割區
• [SPARK-32940] [SQL]收集，第一個和最後一個應該是決定性聚合函數
• [SPARK-37231] [SQL]ANSI 間隔分割區的動態寫入/讀取
• [SPARK-37038] [SQL]DSV2 範例下推
• [SPARK-36665] [SQL]新增更多 Not 運算子簡化
• [SPARK-37150] [SQL]移轉 DESCRIBE NAMESPACE 以預設使用 V2 命令
• [SPARK-37196] [SQL]HiveDecimal enforcePrecisionScale 傳回 Null 失敗
• [SPARK-37212] [SQL]改善匯總下推的實作。
• [SPARK-37190] [SQL]改善 ANSI 模式下轉換的錯誤訊息
• [SPARK-37161] [SQL]RowToColumnConverter 支援 AnsiIntervalType
• [SPARK-37160] [SQL]新增組態以選擇性地停用char類型的填補
• [SPARK-36554] [SQL][PYTHON]在 functions.scala 中公開make_date表達式
• [SPARK-37200] [SQL]支持數據源 V2 的卸除索引
• [SPARK-37179] [SQL]ANSI 模式：新增設定以允許在 Datetime 與 Numeric 之間轉換
• [SPARK-37168] [SQL]改善 ANSI 模式下 SQL 函式和運算子的錯誤訊息
• [SPARK-36935] [SQL]擴充 ParquetSchemaConverter 以計算 Parquet 重複和定義層級
• [SPARK-37066] [SQL]改善錯誤訊息，以在無法讀取下一個檔案時顯示檔案路徑
• [SPARK-32567] [SQL] 新增完整外部隨機哈希连接的程式碼生成 join
• [SPARK-37176] [SQL] Sync JsonInferSchema#infer 方法的例外狀況處理邏輯與 JacksonParser#parse 方法
• [SPARK-37149] [SQL]改善 ANSI 模式下算術溢位例外狀況的錯誤訊息
• [SPARK-37136] [SQL] Remove 有關 hive buildin 函式但未在 spark 中實作的程式代碼
• [SPARK-16280][SPARK-37082] [SQL] 實作支援部分匯總的histogram_numeric聚合函數。
• [SPARK-36975] [SQL]更正 HiveClientImpl 中 Hive 用戶端呼叫的計量

維護更新

請參閱 Databricks Runtime 10.2 維護更新。

系統環境

• 作業系統：Ubuntu 20.04.3 LTS
• Java：Zulu 8.58.0.13-CA-linux64
• Scala：2.12.14
• Python：3.8.10
• R：4.1.2
• Delta Lake：1.1.0

已安裝的 Python 程式庫

已安裝的 R 程式庫

R 連結庫會從 2021-11-30 Microsoft CRAN 快照集安裝。

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)