Databricks Runtime 11.2 (EoS)

下列版本資訊提供由 Apache Spark 3.3.0 提供之 Databricks Runtime 11.2 的相關信息。 Databricks 於 2022 年 9 月發行此版本。

新功能和改進

• 在資料表存取控制（資料表 ACL）中將 ALTER TABLE 權限進行更改
• 動態修剪 MERGE INTO
• 已使用動態檔案剪除改善 Delta 中的衝突偵測
• DSE/SQL 首頁中的新開放原始碼整合卡片
• CONVERT TO DELTA 分割區偵測改善
• 數據表架構現在支援資料行的預設值
• 新的 H3 地理空間函式
• 新的 Databricks Runtime 依賴項
• 攜帶您自己的金鑰：Git 認證加密
• SQL：新的聚合函數any_value
• Databricks 公用程式檔案系統命令可用於更多叢集類型
• 現在可以在 Unity Catalog 的中繼存放區授予 CREATE 許可權
• 已啟用 Photon 的叢集中未分割數據表的優化寫入
• Photon 對於更多資料來源的支援
• SQL：ALTER SHARE 現在支援 START VERSION

更改資料表存取控制中的 ALTER TABLE 權限（資料表 ACL）

現在，使用者只需要 MODIFY 許可權，才能使用 ALTER TABLE來變更數據表的架構或屬性。 仍然需要擁有權，才能授與數據表的許可權、變更其擁有者和位置，或重新命名它。 這項變更會讓數據表 ACL 的許可權模型與 Unity 目錄一致。 請參閱 ALTER TABLE。

MERGE INTO 的動態修剪

使用已啟用 Photon 的計算時，MERGE INTO 現在會適當地使用動態檔案和分區剪除來提升效能，例如，當較小的源表合併到更大的目標表時。

已透過動態檔案修剪技術改善 Delta 的衝突偵測功能

在提交時檢查潛在衝突時，衝突偵測現在會考慮由動態檔案修剪所修剪的檔案，但這些檔案並不會被靜態過濾所修剪。 這會導致失敗的交易數目減少。

DSE/SQL 首頁中的新開放原始碼整合卡片

在 DSE/SQL 首頁中介紹新的「開放原始碼整合」卡片，其中顯示開放原始碼整合選項，例如 DLT 和 dbt 核心。

CONVERT TO DELTA 分區偵測改良

CONVERT TO DELTA 會自動推斷登錄至Hive中繼存放區或 Unity 目錄之 Parquet 資料表的數據分割架構，而不需要提供 PARTITIONED BY 子句。

CONVERT TO DELTA 會利用資料儲存庫的分割區資訊來尋找 Parquet 表的檔案，而非列出整個基底路徑，確保被移除的分割區不會被加入 Delta 表。

請參閱 轉換成 Delta Lake。

數據表架構現在支援資料行的預設值

數據表架構現在支援設定數據行的預設值。 INSERT、UPDATE 和 DELETE 這些資料行的命令可以使用 DEFAULT 關鍵詞來參考這些值。 例如，CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET 後面接著 INSERT INTO t VALUES (1, DEFAULT) 將新增資料列 (1, 42)。 CSV、JSON、Orc 和 Parquet 數據源支援此行為。

新的 H3 地理空間函式

您現在可以使用 28 個新的內建 H3 運算式，在已啟用 Photon 的叢集中進行地理空間處理，可在 SQL、Scala 和 Python 中使用。 請參閱H3 地理空間函式。

新的 Databricks 運行時間相依性

Databricks Runtime 現在依賴 H3 Java 函式庫版本 3.7.0。

攜帶您自己的金鑰：Git 認證加密

您可以使用 Azure Key Vault 加密 Git 個人存取權杖 (PAT) 或其他 Git 認證。

請參閱設定 Databricks Git 資料夾 (Repos)。

SQL：新的聚合函數any_value

新的 any_value 聚合函數會針對一組數據列傳回 的任何隨機值 expr 。 請參閱 any_value 聚合函數。

更多叢集類型允許的 Databricks 公用程式檔案系統命令

dbutils.fs 命令（掛接相關的命令除外）現在允許在具有 Unity Catalog 的用戶隔離集群中使用，當用戶擁有 ANY FILE 許可權時，也可在舊版數據表 ACL 叢集中使用。

現在可以在 Unity Catalog 的中繼存放區授予 CREATE 許可權

CREATE CATALOG、CREATE EXTERNAL LOCATION、CREATE SHARE、CREATE RECIPIENT和 CREATE PROVIDER 許可權現在可以在 Unity 目錄中繼存放區上授與。

在啟用 Photon 的叢集中，對未分割數據表進行優化寫入

Unity Catalog 管理的數據表現在會自動將未分區數據表中調整良好大小的資料儲存下來，以改善查詢速度和優化效能。

Photon 對更多數據源的支援

Photon 現在支援更多資料來源，包括 CSV 和 Avro，也相容於快取資料框。 先前，掃描這些數據源表示不論查詢的運算符或表達式為何，都無法將整個查詢進行光化。 現在，這些數據源的查詢可以使用光子技術運行，從而顯著改善延遲和總擁有成本（TCO）。

這項功能預設會由 spark.databricks.photon.photonRowToColumnar.enabled 組態啟用。

限制：

• 此版本中不支援包含巢狀類型的架構（例如陣列、映射和結構）。
• 此版本中不支援 ORC、RDD、Kinesis、Kafka 和 EventHub 來源。

SQL：ALTER SHARE 現在支援「START VERSION」

ALTER SHARE命令現在支援 START VERSION，這可讓提供者從特定數據表版本開始共享數據。 請參閱 ALTER SHARE。

程式庫升級

• 升級的 Python 函式庫：
  • 從 0.3.4 到 0.3.5 的 distlib
  • filelock 從 3.7.1 到 3.8.0
  • plotly 從 5.8.2 升級到 5.9.0
  • protobuf 從 4.21.2 到 4.21.5
• 升級的 R 套件：
  • 從 0.8.0 到 1.0.0 的掃把
  • bslib 從 0.3.1 到 0.4.0
  • callr 從 3.7.0 更新到 3.7.1
  • 從 6.0-92 到 6.0-93 的版本更新
  • dbplyr 從 2.2.0 到 2.2.1
  • devtools 從 2.4.3 更新到 2.4.4
  • 評估範圍從 0.15 到 0.16
  • 從 2.1.0 版本更新至 2.1.1
  • fontawesome 從 0.2.2 到 0.3.0
  • 未來從 1.26.1 到 1.27.0
  • 泛型從 0.1.2 到 0.1.3
  • gert 從 1.6.0 升級到 1.7.0
  • 將 globals 從 0.15.1 更新至 0.16.0
  • googlesheets4 從 1.0.0 到 1.0.1
  • 從 1.1.0 到 1.2.0 的 hardhat
  • 從 0.5.2 到 0.5.3 的 htmltools
  • 平行地從 1.32.0 到 1.32.1
  • pillar軟體從1.7.0更新至1.8.0
  • pkgload 從 1.2.4 到 1.3.0
  • processx 從版本 3.6.1 更新到 3.7.0
  • Rcpp 從 1.0.8.3 到 1.0.9
  • 食譜從 0.2.0 到 1.0.1
  • rlang 從 1.0.2 到 1.0.4
  • roxygen2 從 7.2.0 到 7.2.1
  • RSQLite 從 2.2.14 到 2.2.15
  • sass 從 0.4.1 更新到 0.4.2
  • shiny 從版本 1.7.1 升級到版本 1.7.2
  • stringi 從 1.7.6 到 1.7.8
  • 從 3.1.7 到 3.1.8 的 tibble
  • tidyverse 從 1.3.1 到 1.3.2
  • timeDate 從 3043.102 到 4021.104
  • xfun 從 0.31 到 0.32
• 升級的 Java 程式庫：
  • org.apache.orc.orc-core 從 1.7.4 到 1.7.5
  • org.apache.orc.orc-mapreduce 從 1.7.4 到 1.7.5
  • org.apache.orc.orc-shims 從 1.7.4 到 1.7.5

Apache Spark

Databricks Runtime 11.2 包含 Apache Spark 3.3.0。 此版本包含 Databricks Runtime 11.1 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] 從百分位數函式傳回更廣泛的 ANSI 間隔類型
• [SPARK-40054] [SQL]還原try_cast的錯誤處理語法（）
• [SPARK-39489] [CORE]使用 Jackson 而非 Json4s 改善事件記錄 JsonProtocol 效能
• [SPARK-39319] [CORE][sql] 將查詢內容設為 SparkThrowable 的一部分
• [SPARK-40085] [SQL]使用INTERNAL_ERROR錯誤類別而非 IllegalStateException 來指出 Bug
• [SPARK-40001] [SQL]將 NULL 寫入 JSON DEFAULT 資料行，將 'null' 寫入記憶體
• [SPARK-39635] [SQL]在 DS v2 自訂計量 API 中支援驅動程式計量
• [SPARK-39184] [SQL]處理日期和時間戳序列中過小的結果陣列
• [SPARK-40019] [SQL] 重構 ArrayType 的 containsNull 屬性的註釋，並重構 collectionOperator 表達式中的誤解邏輯 containsNull
• [SPARK-39989] [SQL]支持估計欄位統計資訊，如果它是可折疊的表達式
• [SPARK-39926] [SQL]修正非向量化 Parquet 掃描數據行 DEFAULT 支援中的 Bug
• [SPARK-40052] [SQL]處理 VectorizedDeltaBinaryPackedReader 中的直接字節緩衝器
• [SPARK-40044] [SQL]修正轉換溢位錯誤中的目標間隔類型
• [SPARK-39835] [SQL]修正 EliminateSorts 在本地排序下方移除全域排序的问题
• [SPARK-40002] [SQL]請勿使用 ntile 透過視窗向下推低限制
• [SPARK-39976] [SQL] ArrayIntersect 應該正確處理左運算式中的空值
• [SPARK-39985] [SQL]從 DataFrame 插入中啟用隱含 DEFAULT 資料行值
• [SPARK-39776] [SQL] JOIN 詳細字串應該加入 Join 類型
• [SPARK-38901] [SQL] DS V2 支援下推其他函式
• [SPARK-40028] [SQL][後續] 改善字串函式的範例
• [SPARK-39983] [CORE][sql] 不要快取驅動程式上的未串行化廣播關係
• [SPARK-39812] [SQL] 簡化用 toAggregateExpression 建構 AggregateExpression 的代碼
• [SPARK-40028] [SQL]新增字串表達式的二進位範例
• [SPARK-39981] [SQL]在 Cast 中拋出例外 QueryExecutionErrors.castingCauseOverflowErrorInTableInsert
• [SPARK-40007] [PYTHON][sql] 將 'mode' 新增至函式
• [SPARK-40008] [SQL]支援將整數轉換成 ANSI 間隔
• [SPARK-40003] [PYTHON][sql] 將 'median' 新增至函式
• [SPARK-39952] [SQL]SaveIntoDataSourceCommand 應該會重新產生結果關聯
• [SPARK-39951] [SQL]更新 Parquet V2 列式檢查巢狀欄位
• [SPARK-33236] [隨機顯示]回到 DBR 11.x：啟用推送式隨機顯示服務，以將狀態儲存在 NM 層級 DB 中，以保留重新啟動的工作
• [SPARK-39836] [SQL]藉由擷取通用方法簡化 V2ExpressionBuilder。
• [SPARK-39873] [SQL]將它移除 OptimizeLimitZero 並合併到 EliminateLimits
• [SPARK-39961] [SQL] 如果轉換是安全的，則 DS V2 下推翻譯 Cast
• [SPARK-39872][SQL] 更改為在VectorizedDeltaBinaryPackedReader中使用帶有陣列輸入的 BytePackerForLong#unpack8Values API
• [SPARK-39858] [SQL] 移除某些規則中的不必要 AliasHelper 或 PredicateHelper
• [SPARK-39900] [SQL] 解決二進位格式中謂詞下推的部分或否定條件問題
• [SPARK-39904] [SQL]將 inferDate 重新命名為 prefersDate，並釐清 CSV 數據源中選項的語意
• [SPARK-39958] [SQL]無法載入自定義計量物件時新增警告記錄
• [SPARK-39932] [SQL]WindowExec 應該清除最終的數據分割緩衝區
• [SPARK-37194] [SQL]如果 v1 不是動態分割區，請避免在 v1 寫入中不必要的排序
• [SPARK-39902] [SQL]在 SparkUI 中將掃描詳細資料新增至 Spark 計劃掃描節點
• [SPARK-39865] [SQL]在數據表插入的溢位錯誤上顯示適當的錯誤訊息
• [SPARK-39940] [SS]重新整理使用 DSv1 接收器的串流查詢中的目錄資料表
• [SPARK-39827][SQL] 在 int 溢位時使用錯誤類別ARITHMETIC_OVERFLOWadd_months()
• [SPARK-39914] [SQL]將 DS V2 篩選新增至 V1 篩選轉換
• [SPARK-39857] [SQL] 手動 DBR 11.x 回移；V2ExpressionBuilder 使用錯誤的 LiteralValue 數據類型來針對 In 述詞 #43454
• [SPARK-39840] [SQL][python] 將 PythonArrowInput 抽離作為 PythonArrowOutput 的對稱
• [SPARK-39651] [SQL] 若與 rand 的比較是決定性的，則刪除篩選條件。
• [SPARK-39877] [PYTHON]將 Unpivot 新增至 PySpark DataFrame API
• [SPARK-39909] [SQL]組織 JDBCV2Suite 的下推資訊檢查
• [SPARK-39834] [SQL][ss] 如果來自 DataFrame，請包含 LogicalRDD 的原始統計數據和條件約束
• [SPARK-39849] [SQL] Dataset.as（StructType） 以 Null 值填入遺漏的新數據行
• [SPARK-39860] [SQL]更多表達式應該擴充述詞
• [SPARK-39823] [SQL][python] 將 Dataset.as 重新命名為 Dataset.to，並在 PySpark 中新增 DataFrame.to
• [SPARK-39918] [SQL][minor] 將錯誤訊息中的“un-comparable”一詞替換為“incomparable”。
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder 針對 In 述詞使用錯誤的 LiteralValue 數據類型
• [SPARK-39862] [SQL] 以 DBR 11.x 為目標的 PR 43654 手動回送：更新 SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS 以 允許/拒絕 ALTER TABLE... 請單獨新增 COLUMN 命令。
• [SPARK-39844] [SQL]以 DBR 11.x 為目標的 PR 43652 手動備份
• [SPARK-39899] [SQL]修正將訊息參數傳遞至 InvalidUDFClassException
• [SPARK-39890] [SQL]讓TakeOrderedAndProjectExec繼承 AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] 支援 PySpark 中的 CharType
• [SPARK-38864] [SQL] 將轉置/展開新增至資料集
• [SPARK-39864] [SQL]Lazily register ExecutionListenerBus
• [SPARK-39808] [SQL]支援聚合函數MODE
• [SPARK-39875] [SQL]將最終類別中的方法變更 protected 為 private 或 package-visible
• [SPARK-39731] [SQL]使用 CORRECTED 時間剖析器原則剖析 「yyyyMMdd」 格式的日期時，修正 CSV 和 JSON 數據源的問題
• [SPARK-39805] [SS] 已棄用 Trigger.Once 並提升 Trigger.AvailableNow
• [SPARK-39784] [SQL] 將 Catalyst 表示式轉換為資料來源過濾器後，將字面值放在資料來源過濾器的右側
• [SPARK-39672] [SQL][3.1] 修正在篩選與相互關聯的子查詢之前移除專案
• [SPARK-39552] [SQL]整合 v1 和 v2 DESCRIBE TABLE
• [SPARK-39810] [SQL]Catalog.tableExists 應該處理巢狀命名空間
• [SPARK-37287] [SQL] 從 FileFormatWriter 提取動態分割區和佇列排序
• [SPARK-39469] [SQL]推斷 CSV 架構推斷的日期類型
• [SPARK-39148] [SQL] DS V2 匯總下推可以使用 OFFSET 或 LIMIT
• [SPARK-39818] [SQL]修正具有 NULL 欄位之預設值的 ARRAY、STRUCT、MAP 類型錯誤
• [SPARK-39792] [SQL] 為處理十進位平均值新增 DecimalDivideWithOverflowCheck
• [SPARK-39798][SQL]在GenericArrayData的建構函式中用.toArray[Any]替換toSeq.toArray
• [SPARK-39759] [SQL]在 JDBC 中實作 listIndexes （H2 方言）
• [SPARK-39385] [SQL] 支援下推 REGR_AVGX 和 REGR_AVGY
• [SPARK-39787] [SQL] 在解析函式 to_timestamp 錯誤時使用錯誤類別
• [SPARK-39760] [PYTHON]：支援 PySpark 中的 Varchar
• [SPARK-39557] [SQL]手動回送至 DBR 11.x：支援 ARRAY、STRUCT、MAP 類型作為預設值
• [SPARK-39758] [SQL][3.3] 修正 regexp 函式因無效模式導致的 NPE
• [SPARK-39749] [SQL]ANSI SQL 模式：在將十進位轉換成字串時使用純字串表示法
• [SPARK-39704] [SQL]在 JDBC 中實作 createIndex & dropIndex & indexExists （H2 方言）
• [SPARK-39803] [SQL]使用 LevenshteinDistance 而非 StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL]支援 JDBC 資料源中的 TimestampNTZ 類型
• [SPARK-39781] [SS]新增對 rocksdb 狀態存放區提供者提供max_open_files的支援
• [SPARK-39719] [R] 在 SparkR 中實作 databaseExists/getDatabase 支援 3L 命名空間
• [SPARK-39751] [SQL]重新命名哈希匯總金鑰探查計量
• [SPARK-39772] 在舊建構函式中，如果資料庫為 null，則命名空間應該也是 null。
• [SPARK-39625] [SPARK-38904][sql] Add Dataset.as（StructType）
• [SPARK-39384] [SQL]編譯 JDBC 方言的內建線性回歸聚合函數
• [SPARK-39720] [R] 在 SparkR 中實作 tableExists/getTable for 3L 命名空間
• [SPARK-39744][SQL]新增函式REGEXP_INSTR
• [SPARK-39716] [R] 使 SparkR 中的 currentDatabase/setCurrentDatabase/listCatalogs 支援 3L 命名空間
• [SPARK-39788][SQL]將重新命名catalogName為dialectNameJdbcUtils
• [SPARK-39647] [CORE]向 ESS 註冊執行程式，再註冊 BlockManager
• [SPARK-39754] [CORE][sql] 移除未使用的 import 或不必要的 {}
• [SPARK-39706] [SQL] 將遺漏的數據欄位設定為常數的 defaultValue ParquetColumnVector
• [SPARK-39699] [SQL]讓 CollapseProject 更聰明地瞭解集合建立表達式
• [SPARK-39737] [SQL] PERCENTILE_CONT 和 PERCENTILE_DISC 應該支持匯總篩選
• [SPARK-39579] [SQL][python][R] Make ListFunctions/getFunction/functionExists 與 3 層命名空間兼容
• [SPARK-39627] [SQL] JDBC V2 的下推功能應該統一編譯 API
• [SPARK-39748] [SQL][ss] 包含來自 DataFrame 的 LogicalRDD 原始邏輯計劃
• [SPARK-39385] [SQL]平移下推的線性回歸聚合函數
• [SPARK-39695][SQL]新增函式REGEXP_SUBSTR
• [SPARK-39667] [SQL]當記憶體不足而無法建置和廣播數據表時，請新增另一個因應措施
• [SPARK-39666] [ES-337834][sql] 使用 UnsafeProjection.create 來尊重 ExpressionEncoder 中的 spark.sql.codegen.factoryMode
• [SPARK-39643] [SQL]禁止 DEFAULT 值的子查詢表達式
• [SPARK-38647] [SQL] 在介面中混合新增支持報告排序的 Scan 功能（DataSourceV2）
• [SPARK-39497] [SQL] 改善缺失的對應鍵欄位分析例外狀況
• [SPARK-39661] [SQL]避免建立不必要的 SLF4J 記錄器
• [SPARK-39713] [SQL]ANSI 模式：新增針對INVALID_ARRAY_INDEX錯誤使用try_element_at的建議
• [SPARK-38899] [SQL]DS V2 支援下推日期時間函式
• [SPARK-39638] [SQL]變更為用來 ConstantColumnVector 將分割區數據行儲存在 OrcColumnarBatchReader
• [SPARK-39653][SQL]清除ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils
• [SPARK-39231] [SQL]使用 ConstantColumnVector 而非 On/OffHeapColumnVector 將分割區數據行儲存在 VectorizedParquetRecordReader
• [SPARK-39547] [SQL]V2SessionCatalog 不應該在 loadNamspaceMetadata 中擲回 NoSuchDatabaseException
• [SPARK-39447] [SQL]避免 AdaptiveSparkPlanExec.doExecuteBroadcast 中的 AssertionError
• [SPARK-39492] [SQL] 重新設計 MISSING_COLUMN
• [SPARK-39679] [SQL]TakeOrderedAndProjectExec 應遵守子輸出順序
• [SPARK-39606] [SQL] 使用子統計數據來估計排序運算符
• [SPARK-39611] [PYTHON][ps] 修正 array_ufunc 中的錯誤別名
• [SPARK-39656] [SQL][3.3] 在 DescribeNamespaceExec 中修正錯誤的命名空間
• [SPARK-39675] [SQL]將 『spark.sql.codegen.factoryMode』 組態從測試用途切換為內部用途
• [SPARK-39139] [SQL]DS V2 支援下推 DS V2 UDF 功能
• [SPARK-39434] [SQL] 當陣列索引超出界限時，提供執行時錯誤查詢上下文
• [SPARK-39479] [SQL]DS V2 支援向下推算數學函式（非 ANSI）
• [SPARK-39618][SQL]新增函式REGEXP_COUNT
• [SPARK-39553] [CORE]使用 Scala 2.13 時，多線程取消註冊洗牌不應該擲回 NPE
• [SPARK-38755] [PYTHON][3.3] 新增檔案以解決遺漏的 pandas 一般函式
• [SPARK-39444] [SQL]將 OptimizeSubqueries 新增至 nonExcludableRules 清單
• [SPARK-39316] [SQL]將 PromotePrecision 和 CheckOverflow 合併為十進位二進位算術
• [SPARK-39505] [UI]逸出UI中轉譯的記錄內容
• [SPARK-39448] [SQL]新增 ReplaceCTERefWithRepartition 至 nonExcludableRules 清單
• [SPARK-37961] [SQL] 覆寫某些邏輯運算子的 maxRows/maxRowsPerPartition
• [SPARK-35223] 還原新增問題NavigationLink
• [SPARK-39633] [SQL]使用 Dataframe 選項支援 TimeTravel 的秒數時間戳
• [SPARK-38796] [SQL] 使用 {try_}to_number 函數更新數值格式字串的文件。
• [SPARK-39650] [SS]修正串流去重與向後相容性中的不正確值架構
• [SPARK-39636] [CORE][ui] 修正 JsonProtocol 中的多個錯誤，影響非堆內存的 StorageLevels 和 Task/Executor ResourceRequests
• [SPARK-39432] [SQL]從element_at傳回ELEMENT_AT_BY_INDEX_ZERO（*， 0）
• [SPARK-39349] 為錯誤路徑的 QA 新增集中式 CheckError 方法
• [SPARK-39453] [SQL]DS V2 支援下推非聚合函數（非 ANSI）
• [SPARK-38978] [SQL] DS V2 支援下推的 OFFSET 運算符
• [SPARK-39567] [SQL]支援百分位數函式中的 ANSI 間隔
• [SPARK-39383] [SQL] 在 V2 數據源中支援 ALTER ALTER TABLECOLUMNS DEFAULT 欄位
• [SPARK-39396] [SQL]修正 LDAP 登入例外狀況 「錯誤碼 49 - 無效的認證」
• [SPARK-39548] [SQL]具有 window 子句查詢的 CreateView 命令遇到了找不到正確視窗定義的問題。
• [SPARK-39575] [AVRO] 在 Avr 中的 ByteBuffer#get 之後新增 ByteBuffer#rewind...
• [SPARK-39543] 如果回退至 v1，則 DataFrameWriterV2 的選項應該傳遞至儲存屬性。
• [SPARK-39564] [SS]將目錄資料表的信息公開至串流查詢中的邏輯計劃
• [SPARK-39582] [SQL] 修正「Since」標記 array_agg
• [SPARK-39388][SQL]下推 Orc 述詞時重複使用orcSchema
• [SPARK-39511] [SQL] 增強對於左半/反連結的右側在聯結條件為空時下推的本地限制優化至 1
• [SPARK-38614] [SQL]請勿透過使用 percent_rank的視窗下推限制
• [SPARK-39551] [SQL] 新增 AQE 計劃無效檢查
• [SPARK-39383] [SQL] 支援在 V2 數據源中 ALTER TABLE ADD COLUMNS 的 DEFAULT 欄位
• [SPARK-39538] [SQL]避免建立不必要的 SLF4J 記錄器
• [SPARK-39383] [SQL] 手動回送至 DBR 11.x：重構 DEFAULT 資料行支援，以略過傳遞主分析器支援。
• [SPARK-39397] [SQL]放寬 AliasAwareOutputExpression 以支援具有表達式的別名
• [SPARK-39496] [SQL] 處理 Inline.eval 中的 Null 結構
• [SPARK-39545][SQL]在 Scala 2.13 中覆concat寫 ExpressionSet 方法來改善效能
• [SPARK-39340] [SQL]DS v2 agg 下推應該允許最上層數據行名稱中的點
• [SPARK-39488] [SQL]簡化 TempResolvedColumn 的錯誤處理
• [SPARK-38846] [SQL]在 Teradata Numeric Type 與 Spark DecimalType 之間新增明確的數據對應
• [SPARK-39520][SQL]在 Scala 2.13 中覆蓋--方法ExpressionSet
• [SPARK-39470] [SQL]支援將 ANSI 間隔轉換成小數點
• [SPARK-39477] [SQL]從 SQLQueryTestSuite 的黃金檔案中移除「查詢數目」資訊
• [SPARK-39419] [SQL]修復 ArraySort，使其在比較子傳回 null 時擲回例外狀況。
• [SPARK-39061] [SQL]針對輸出屬性正確 Inline 設定可為 Null
• [SPARK-39320] [SQL]支援聚合函數 MEDIAN
• [SPARK-39261] [CORE]改善錯誤訊息的新行格式設定
• [SPARK-39355] [SQL]單一數據行使用引號來建構 UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE 應隱藏屬性
• [SPARK-37623] [SQL]支援 ANSI 聚合函數：regr_intercept
• [SPARK-39374] [SQL]改善使用者指定資料行清單的錯誤訊息
• [SPARK-39255] [SQL][3.3] 改善錯誤訊息
• [SPARK-39321] [SQL]重構 TryCast 以使用 RuntimeReplaceable
• [SPARK-39406] [PYTHON]接受 createDataFrame 中的 NumPy 陣列
• [SPARK-39267] [SQL]清除 dsl 不必要的符號
• [SPARK-39171] [SQL]統一 Cast 運算式
• [SPARK-28330] [SQL]支援 ANSI SQL：查詢表達式中的結果位移子句
• [SPARK-39203] [SQL]根據資料庫 URI 將數據表位置重寫為絕對 URI
• [SPARK-39313] [SQL] toCatalystOrdering 如果無法翻譯 V2Expression，應該會失敗
• [SPARK-39301] [SQL][python] 利用 LocalRelation 功能，並在 createDataFrame 中針對 Arrow 優化調整，以尊重 Arrow 批次大小設定。
• [SPARK-39400] [SQL] spark-sql 在所有情況下都應該移除 hive 資源目錄

維護更新

請參閱 Databricks Runtime 11.2 維護更新。

系統環境

• 操作系統：Ubuntu 20.04.4 LTS
• Java：Zulu 8.56.0.21-CA-linux64
• Scala：2.12.14
• Python：3.9.5
• R：4.1.3
• Delta Lake：2.1.0

已安裝的 Python 程式庫

已安裝的 R 程式庫

R 函式庫從 2022-08-15 的 Microsoft CRAN 快照安裝。

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)