Databricks Runtime 13.1 (EoS)

以下版本說明提供了有關 Databricks Runtime 13.1 的資訊，該版本由 Apache Spark 3.4.0 驅動。

Databricks 於 2023 年 5 月發行此版本。

新功能和改進

• JDK 17 的叢集支援（公開預覽）
• 在串流資料表中新增、變更或刪除資料
• 使用 SQL 讀取 Kafka
• 新的 SQL 內建函數
• Unity 目錄對叢集範圍 Python 程式庫的支援
• 在 Unity Catalog 中預設啟用最佳化寫入擴展功能
• 結構化串流工作負載中具可設定狀態的運算子的進階支援
• Unity Catalog 的 Delta 克隆功能正在公眾預覽中
• 結構化串流的 Pub/Sub 支援
• 在結構化串流中的浮水印中卸除重複項
• 擴充了對截斷的分區欄位中從 Iceberg 資料表到 Delta 轉換流程的支援
• 在 Delta Lake 中串流欄位映射的結構描述變更
• 移除起始版本
• Python 可用的新 H3 表達式

JDK 17 的叢集支援（公開預覽）

Databricks 現在提供 Java 開發套件 （JDK） 17 的叢集支援。 請參閱適用於 Java 的 Databricks SDK。

在串流資料表中新增、變更或刪除資料

您現在可以使用 DML 語句來修改 DLT 管線發行至 Unity 目錄的串流數據表。 請參閱 在串流資料表中新增、變更或刪除資料，以及 新增、變更或刪除目標串流資料表中的資料。 您也可以使用 DML 陳述式來修改 Databricks SQL 中建立的串流資料表。

使用 SQL 讀取 Kafka

您現在可以使用 read_kafka SQL 函數來讀取 Kafka 資料。 只有 DLT 或 Databricks SQL 中的串流數據表才支援使用 SQL 進行串流處理。 請參閱 read_kafka 資料表值函式。

新的 SQL 內建函數

下列函數已新增：

• array_prepend(array, elem) 傳回在 array 前面加上 elem 的結果。
• try_aes_decrypt(expr, key [, mode [, padding]]) 解密使用 AES 加密產生的二進位文件，並在發生錯誤時傳回 NULL。
• sql_keywords() 傳回 Azure Databricks SQL 關鍵字的資料表。

Unity Catalog 對於叢集範圍 Python 庫的支援

Unity 目錄對程式庫的使用方式有一些限制。 從 Databricks 執行階段 13.1 及更新版本上，支援叢集範圍的 Python 程式庫，包括以工作區檔案上傳的 Python Wheel 檔案。 不支援以 DBFS 檔案路徑引用的程式庫，無論是在 DBFS 根目錄還是掛載至 DBFS 的外部位置。 不支援非 Python 程式庫。 請參閱叢集程式庫。

在 Databricks Runtime 13.0 及以下版本中，於啟用了 Unity Catalog 的工作區中使用標準存取模式（之前稱為共用存取模式）的叢集不支援叢集範圍的程式庫。

在 Unity Catalog 中擴展最佳化寫入的預設啟用

針對在 Unity 統一目錄中註冊的 Delta 表格的預設最佳化寫入支援已擴展，以包含分區資料表的 CTAS 陳述式和 INSERT 作業。 此行為與 SQL 倉儲上的預設值保持一致。 請參閱 Azure Databricks 上 Delta Lake 的最佳化寫入。

結構化串流工作負載中具可設定狀態的運算子的進階支援

您現在可以將多個有狀態的運算子串接在一起，這表示您可以將一個運算子的輸出，例如窗口聚合，饋送至另一個有狀態的運算子，例如連接。 請參閱 什麼是可設定狀態的串流？。

Unity Catalog 的 Delta 複製工具目前處於公開預覽階段

您現在可以使用淺層複製，從現有的 Unity Catalog 受控資料表創建新的受控資料表。 請參閱Unity Catalog 資料表的淺層複製。

Pub/Sub 對結構化串流的支援

您現在可以使用內建連接器來利用結構化串流訂閱 Google Pub/Sub。 請參閱 訂閱 Google Pub/Sub。

在結構化串流中的浮水印中卸除重複項

您現在可以與指定的浮水印閾值搭配使用 dropDuplicatesWithinWatermark，以在結構化串流中刪除重複記錄。 請參閱 在浮水印內移除重複項。

已使用截斷分割區資料行自冰藍資料表擴充對 Delta 轉換的支援

您現在可以將 CLONE 和 CONVERT TO DELTA 與 Iceberg 資料表搭配使用，該資料表的分割區定義於類型 int、long 和 string 的截短欄位上。 不支援 decimal 類型的截斷資料欄。

使用 Delta Lake 中的欄位映射進行結構變更的串流

您現在可以提供用於追蹤資料架構的位置，以啟用 Delta 資料表的串流功能，並啟用欄位對應。 請參閱資料行對應與結構變更的串流處理。

移除起始版本

START VERSION 現已被 ALTER SHARE 取代。

有新的 H3 運算式可供 Python 使用

h3_coverash3 和 h3_coverash3string 運算式可供 Python 使用。

錯誤修正

Parquet failOnUnknownFields 不再在類型不符時不加提醒地丟棄資料

如果以僅限 failOnUnknownFields 選項或 failOnNewColumns 結構演進模式的自動載入器讀取 Parquet 檔案，則檔案中具有不同資料類型的資料行會導致失敗，並建議使用 rescuedDataColumn。 如果提供下列其中一個資料類型，自動載入器現在會正確讀取，且不再修復整數、Short 和位元組類型。 Parquet 檔案可能指向其他兩種類型中的其中一個。

重大變更

將 sqlite-jdbc 版本升級至 3.42.0.0，以處理 CVE-2023-32697

將 sqlite-jdbc 版本從 3.8.11.2 升級至 3.42.0.0。 3.42.0.0 版的 API 與 3.8.11.2 不完全相容。 如果您在 code 中使用 sqlite-jdbc，請檢查 sqlite-jdbc 相容性報告以取得詳細資料。 如果您移轉至 13.1 並使用 sqlite，請確認您的方法，並在 3.42.0.0 版中傳回型別。

程式庫升級

• 升級的 Python 程式庫：
  • 從 1.0.2 到 1.0.3 的 facets-overview
  • 從 3.10.7 升級到 3.12.0 的 filelock
  • pyarrow 從 7.0.0 更新到 8.0.0
  • tenacity 從 8.0.1 更新到 8.1.0
• 升級的 R 程式庫：
• 升級的 Java 程式庫：
  • com.github.ben-manes.caffeine.caffeine 從 2.3.4 更新到 2.9.3
  • io.delta.delta-sharing-spark_2.12，從 0.6.8 到 0.6.4
  • net.snowflake.snowflake-jdbc 從 3.13.29 到 3.13.22
  • org.checkerframework.checker-qual 從版本 3.5.0 升級到 3.19.0
  • 從 3.0.8 到 3.2.15 的 org.scalactic.scalactic_2.12
  • 從 3.0.8 到 3.2.15 的 org.scalatest.scalatest_2.12
  • 從 3.8.11.2 到 3.42.0.0 的 org.xerial.sqlite-jdbc

Apache Spark

Databricks Runtime 13.1 包含 Apache Spark 3.4.0。 此版本包含 Databricks Runtime 13.0 (EoS) 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

• [SPARK-42719] [DBRRM-199][sc-131578] 還原 “[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] 還原 [SC-127830]/
• [SPARK-43331] [SC-130064][connect] 新增 Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][connect][PYTHON] 使能擴展 SparkConnectClient 的 ChannelBuilder 功能
• [SPARK-43323] [SC-129966][sql][PYTHON] 修正已啟用箭號的 DataFrame.toPandas，以正確處理例外狀況
• [SPARK-42940] [SC-129896][ss][CONNECT] 改善串流查詢的會話管理
• [SPARK-43032] [SC-125756] [CONNECT][ss] 新增串流查詢管理員
• [SPARK-16484] [SC-129975][sql] 新增 Datasketches HllSketch 的支援
• [SPARK-43260] [SC-129281][python] 將 Spark SQL pandas 箭頭類型錯誤移轉至錯誤類別。
• [SPARK-41766] [SC-129964][core] 處理在執行程序註冊之前傳送的解除委任要求
• [SPARK-43307] [SC-129971][python] 將 PandasUDF 值錯誤遷移至錯誤類別
• [SPARK-43206] [SC-129903][SS][CONNECT]StreamingQuery 例外狀況 () 包含堆疊追蹤
• [SPARK-43311] [SC-129905][ss] 新增 RocksDB 狀態存放區提供者記憶體管理增強功能
• [SPARK-43237] [SC-129898][core] 處理事件記錄檔中的空值例外訊息
• [SPARK-43320] [SC-129899][sql][HIVE] 直接呼叫 Hive 2.3.9 API
• [SPARK-43270] [SC-129897][python] 在 pyspark.sql.dataframe.DataFrame 中實作 __dir__() 以包含欄
• [SPARK-43183] 還原 “[SC-128938][ss] 引進一個新的回呼功能”...
• [SPARK-43143] [SC-129902][SS][CONNECT]Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][sql] 以內部錯誤取代錯誤類別_LEGACY_ERROR_TEMP_2022
• [SPARK-43198] [SC-129470][connect] 修正「無法初始化類別 ammonite...」 使用篩選條件時發生錯誤
• [SPARK-43165] [SC-129777][sql] 將 canWrite 移至 DataTypeUtils
• [SPARK-43298] [SC-129729][python][ML] predict_batch_udf，純量輸入失敗，批次大小為一
• [SPARK-43298] [SC-129700] 還原 “[PYTHON][ml] 在批次大小為一且有純量輸入時，predict_batch_udf 發生錯誤”
• [SPARK-43052] [SC-129663][core] 處理事件記錄檔中檔名為 null 的堆疊追蹤
• [SPARK-43183] [SC-128938][ss] 將新的回呼函式 “onQueryIdle” 加入 StreamingQueryListener
• [SPARK-43209] [SC-129190][connect][PYTHON] 將表達式錯誤移轉至錯誤類別
• [SPARK-42151] [SC-128754][sql] 使用數據表屬性對齊 UPDATE 指派
• [SPARK-43134] [SC-129468][CONNECT][SS] JVM 用戶端 StreamingQuery 例外狀況() API
• [SPARK-43298] [SC-129699][python][ML] predict_batch_udf，純量輸入失敗，批次大小為一
• [SPARK-43248] [SC-129660][sql] 在平行收集分割區統計數據時，不必要的 Path 序列化/反序列化
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] 引入 PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] 實作 repr 和 repr_html 的及時評估功能
• [SPARK-42953] [SC-129469][connect][Followup] 修正 Scala 客戶端 UDF 測試的 Maven 測試建構
• [SPARK-43144] [SC-129280] Scala 用戶端 DataStreamReader 資料表() API
• [SPARK-43136] [SC-129358][connect] 新增 groupByKey + mapGroup + coGroup 函式
• [SPARK-43156] [SC-129672][sc-128532][SQL] 修正相關純量子查詢中的 COUNT(*) is null 錯誤
• [SPARK-43046] [SC-129110][SS][Connect] 已在 Spark Connect 中實作 Python API dropDuplicatesWithinWatermark
• [SPARK-43199] [SC-129467][sql] 使 InlineCTE 冪等
• [SPARK-43293] [SC-129657][sql] __qualified_access_only 應該忽略一般欄位
• [SPARK-43276] [SC-129461][connect][PYTHON] 將 Spark Connect 視窗錯誤移轉至錯誤類別
• [SPARK-43174] [SC-129109][sql] 修正 SparkSQLCLIDriver completer
• [SPARK-43084] [SC-128654][SS] 在 Spark Connect 中新增 applyInPandasWithState 支援
• [SPARK-43119] [SC-129040][sql] 支援動態地透過 JDBC API 和 TVF 取得 SQL 關鍵詞
• [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect 中的箭頭優化 Python UDF
• [SPARK-43085] [SC-128432][sql] 支援多部分數據表名稱的數據行 DEFAULT 指派
• [SPARK-43226] [LC-671] 定義檔案常數中繼資料的擷取器
• [SPARK-43210] [SC-129189][connect][PYTHON] 引入 PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] 記錄 LocalTableScanExec/CommandResultExec 的驅動程式端計量數據
• [SPARK-43285] [SC-129347] 使用 JDK 17 修正 ReplE2ESuite 持續失敗
• [SPARK-43268] [SC-129249][sql] 在使用訊息建構例外狀況時使用適當的錯誤類別
• [SPARK-43142] [SC-129299] 修復含有特殊字元的屬性上的 DSL 運算式
• [SPARK-43129] [SC-128896] 串流 Spark Connect 的 Scala 核心 API
• [SPARK-43233] [SC-129250][SS]新增 Kafka 批次讀取的主題分割區、位移範圍及任務識別碼的記錄
• [SPARK-43249] [SC-129195][connect] 修正 SQL 命令遺漏統計數據
• [SPARK-42945] [SC-129188][connect] 在 Spark Connect 中支援PYSPARK_JVM_STACKTRACE_ENABLED
• [SPARK-43178] [SC-129197][connect][PYTHON] 將 UDF 錯誤遷移至 PySpark 錯誤架構
• [SPARK-43123] [SC-128494][sql] 內部字段元數據不應洩漏至目錄
• [SPARK-43217] [SC-129205] 正確地在 findNestedField 中對巢狀地圖/陣列進行遞迴處理
• [SPARK-43243] [SC-129294][python][CONNECT] 將層級參數新增至適用於 Python 的 printSchema
• [SPARK-43230] [SC-129191][connect] 簡化 DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] 在 CTAS/RTAS 中遵循 RequiresDistributionAndOrdering
• [SPARK-43234] [SC-129192][connect][PYTHON] 將 ValueError 從 Conect DataFrame 移轉至錯誤類別
• [SPARK-43212] [SC-129187][ss][PYTHON] 將結構化串流錯誤遷移至錯誤類別
• [SPARK-43239] [SC-129186][ps] 從 info（） 移除 null_counts
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput 應該與子輸出一致
• [SPARK-43191] [SC-128924][core] 用直接呼叫取代 Hadoop CallerContext 的反射
• [SPARK-43193] [SC-129042][ss] 移除 HADOOP-12074 的因應措施
• [SPARK-42657] [SC-128621][connect] 支援尋找並傳輸用戶端 REPL 類別檔至伺服器作為工件
• [SPARK-43098] [SC-77059][sql] 修正當純量子查詢具有 group by 子句時的 COUNT 正確性錯誤
• [SPARK-43213] [SC-129062][python] 將 DataFrame.offset 新增至 vanilla PySpark
• [SPARK-42982] [SC-128400][connect][PYTHON] 修正 createDataFrame 以遵守指定的架構 ddl
• [SPARK-43124] [SC-129011][sql] Dataset.show 專案 CommandResults 在本機端
• [SPARK-42998] [SC-127422][connect][PYTHON] 使用 Null 結構修正 DataFrame.collect
• [SPARK-41498] [SC-125343] 還原「透過合併傳播中繼資料」
• [SPARK-42960] [SC-129010][CONNECT][SS] 在 Python 中新增串流查詢 await_termination() 和 exception() API
• [SPARK-42552] [SC-128824][sql] 更正 antlr 解析器兩階段解析策略
• [SPARK-43207] [SC-128937][connect] 新增輔助函式用於從常值表達式中擷取值
• [SPARK-43186] [SC-128841][sql][HIVE] 移除 FileSinkDesc 的因應措施
• [SPARK-43107] [SC-128533][sql] 在廣播聯結數據流端套用的聯結中聯合貯體
• [SPARK-43195] [SC-128922][core] 移除 HadoopFSUtils 中不必要的可串行化包裝函式
• [SPARK-43137] [SC-128828][sql] 如果位置可折迭且為正數，則改善 ArrayInsert。
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith 外連結應該傳回未匹配數據列的 Null 值
• [SPARK-43042] [SC-128602][SS][連線] 新增 DataStreamReader 的 table() API 支援
• [SPARK-43153] [SC-128753][connect] 在資料框在本地時跳過 Spark 的執行
• [SPARK-43064] [SC-128496][sql] Spark SQL CLI SQL 索引標籤應該只會顯示一次語句一次
• [SPARK-43126] [SC-128447][sql] 將兩個 Hive UDF 表達式標示為具狀態
• [SPARK-43111] [SC-128750][ps][CONNECT][python] 將巢狀 if 語句合併成單一 if 語句
• [SPARK-43113] [SC-128749][sql] 在產生系結條件的程式代碼時評估數據流端變數
• [SPARK-42895] [SC-127258][connect] 改善已停止 Spark 會話的錯誤訊息
• [SPARK-42884] [SC-126662][connect] 新增 Ammonite REPL 整合
• [SPARK-43168] [SC-128674][sql] 從 Datatype 類別移除 get PhysicalDataType 方法
• [SPARK-43121] [SC-128455][sql] 在 'HiveInspectors] 中使用 BytesWritable.copyBytes 而不是手動複製
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog 在讀取端保留 Char/Varchar 中繼資料
• [SPARK-43050] [SC-128550][sql] 藉由取代群組函式修正建構匯總表達式
• [SPARK-43095] [SC-128549][sql] 防止策略在批次中一旦中斷等冪性：Infer Filters
• [SPARK-43130] [SC-128597][sql] 將 InternalType 移至 PhysicalDataType
• [SPARK-43105] [SC-128456][connect] 在 proto 訊息中縮寫位元組和字元串
• [SPARK-43099] [SC-128596][sql] 使用 getName，而不是 getCanonicalName 在向 FunctionRegistry 註冊 udf 時取得產生器類別名稱
• [SPARK-42994] [SC-128586][ml][CONNECT] PyTorch 分布器支援本機模式
• [SPARK-42859] 還原“[SC-127935][connect][PS] Spark Connect 上 pandas API 的基本支援”
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin 在使用 AQE 時無法運作
• [SPARK-43125] [SC-128477][connect] 修正 Connect Server 無法處理 Null 訊息的例外狀況
• [SPARK-43147] [SC-128594] 修正本機檢查的 flake8 程式碼檢查工具問題
• [SPARK-43031] [SC-128360][SS][連線] 啟用串流單元測試和 doctest
• [SPARK-43039] [LC-67] 支援檔案來源_metadata 資料行中的自訂資料行。
• [SPARK-43120] [SC-128407][ss] 增加對 RocksDB 狀態存放區中釘選區塊內存使用量的追蹤支援
• [SPARK-43110] [SC-128381][sql] 將 asIntegral 移至 PhysicalDataType
• [SPARK-43118] [SC-128398][ss] 移除 KafkaMicroBatchStream 中 不可中斷執行緒 不必要的斷言
• [SPARK-43055] [SC-128331][connect][PYTHON] 支援重複的巢狀欄位名稱
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable 將允許指定儲存層級
• [SPARK-42985] [SC-128332][connect][PYTHON] 修正 createDataFrame 以遵守 SQL 設定
• [SPARK-39696] [SC-127830][core] 修正 TaskMetrics.externalAccums 存取權的數據競爭
• [SPARK-43103] [SC-128335][sql] 將整數移至 PhysicalDataType
• [SPARK-42741] [SC-125547][sql] 在常值為 null 時，請勿在二進位比較中解除包裝轉換
• [SPARK-43057] [SC-127948][connect][PYTHON] 將 Spark Connect 數據行錯誤遷移至錯誤類別
• [SPARK-42859] [SC-127935][connect][PS] 對 Spark Connect 的 pandas API 提供基本支援
• [SPARK-43013] [SC-127773][python] 將 ValueError 從 DataFrame 移轉至 PySparkValueError。
• [SPARK-43089] [SC-128051][connect] 在 UI 中修訂偵錯字符串
• [SPARK-43028] [SC-128070][sql] 新增錯誤類別SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][connect] Dataset#foreach， foreachPartition
• [SPARK-43066] [SC-127937][sql] 在 JavaDatasetSuite 中新增 dropDuplicates 的測試
• [SPARK-43075] [SC-127939][connect] 變更 gRPC 至未安裝時 grpcio。
• [SPARK-42953] [SC-127809][connect] Typed filter， map， flatMap， mapPartitions
• [SPARK-42597] [SC-125506][sql] 支援將日期類型轉換為時間戳記類型
• [SPARK-42931] [SC-127933][ss] 引入 dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] 新增 proto 數據類型常數
• [SPARK-43077] [SC-128050][sql] 改善UNRECOGNIZED_SQL_TYPE的錯誤訊息
• [SPARK-42951] [SC-128030][ss][Connect] DataStreamReader APIs
• [SPARK-43049] [SC-127846][sql] 針對 Oracle JDBC 的 StringType 使用 CLOB 而不是 VARCHAR（255）
• [SPARK-43018] [SC-127762][sql] 修正 INSERT 命令中涉及時間戳常值的錯誤
• [SPARK-42855] [SC-127722][sql] 在 TableOutputResolver 中使用執行時期 Null 檢查
• [SPARK-43030] [SC-127847][sql] 去除元數據行中的重複關係
• [SPARK-42993] [SC-127829][ml][CONNECT] 使 PyTorch 分配器與 Spark Connect 相容
• [SPARK-43058] [SC-128072][sql] 將數值和分數移至 PhysicalDataType
• [SPARK-43056] [SC-127946][ss] RocksDB 狀態存放區認可，只有在其暫停時才應繼續背景工作
• [SPARK-43059] [SC-127947][connect][PYTHON] 將 TypeError 從 DataFrame(Reader|Writer) 遷移到錯誤類別
• zh-TW: [SPARK-43071] [SC-128018][sql] 使用 ORDER BY、LIMIT、OFFSET、INSERT 來源關聯支援 SELECT 的 DEFAULT
• [SPARK-43061] [SC-127956][core][SQL] 引進 PartitionEvaluator 以用於 SQL 運算符執行
• [SPARK-43067] [SC-127938][ss] 更正 Kafka 連接器中錯誤類別資源檔的位置
• [SPARK-43019] [SC-127844][sql] 將排序移至 PhysicalDataType
• [SPARK-43010] [SC-127759][python] 將欄位錯誤遷移至錯誤類別
• [SPARK-42840] [SC-127782][sql] 將 _LEGACY_ERROR_TEMP_2004 錯誤變更為內部錯誤
• [SPARK-43041] [SC-127765][sql] 還原連接器 API 中相容性例外狀況的建構函式
• [SPARK-42939] [SC-127761][ss][CONNECT] Core streaming Python API for Spark Connect
• [SPARK-42844] [SC-127766][sql] 將錯誤類別更新為 _LEGACY_ERROR_TEMP_2008INVALID_URL
• [SPARK-42316] [SC-127720][sql] 將名稱指派給 _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][connect][PYTHON] 將 Spark Connect DataFrame 錯誤遷移至錯誤類別
• [SPARK-42983] [SC-127717][connect][PYTHON] 修正 createDataFrame 以正確處理 0 dim numpy 陣列
• [SPARK-42955] [SC-127476][sql] 跳過 classifyException 並封裝 AnalysisException 以處理 SparkThrowable
• [SPARK-42949] [SC-127255][sql] 簡化 NAAJ 的程序代碼
• [SPARK-43011] [SC-127577][sql] array_insert 應該失敗，索引為 0
• [SPARK-42974] [SC-127487][core] 還原 Utils.createTempDir 以使用 ShutdownHookManager 並清除 JavaUtils.createTempDir 方法。
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' 也表示數據表已經存在
• [SPARK-42978] [SC-127351][sql] Derby&PG：RENAME 無法以 schema-Name 限定 new-table-Name
• [SPARK-37980] [SC-127668][sql] 在測試中盡可能透過 _metadata 存取row_index
• [SPARK-42655] [SC-127591][sql] 不正確的歧義欄位參考錯誤
• [SPARK-43009] [SC-127596][sql] 參數化 sql() 與 Any 常數
• [SPARK-43026] [SC-127590][sql] 使用非交換數據表快取套用 AQE
• [SPARK-42963] [SC-127576][sql] 擴充 SparkSessionExtensions，以將規則插入 AQE 查詢階段優化器
• [SPARK-42918] [SC-127357] 將 FileSourceStrategy 中的中繼資料屬性的處理一般化
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] 新增 Catalog 支援
• [SPARK-42997] [SC-127535][sql] TableOutputResolver 必須在陣列和地圖的錯誤訊息中使用正確的數據行路徑
• [SPARK-43006] [SC-127486][pyspark] 修正拼寫錯誤 StorageLevel eq（）
• [SPARK-43005] [SC-127485][pyspark] 修正 pyspark/pandas/config.py 中的拼寫錯誤
• [SPARK-43004] [SC-127457][core] 修正 ResourceRequest.equals（） 中的錯字
• [SPARK-42907] [SC-126984][connect][PYTHON] 實作 Avro 函式
• [SPARK-42979] [SC-127272][sql] 將常值建構函式定義為關鍵詞
• [SPARK-42946] [SC-127252][sql] 編輯由變數替代所產生的巢狀敏感數據
• [SPARK-42952] [SC-127260][sql] 簡化分析器規則 PreprocessTableCreation 和 DataSourceAnalysis 的參數
• [SPARK-42683] [LC-75]自動重新命名衝突的中繼資料資料行
• [SPARK-42853] [SC-126101][後續處理] 修正衝突
• [SPARK-42929] [SC-126748][connect] 讓 mapInPandas / mapInArrow 支援 “is_barrier”
• [SPARK-42968] [SC-127271][ss] 新增選項，以略過提交協調者，作為 DSv2 來源/接收的 StreamingWrite API 一部分
• [SPARK-42954] [SC-127261][python][CONNECT] 將 YearMonthIntervalType 新增至 PySpark 和 Spark Connect Python 用戶端
• [SPARK-41359] [SC-127256][sql] 在 UnsafeRow 中使用 PhysicalDataType 而不是 DataType
• [SPARK-42873] [SC-127262][sql] 將 Spark SQL 類型定義為關鍵詞
• [SPARK-42808] [SC-126302][core] 避免每次在 MapOutputTrackerMaster#getStatistics 中重複調用取得 availableProcessors 的方法
• [SPARK-42937] [SC-126880][sql] PlanSubqueries 應將 InSubqueryExec#shouldBroadcast 設為 true
• [SPARK-42896] [SC-126729][sql][PYTHON] 使 mapInPandas / mapInArrow 支援執行屏障模式
• [SPARK-42874] [SC-126442][sql] 啟用新的黃金檔案測試架構以分析所有輸入檔
• [SPARK-42922] [SC-126850][sql] 從隨機移至 SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange 是指不存在的節點
• [SPARK-40822] [SC-126274][sql] 穩定的衍生欄位別名
• [SPARK-42908] [SC-126856][python] 在需要 SparkContext 但未初始化時引發 RuntimeError
• [SPARK-42779] [SC-126042][sql] 允許 V2 寫入以指示建議的隨機分區大小
• [SPARK-42914] [SC-126727][python] 針對 DistributedSequenceID重複使用 transformUnregisteredFunction。
• [SPARK-42878] [SC-126882][connect] DataFrameReader 中的數據表 API 也可以接受選項
• [SPARK-42927] [SC-126883][core] 將 o.a.spark.util.Iterators#size 的存取範圍變更為 private[util]
• [SPARK-42943] [SC-126879][sql] 對 StringType 使用 LONGTEXT 而不是 TEXT 來取得有效長度
• [SPARK-37677] [SC-126855][core] 解壓縮可能會保留檔案許可權
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] 實作 CoGrouped Map API
• [SPARK-41876] [SC-126849][connect][PYTHON] 實現 DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][core][SQL] 將 ProtobufSerDe 相關實作的存取範圍變更為 private[protobuf]
• [SPARK-42819] [SC-125879][ss] 新增對於 RocksDB 在串流中設定 max_write_buffer_number 和 write_buffer_size 的支援
• [SPARK-42924] [SC-126737][sql][CONNECT][python] 厘清參數化 SQL 自變數的批注
• [SPARK-42748] [SC-126455][connect] 伺服器端工件管理
• [SPARK-42816] [SC-126365][connect] 支援最多 128MB 的訊息大小上限
• [SPARK-42850] [SC-126109][sql] 移除優化器中重複的規則 CombineFilters
• [SPARK-42662] [SC-126355][connect][PS] 在 Spark 預設索引上新增 pandas API 的 Proto 訊息
• [SPARK-42720] [SC-126136][ps][SQL] 使用分散式序列預設索引的表達式，而不是計劃
• [SPARK-42790] [SC-126174][sql] 針對 JDBC Docker 測試，抽象化排除的方法以改善測試效果。
• [SPARK-42900] [SC-126473][connect][PYTHON] 修正 createDataFrame 以遵守推斷和欄位名稱
• [SPARK-42917] [SC-126657][sql] 修正 getUpdateColumnNullabilityQuery for DerbyDialect
• [SPARK-42684] [SC-125157][sql] v2 編目預設情況下不允許欄位預設值
• [SPARK-42861] [SC-126635][sql] 使用 private[sql] 而不是 protected[sql] 以避免產生 API 檔
• [SPARK-42920] [SC-126728][connect][PYTHON] 啟用 UDF 與 UDT 的測試
• [SPARK-42791] [SC-126617][sql] 建立新的黃金檔案測試架構進行分析
• [SPARK-42911] [SC-126652][python] 引進更多基本例外狀況
• [SPARK-42904] [SC-126634][sql] JDBC 目錄的 Char/Varchar 支援
• [SPARK-42901] [SC-126459][connect][PYTHON] 將 StorageLevel 移至個別檔案，以避免潛在的 file recursively imports
• [SPARK-42894] [SC-126451][connect] 支援 Spark Connect JVM 用戶端的 cache/persist/unpersist/storageLevel
• [SPARK-42792] [SC-125852][ss] 新增對串流具狀態運算符中使用的 RocksDB WRITE_FLUSH_BYTES 支援
• [SPARK-41233] [SC-126441][connect][PYTHON] 將array_prepend新增至 Spark Connect Python 用戶端
• [SPARK-42681] [SC-125149][sql] 放寬 ALTER TABLE ADD 的排序條件約束|REPLACE 數據行描述元
• [SPARK-42889] [SC-126367][connect][PYTHON] 實作快取、保存、取消快取及 storageLevel
• [SPARK-42824] [SC-125985][connect][PYTHON] 為不支援的 JVM 屬性提供明確的錯誤訊息
• [SPARK-42340] [SC-126131][connect][PYTHON] 實作群組對應 API
• [SPARK-42892] [SC-126454][sql] 將 sameType 和相關方法移出 DataType
• [SPARK-42827] [SC-126126][connect] 支援 Scala 連線用戶端 functions#array_prepend
• [SPARK-42823] [SC-125987][sql] spark-sql shell 支援多層命名空間初始化
• [SPARK-42817] [SC-125960][core] 在 ApplicationMaster 中記錄 shuffle 服務名稱一次
• [SPARK-42786] [SC-126438][connect] 輸入選取
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] 實作 ml 函式 {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] HiveSimpleUDF 的 Codegen 支援
• [SPARK-41233] [SC-126110][sql][PYTHON] 新增 array_prepend 函式
• [SPARK-42864] [SC-126268][ml][3.4] 將 IsotonicRegression.PointsAccumulator 設為私有
• [SPARK-42876] [SC-126281][sql] DataType 的 physicalDataType 應該是 private[sql]
• [SPARK-42101] [SC-125437][sql] 使 AQE 支援 InMemoryTableScanExec
• [SPARK-41290] [SC-124030][sql] 支援在 create/replace 表格語句中欄位的 GENERATED ALWAYS AS 表達式
• [SPARK-42870] [SC-126220][connect] 將 toCatalystValue 移至 connect-common
• [SPARK-42247] [SC-126107][connect][PYTHON] 修正 UserDefinedFunction 以確保回傳類型存在
• [SPARK-42875] [SC-126258][connect][PYTHON] 修正函數 "toPandas" 以正確處理時區和映射類型。
• [SPARK-42757] [SC-125626][connect] 實作 DataFrameReader 的 textFile
• [SPARK-42803] [SC-126081][core][SQL][ml] 使用 getParameterCount 函式，而不是 getParameterTypes.length
• [SPARK-42833] [SC-126043][sql] 在 SparkSession 中重構 applyExtensions
• [SPARK-41765] 還原 “[SC-123550][sql] 移除 v1 寫入計量...
• [SPARK-42848] [SC-126105][connect][PYTHON] 實現 DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][connect][PYTHON] 支援 Spark Connect 中的 UserDefinedType
• [SPARK-42818] [SC-125861][connect][PYTHON] 實作 DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][connect] 將client_type新增至 AddArtifactsRequest protobuf 訊息
• [SPARK-42772] [SC-125860][sql] 將 JDBC 選項中關於下推功能的預設值變更為 true
• [SPARK-42771] [SC-125855][sql] 重構 HiveGenericUDF
• [SPARK-25050] [SC-123839][sql] Avro：撰寫複雜聯集
• [SPARK-42765] [SC-125850][connect][PYTHON] 啟用從 pyspark.sql.connect.functions 匯入 pandas_udf
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation 應遵守 spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][sql] 改善刪除分區的效能
• [SPARK-42689] [SC-125195][core][SHUFFLE] 允許 ShuffleDriverComponent 宣告是否能可靠地儲存洗牌資料
• [SPARK-42726] [SC-125279][connect][PYTHON] 實作 DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] 將 v1 寫入指標提取至 WriteFiles
• [SPARK-41171] [SC-124191][sql] 推斷，如果 partitionSpec 是空的，則向下推入視窗限制
• [SPARK-42686] [SC-125292][core] 延遲 TaskMemoryManager 中偵錯訊息的格式設定
• [SPARK-42756] [SC-125443][connect][PYTHON] 協助程式函式，將 proto 常值轉換成 Python 用戶端中的值
• [SPARK-42793] [SC-125627][connect] connect 模組需要 build_profile_flags
• [SPARK-42701] [SC-125192][sql] 新增 try_aes_decrypt() 函式
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame 不適用於不可為 Null 的架構
• [SPARK-42733] [SC-125542][connect][後續] 在無路徑或資料表的情況下寫入
• [SPARK-42777] [SC-125525][sql] 支援將 TimestampNTZ 目錄統計數據轉換為計劃統計數據
• [SPARK-42770] [SC-125558][connect] 新增 truncatedTo(ChronoUnit.MICROS)，使 Java 17 每日測試 GA 任務能通過 SQLImplicitsTestSuite
• [SPARK-42752] [SC-125550][pyspark][SQL] 使 PySpark 例外狀況可在初始化期間列印
• [SPARK-42732] [SC-125544][pyspark][CONNECT] 支援 spark connect 會話 getActiveSession 方法
• [SPARK-42755] [SC-125442][connect] 將因數常值轉換成 connect-common
• [SPARK-42747] [SC-125399][ml] 修正 LoR 和 AFT 的內部狀態不正確的問題
• [SPARK-42740] [SC-125439][sql] 修正一些內建方言的下推位移或分頁無效的錯誤
• [SPARK-42745] [SC-125332][sql] 改善的 AliasAwareOutputExpression 可與 DSv2 搭配運作
• [SPARK-42743] [SC-125330][sql] 支援分析 TimestampNTZ 數據行
• [SPARK-42721] [SC-125371][connect] RPC 記錄攔截器
• [SPARK-42691] [SC-125397][connect][PYTHON] 實作 Dataset.semanticHash
• [SPARK-42688] [SC-124922][connect] 將 Connect proto Request client_id重新命名為 session_id
• [SPARK-42310] [SC-122792][sql] 將名稱指派給_LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][core] Optimize Utils.bytesToString 例程
• [SPARK-42725] [SC-125296][connect][PYTHON] Make LiteralExpression 支持數組參數
• [SPARK-42702] [SC-125293][spark-42623][SQL] 支援子查詢和 CTE 中的參數化查詢
• [SPARK-42697] [SC-125189][webui] 修正 /api/v1/applications 使其返回持續時間欄位的總運行時間，而不是 0
• [SPARK-42733] [SC-125278][connect][PYTHON] 修正 DataFrameWriter.save 在沒有路徑參數的情況下運作
• [SPARK-42376] [SC-124928][ss] 引入運算符之間的水印傳播
• [SPARK-42710] [SC-125205][connect][PYTHON] 將 FrameMap proto 重新命名為 MapPartitions
• [SPARK-37099] [SC-123542][sql] 引進以排名為基礎的篩選視窗群組限制，以優化 top-k 計算
• [SPARK-42630] [SC-125207][connect][PYTHON] 引進 UnparsedDataType 並延遲剖析 DDL 字符串，直到 SparkConnectClient 可用為止
• [SPARK-42690] [SC-125193][connect] 實作 Scala 用戶端的 CSV/JSON 剖析函式
• [SPARK-42709] [SC-125172][python] 移除對 __file__ 可用的假設
• [SPARK-42318] [SC-122648][spark-42319][SQL] 將名稱指派給 LEGACY_ERROR_TEMP（2123|2125）
• [SPARK-42723] [SC-125183][sql] 支援解析器資料類型 json “timestamp_ltz” 作為 TimestampType
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() 不應緩存該結構
• [SPARK-42643] [SC-125152][connect][PYTHON] 註冊 Java （聚合）使用者定義函數
• [SPARK-42656] [SC-125177][connect][Followup] 修正 spark-connect 腳本
• [SPARK-41516] [SC-123899][SQL]允許 jdbc 方言覆寫用來建立資料表的查詢
• [SPARK-41725] [SC-124396][connect] 積極執行DF.sql（）
• [SPARK-42687] [SC-124896][ss] 提供更好的錯誤訊息，用於串流中不支援的 pivot 作業
• [SPARK-42676] [SC-124809][ss] 將暫存檢查點寫入本機檔案系統，即使流資料查詢的預設檔案系統設定不同
• [SPARK-42303] [SC-122644][sql] 將名稱指派給_LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][sql] 確保在“interval”之後至少有一個時間單位
• [SPARK-42649] [SC-124576][core] 從第三方來源檔案頂端移除標準 Apache 授權標頭
• [SPARK-42611] [SC-124395][sql] 在解析過程中插入 char/varchar 長度檢查內部欄位
• [SPARK-42419] [SC-124019][connect][PYTHON] 移轉至 Spark Connect 數據行 API 的錯誤架構。
• [SPARK-42637] [SC-124522][connect] 新增 SparkSession.stop（）
• [SPARK-42647] [SC-124647][python] 變更 numpy 所取代和移除的類型別名
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver 只能關閉已啟動的 hive sessionState
• [SPARK-42593] [SC-124405][ps] 棄用 & 將在 pandas 2.0 中被移除的 API。
• [SPARK-41870] [SC-124402][connect][PYTHON] 修正 createDataFrame 以處理重複的數據行名稱
• [SPARK-42569] [SC-124379][connect] 拋出不支援會話 API 的例外狀況
• [SPARK-42631] [SC-124526][connect] 支援 Scala 用戶端中的自定義延伸模組
• [SPARK-41868] [SC-124387][connect][PYTHON] 修正 createDataFrame 以支持持續時間
• [SPARK-42572] [SC-124171][sql][SS] 修正 StateStoreProvider.validateStateRowFormat 的行為

維護更新

請參閱 Databricks Runtime 13.1 維護更新。

系統環境

• 作業系統：Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python：3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

已安裝的 Python 程式庫

已安裝 R 程式庫

R 程式庫是從 Microsoft 於 2023-02-10 的 CRAN 快照集進行安裝的。

已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）