Databricks Runtime 12.1 (EoS)

下列版本資訊提供由 Apache Spark 3.3.1 提供之 Databricks Runtime 12.1 的相關信息。

Databricks 於 2023 年 1 月發行此版本。

新功能和改進

• 支援通訊協定管理的 Delta Lake 數據表功能
• 更新的預測性 I/O 處於公開預覽狀態
• 目錄總管現在可供所有角色使用
• 支援單一串流查詢中的多個具狀態運算符
• 對通訊協議緩衝區的支持處於公開預覽狀態
• 支援 Confluent 架構登錄驗證
• 支援透過 Delta Sharing 分享數據表歷程記錄
• 支援使用 Delta Sharing 進行串流
• 目錄中的 Delta Sharing 表格現在支援使用時間戳的版本
• 支援 MERGE INTO 的 WHEN NOT MATCHED BY SOURCE
• 優化CONVERT TO DELTA的統計數據收集
• Unity Catalog 支援復原資料表的功能

支援通訊協定管理的 Delta Lake 數據表功能

Azure Databricks 引進了 Delta Lake 數據表功能的支援，其引進了細微旗標，以指定指定數據表所支援的功能。 請參閱 Azure Databricks 如何管理 Delta Lake 功能相容性？。

用於更新的預測性 I/O 現在處於公開預覽中

預測性 I/O 現在可加速 Delta 資料表啟用刪除向量的 DELETE、MERGE 和 UPDATE 作業，並使用啟用 Photon 的運算。 請參閱什麼是預測性 I/O？。

目錄總管現在可供所有角色使用

使用 Databricks Runtime 7.3 LTS 和更新版本時，目錄總管現在可供所有 Azure Databricks 角色使用。

支援單一串流查詢中的多個具狀態運算符

使用者現在可以在串流查詢中使用附加模式來串接具狀態運算符。 並非所有運算子都完全受到支援。 數據流串流時間間隔聯結，不允許 flatMapGroupsWithState 鏈結其他具狀態運算符。

對通訊協議緩衝區的支持處於公開預覽狀態

您可以使用 from_protobuf 和 to_protobuf 函式，在二進位和結構類型之間交換數據。 請參閱讀取和寫入通訊協定緩衝區。

支援 Confluent 架構登錄驗證

Azure Databricks 與 Confluent Schema Registry 整合現在支援具有驗證的外部架構登錄位址。 此功能適用於 from_avro、 to_avro、 from_protobuf和 to_protobuf 函式。 請參閱 Protobuf 或 Avro。

支援透過 Delta Sharing 分享數據表歷程記錄

您現在可以使用 Delta Sharing 來共用具有完整歷史記錄的表格，使收件者能夠使用 Spark 結構化串流執行時間旅行查詢並查詢表格。 WITH HISTORY 建議使用而不是 CHANGE DATA FEED，但後者仍會繼續受到支援。 請參閱 ALTER SHARE 和 ，將數據表添加到共享。

支援透過 Delta 分享功能進行串流

Spark 結構化串流現在可在使用 deltasharing共用的來源 Delta 共用數據表上使用 格式WITH HISTORY。

目錄中的Delta Sharing表現在支援使用時間戳記版本的表格

您現在可以在語句中使用 TIMESTAMP AS OF SQL 語法SELECT來指定掛接在目錄中的 Delta Sharing 數據表版本。 必須使用WITH HISTORY分享表格。

支援當來源不匹配時的操作 MERGE INTO

您現在可以將WHEN NOT MATCHED BY SOURCE 子句新增至MERGE INTO，以根據合併條件，更新或刪除所選數據表中在源數據表中沒有相符項目的數據列。 新的 子句可在 SQL、Python、Scala 和 Java 中使用。 請參閱 MERGE INTO。

CONVERT TO DELTA 的優化統計數據收集

作業的 CONVERT TO DELTA 統計數據收集現在要快得多。 這樣可減少可能為提升效率而使用 NO STATISTICS 的工作負載數目。

Unity 目錄支援恢復已移除的資料表

這項功能最初是在公開預覽版中發行。 自 2023 年 10 月 25 日起開始提供一般上市版本。

您現在可以在刪除後的七天內，恢復現有架構中被刪除的受管或外部表格。 請參閱 UNDROP 與 SHOW TABLES DROPPED。

圖書館升級

• 升級的 Python 程式庫：
  • filelock 從 3.8.0 更新到 3.8.2
  • platformdirs 從 2.5.4 升級到 2.6.0
  • setuptools 從 58.0.4 到 61.2.0
• 升級的 R 程式庫：
• 升級的 Java 程式庫：
  • io.delta.delta-sharing-spark_2.12 從 0.5.2 版本升級到 0.6.2 版本
  • 「org.apache.hive.hive-storage-api」，從 2.7.2 更新到 2.8.1
  • org.apache.parquet.parquet-column 從版本 1.12.3-databricks-0001 更新至版本 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common，從 1.12.3-databricks-0001 到 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding 的版本從 1.12.3-databricks-0001 更新至 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures，從 1.12.3-databricks-0001 到 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop 從 1.12.3-databricks-0001 到 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson 從 1.12.3-databricks-0001 到 1.12.3-databricks-0002
  • org.tukaani.xz 從版本 1.8 更新到 1.9

Apache Spark

Databricks Runtime 12.1 包含 Apache Spark 3.3.1。 此版本包含 Databricks Runtime 12.0 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

• [SPARK-41405] [SC-119769][12.1.0] 還原 “[SC-119411][sql] 集中處理數據行解析邏輯”和 “[SC-117170][spark-41338][SQL] 解析相同分析器批次中的外部參考和一般數據行”
• [SPARK-41405] [SC-119411][sql] 集中化數據行解析邏輯
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand 應該正確設定覆寫旗標
• [SPARK-41659] [SC-119526][connect][12.X] 在 pyspark.sql.connect.readwriter 中啟用 doctests
• [SPARK-41858] [SC-119427][sql] 修正由於預設值功能導致的 ORC 讀取器效能退化
• [SPARK-41807] [SC-119399][core] 移除不存在的錯誤類別：UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] 將名稱指派給_LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] 將名稱指派給_LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] 從 SparkSession.createDataFrame 中的字典列表中推斷名稱
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] 將 Spark Connect 檔和腳本移至開發/和 Python 檔
• [SPARK-41534] [SC-119456][connect][SQL][12.x] 設定 Spark Connect 的初始用戶端模組
• [SPARK-41365] [SC-118498][ui][3.3] 階段 UI 頁面無法在特定 yarn 環境中載入 Proxy
• [SPARK-41481] [SC-118150][core][SQL] 重複使用 INVALID_TYPED_LITERAL，而不是 _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] 重新檢視具狀態的表達式處理
• [SPARK-41726] [SC-119248][sql] 移除 OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] sql() 支持參數化 SQL 查詢
• [SPARK-41066] [SC-119344][connect][PYTHON] 實作 DataFrame.sampleBy 和 DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][所有測試] 提取 v1 寫入 WriteFiles
• [SPARK-41565] [SC-118868][sql] 新增錯誤類別 UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] DECODE 函式在傳遞 NULL 時傳回錯誤的結果
• [SPARK-41554] [SC-119274] 修正當小數的刻度減少 m...
• [SPARK-41065] [SC-119324][connect][PYTHON] 實現 DataFrame.freqItems 和 DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] 重新啟用文件測試，並將遺漏的欄位別名新增至 count()。
• [SPARK-41069] [SC-119310][connect][PYTHON] 實作 DataFrame.approxQuantile 和 DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] 讓函數 from_json 支援資料類型模式
• [SPARK-41804] [SC-119382][sql] 針對 UDT 陣組選擇正確的元素大小 InterpretedUnsafeProjection
• [SPARK-41786] [SC-119308][connect][PYTHON] 去除重複的輔助功能函式
• [SPARK-41745] [SC-119378][spark-41789][12.X] 製作數據列 createDataFrame 支援清單
• [SPARK-41344] [SC-119217][sql] 在 SupportsCatalogOptions 目錄中找不到資料表時，使錯誤信息更清晰。
• [SPARK-41803] [SC-119380][connect][PYTHON] 新增遺漏函式 log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] 讓 JSON 函式支援選項
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] 使 __getitem__ 支援過濾和選擇
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] 使欄位操作支持 None
• [SPARK-41440] [SC-119279][connect][PYTHON] 避免對一般採樣使用快取操作。
• [SPARK-41785] [SC-119290][connect][PYTHON] 實作 GroupedData.mean
• [SPARK-41629] [SC-119276][connect] 支援關聯和表達式中的通訊協定延伸模組
• [SPARK-41417] [SC-118000][core][SQL] 將 _LEGACY_ERROR_TEMP_0019 重新命名為 INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Spark Connect 伺服器/客戶端的正確錯誤處理
• [SPARK-41292] [SC-119357][connect][12.X] pyspark.sql.window 命名空間中的支持視窗
• [SPARK-41493] [SC-119339][connect][PYTHON] 讓 csv 函式支持選項
• [SPARK-39591] [SC-118675][ss] 異步進度追蹤
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] 實作 Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] 實作 DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] 在 pyspark.sql.connect.column 中啟用 doctests
• [SPARK-41738] [SC-119170][connect] 在 SparkSession 快取中混合使用 ClientId
• [SPARK-41354] [SC-119194][connect] 將 RepartitionByExpression 新增至 proto
• [SPARK-41784] [SC-119289][connect][PYTHON] 在數據行中新增遺漏的 __rmod__
• [SPARK-41778] [SC-119262][sql] 將別名 “reduce” 新增至 ArrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] 實現 DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] 使內部字串 op 名稱與 FunctionRegistry 一致
• [SPARK-41734] [SC-119160][connect] 新增目錄的父訊息
• [SPARK-41742] [SC-119263] 支援 df.groupBy().agg({“*”:”count”})
• [SPARK-41761] [SC-119213][connect][PYTHON] 修正算術運算：__neg__、__pow__、__rpow__
• [SPARK-41062] [SC-118182][sql] 將 UNSUPPORTED_CORRELATED_REFERENCE 重新命名為 CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] 修正 Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] 實作 unwrap_udt 函式
• [SPARK-41333] [SC-119195][spark-41737] 實作 GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] 修正 Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] 支持匯總上的隱含橫向數據行別名解析
• [SPARK-41529] [SC-119207][connect][12.X] 實作 SparkSession.stop
• [SPARK-41729] [SC-119205][core][SQL][12.x] 將 _LEGACY_ERROR_TEMP_0011 重新命名為 UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] 去重複 打印 和 repr_html 在 LogicalPlan
• [SPARK-41740] [SC-119169][connect][PYTHON] 實作 Column.name
• [SPARK-41733] [SC-119163][sql][SS] 套用樹形樣式剪枝規則 ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] 套用基於樹狀模式的剪除規則 SessionWindowing
• [SPARK-41498] [SC-119018]透過聯集傳播元數據
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] 實作欄位存取器
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types 應該支援 ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] 實作 format_number 函式
• [SPARK-41707] [SC-119141][connect][12.X] 在 Spark Connect 中實作類別目錄 API
• [SPARK-41710] [SC-119062][connect][PYTHON] 實作 Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON]高階函式：array_compact實作
• [SPARK-41518] [SC-118453][sql] 將名稱指派給錯誤類別 _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] 實作 sequence 函式
• [SPARK-41703] [SC-119060][connect][PYTHON] 在 Literal 中結合 NullType 和 typed_null
• [SPARK-41722] [SC-119090][connect][PYTHON] 實作 3 個遺漏的時間範圍函式
• [SPARK-41503] [SC-119043][connect][PYTHON] 實作分割轉換函數
• [SPARK-41413] [SC-118968][sql] 避免分割區索引鍵不符但聯結表達式相容時在 Storage-Partitioned 聯結中進行資料重新分配
• [SPARK-41700] [SC-119046][connect][PYTHON] 移除 FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types 應該支援 MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] 新增無效的欄位操作
• [SPARK-41660] [SC-118866][sql] 只有在使用元數據行時才傳播元數據行
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] 實作累加器以收集每個映射器的數據列計數度量
• [SPARK-41647] [SC-119064][connect][12.X] 去重 pyspark.sql.connect.functions 中的文檔字符串
• [SPARK-41701] [SC-119048][connect][PYTHON] 使欄位操作支援 decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] 實作 rollup、cube 和 pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] 消除 pyspark.sql.connect.dataframe 中重複的檔字符串
• [SPARK-41688] [SC-118951][connect][PYTHON] 將表達式移至 expressions.py
• [SPARK-41687] [SC-118949][connect] 去重 pyspark.sql.connect.group 裡的說明文件字符串
• [SPARK-41649] [SC-118950][connect] 去除 pyspark.sql.connect.window 中的文件字符串重複內容
• [SPARK-41681] [SC-118939][connect] 將 GroupedData 提取到 group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] 實作 Window 函式
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] 增加欄位操作支持 datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] 啟用已被取代的函式
• [SPARK-41673] [SC-118932][connect][PYTHON] 實作 Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] 實作 broadcast 函式
• [SPARK-41648] [SC-118914][connect][12.X] 移除 pyspark.sql.connect.readwriter 中的重複文件字符串
• [SPARK-41646] [SC-118915][connect][12.X] 去除 pyspark.sql.connect.session 中的重複檔字串
• [SPARK-41643] [SC-118862][connect][12.X] 去除 pyspark.sql.connect.column 中的重複 docstrings
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] 實作 Lambda 函式的其餘部分
• [SPARK-41441] [SC-118557][sql] 支持生成，沒有必要的子輸出用以容納外部參考
• [SPARK-41669] [SC-118923][sql] canCollapseExpressions 中的早期剪除
• [SPARK-41639] [SC-118927][sql][PROTOBUF] ： 從 SchemaConverters 移除 ScalaReflectionLock
• [SPARK-41464] [SC-118861][connect][PYTHON] 實作 DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] 初始 LambdaFunction 實作
• [SPARK-41539] [SC-118802][sql] 針對 LogicalRDD 中邏輯計劃的輸出，重新對應統計數據和條件約束
• [SPARK-41396] [SC-118786][sql][PROTOBUF] OneOf 字段支援和遞歸檢查
• [SPARK-41528] [SC-118769][connect][12.X] Spark Connect 和 PySpark API 的合併命名空間
• [SPARK-41568] [SC-118715][sql] 將名稱指派給 _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] 實作 DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] 將 Spark Connect 和 protobuf 新增至具有指定相依性的 setup.py
• [SPARK-27561] [SC-101081][12.x][SQL] 支援 Project 上的隱含橫向欄位別名解析方法
• [SPARK-41535] [SC-118645][sql] 為 InterpretedUnsafeProjection 和 InterpretedMutableProjection 中的行事曆區間字段正確設定 null
• [SPARK-40687] [SC-118439][sql] 支援數據遮罩內建函式 'mask'
• [SPARK-41520] [SC-118440][sql] 拆分 AND_OR TreePattern 以分隔 AND 和 OR TreePatterns
• [SPARK-41349] [SC-118668][connect][PYTHON] 實作 DataFrame.hint
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types 應該支援 StructType。
• [SPARK-41334] [SC-118549][connect][PYTHON] 將 proto 從關聯移至表達式 SortOrder
• [SPARK-41387] [SC-118450][ss] 確認 Kafka 數據源對於觸發程式.AvailableNow 的目前結束位移
• [SPARK-41508] [SC-118445][core][SQL] 將 _LEGACY_ERROR_TEMP_1180 重新命名為 UNEXPECTED_INPUT_TYPE 並移除 _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] 實作 Column 的 {when, otherwise} 方法和 Function when with UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] 修正 SQLShuffleWriteMetricsReporter.decRecordsWritten() 中對於錯誤的子方法的呼叫
• [SPARK-41453] [SC-118458][connect][PYTHON] 實作 DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] 新增 “spark.sql.json.enablePartialResults” 以啟用/停用 JSON 部分結果
• [SPARK-41437] 還原 “[SC-117601][sql] 不要在 v1 回退機制中對輸入查詢進行兩次優化”
• [SPARK-41472] [SC-118352][connect][PYTHON] 實作字符串/二進位函式的其餘部分
• [SPARK-41526] [SC-118355][connect][PYTHON] 實作 Column.isin
• [SPARK-32170] [SC-118384][CORE]利用階段任務的度量改善推測。
• [SPARK-41524] [SC-118399][ss] 在 StateStoreConf 中區分 SQLConf 和 extraOptions，使其在 RocksDBConf 中使用
• [SPARK-41465] [SC-118381][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] LongToUnsafeRowMap 支援忽略重複鍵功能
• [SPARK-41409] [SC-118302][core][SQL] 將 _LEGACY_ERROR_TEMP_1043 重新命名為 WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] 實作 DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] 不要將 v1 回退寫入的輸入查詢優化兩次
• [SPARK-41314] [SC-117172][sql] 將名稱指派給錯誤類別 _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] 重構 LiteralExpression 以支援 DataType
• [SPARK-41448] [SC-118046]在 FileBatchWriter 和 FileFormatWriter 中建立一致的 MR 作業標識符
• [SPARK-41456] [SC-117970][sql] 改善try_cast效能
• [SPARK-41495] [SC-118125][connect][PYTHON] 實現 collection 函式：P~Z
• [SPARK-41478] [SC-118167][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] 重構 NUM_COLUMNS_MISMATCH 錯誤訊息，使其更泛型
• [SPARK-41404] [SC-118016][sql] 重構 ColumnVectorUtils#toBatch，讓 ColumnarBatchSuite#testRandomRows 測試更基本數據類型
• [SPARK-41468] [SC-118044][sql] 修正 EquivalentExpressions 中的 PlanExpression 處理
• [SPARK-40775] [SC-118045][sql] 修正 V2 檔案掃描的重複描述項目
• [SPARK-41492] [SC-118042][connect][PYTHON] 實作 MISC 函式
• [SPARK-41459] [SC-118005][sql] 修正 thrift 伺服器作業記錄輸出是空的
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection 應該使用 setDecimal 為不安全數據列中的小數點設定 Null 值
• [SPARK-41376] [SC-117840][core][3.3] 更正執行程序啟動時的 Netty preferDirectBufs 檢查邏輯
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] 實作 collection 函式：E~M
• [SPARK-41389] [SC-117426][core][SQL] 重複使用 WRONG_NUM_ARGS，而不是 _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] 日期和時間戳類型可向上轉型為 TimestampNTZ
• [SPARK-41435] [SC-117810][sql] 當 expressions 不是空白時，將改為呼叫 curdate() 的 invalidFunctionArgumentsError
• [SPARK-41187] [SC-118030][核心] AppStatusListener 中的 LiveExecutor 記憶體洩漏，當 ExecutorLost 發生時
• [SPARK-41360] [SC-118083][core] 避免在執行程序遺失時重新註冊 BlockManager
• [SPARK-41378] [SC-117686][sql] 支援 DS v2 中的欄位統計
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] 覆寫 StringDecode 的 prettyName
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] 實作日期/時間戳函式
• [SPARK-41329] [SC-117975][connect] 解決 Spark Connect 中的迴圈匯入
• [SPARK-41477] [SC-118025][connect][PYTHON] 正確地推斷常值整數的數據類型
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] 讓 createDataFrame 支持架構和更多輸入數據集類型
• [SPARK-41475] [SC-117997][connect] 修正 lint-scala 命令錯誤和錯字
• [SPARK-38277] [SC-117799][ss] 在 RocksDB 狀態存放區提交後清除寫入批次
• [SPARK-41375] [SC-117801][ss] 避免 KafkaSourceOffset 為空
• [SPARK-41412] [SC-118015][connect] 實作 Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] 實作 DataFrame.melt 和 DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] 將與列相關的測試重構到test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] 欄應該支援 != 運算符
• [SPARK-40697] [SC-117806][sc-112787][SQL] 新增讀取端的字元填補功能，以支援外部資料檔案
• [SPARK-41349] [SC-117594][connect][12.X] 實作 DataFrame.hint
• [SPARK-41338] [SC-117170][sql] 解析相同分析器批次中的外部參考和一般數據行
• [SPARK-41436] [SC-117805][connect][PYTHON] 實作 collection 函式：A~C
• [SPARK-41445] [SC-117802][connect] 實作 DataFrameReader.parquet
• [SPARK-41452] [SC-117865][sql] to_char 格式為 null 時應該傳回 null
• [SPARK-41444] [SC-117796][connect] 支援 read.json（）
• [SPARK-41398] [SC-117508][sql] 在運行時間篩選後當分區鍵不匹配時放寬 Storage-Partitioned Join 的條件約束
• [SPARK-41228] [SC-117169][sql] 重新命名 & 改善 COLUMN_NOT_IN_GROUP_BY_CLAUSE的錯誤訊息。
• [SPARK-41381] [SC-117593][connect][PYTHON] 實作 count_distinct 和 sum_distinct 函式
• [SPARK-41433] [SC-117596][connect] 讓 Max Arrow BatchSize 可設定
• [SPARK-41397] [SC-117590][connect][PYTHON] 實作字符串/二進位函式的一部分
• [SPARK-41382] [SC-117588][connect][PYTHON] 實作 product 函式
• [SPARK-41403] [SC-117595][connect][PYTHON] 實作 DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg（） 應該相容
• [SPARK-41369] [SC-117584][connect] 將 Connect 通用新增至伺服器的遮蔽 JAR
• [SPARK-41411] [SC-117562][ss] 多重狀態運算子水印支援的錯誤修正
• [SPARK-41176] [SC-116630][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] 實作聚合函數
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] 實作一般函式
• [SPARK-41305] [SC-117411][connect] 改善命令 proto 的文件
• [SPARK-41372] [SC-117427][connect][PYTHON] 實作 DataFrame TempView
• [SPARK-41379] [SC-117420][ss][PYTHON] 在適用於 PySpark 中 foreachBatch 接收的使用者函式中，在 DataFrame 中提供複製的 Spark 會話
• [SPARK-41373] [SC-117405][sql][ERROR] 將 CAST_WITH_FUN_SUGGESTION 重新命名為 CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] 重構 ColumnVectorUtils#populate 方法來使用 PhysicalDataType，而不是使用 DataType
• [SPARK-41355] [SC-117423][sql] 替代方案 Hive 數據表名稱驗證問題
• [SPARK-41390] [SC-117429][sql] 更新用來在 UDFRegistration 中產生 register 函式的腳本
• [SPARK-41206] [SC-117233][sc-116381][SQL] 將錯誤類別重新命名為 _LEGACY_ERROR_TEMP_1233COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] 實作數學函式
• [SPARK-40970] [SC-117308][connect][PYTHON] 支援 Join 的 on 參數中的列表[數據行]
• [SPARK-41345] [SC-117178][connect] 將提示新增至連線 Proto
• [SPARK-41226] [SC-117194][sql][12.x] 引進實體類型來重構 Spark 類型
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] 新增 DataFrameWriter 的基本支援
• [SPARK-41347] [SC-117173][connect] 將 Cast 新增至表達式 proto
• [SPARK-41323] [SC-117128][sql] 支援current_schema
• [SPARK-41339] [SC-117171][sql] 關閉並重新建立 RocksDB 寫入批次，而不只是清除
• [SPARK-41227] [SC-117165][connect][PYTHON] 實作 DataFrame 交叉聯結
• [SPARK-41346] [SC-117176][connect][PYTHON] 實作 asc 和 desc 函式
• [SPARK-41343] [SC-117166][connect] 將 FunctionName 剖析移至伺服器端
• [SPARK-41321] [SC-117163][connect] 支援 UnresolvedStar 的目標欄位
• [SPARK-41237] [SC-117167][sql] 重用錯誤類別 UNSUPPORTED_DATATYPE 以用於 _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] 重複使用 INVALID_SCHEMA.NON_STRING_LITERAL 而不是 _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] 優化建構函式使用 StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] 支援欄位中的 IsNull 和 IsNotNull
• [SPARK-41332] [SC-117131][connect][PYTHON] 修正 SortOrder 中的 nullOrdering
• [SPARK-41325] [SC-117132][connect][12.X] 修正 DF 上的 GroupBy 遺漏 avg（）
• [SPARK-41327] [SC-117137][core] 透過開啟/關閉HeapStorageMemory 資訊修正 SparkStatusTracker.getExecutorInfos
• [SPARK-41315] [SC-117129][connect][PYTHON] 實作 DataFrame.replace 和 DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] 將邏輯和字元串 API 新增至數據行
• [SPARK-41331] [SC-117127][connect][PYTHON] 新增 orderBy 和 drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal 應確保鎖能順利解除鎖定
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] 重構 “Column” 以符合 API 兼容性
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Implement DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] 新增錯誤類別 INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] 重複使用 INVALID_SCHEMA，而不是 _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] 將 NumPy 實例轉換成 GroupState 更新中的 Python 基本類型
• [SPARK-41174] [SC-116609][core][SQL] 為使用者顯示錯誤類別，to_binary() 無效 format
• [SPARK-41264] [SC-116971][connect][PYTHON] 讓常值支援更多數據類型
• [SPARK-41326] [SC-116972][CONNECT]修正去重過程中遺漏的輸入資料問題
• [SPARK-41316] [SC-116900][sql] 儘可能啟用尾端遞迴 (tail-recursion)
• [SPARK-41297] [SC-116931][CONNECT][PYTHON]支援篩選中的字串表示式。
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] 實作 DataFrame.withColumn（s）
• [SPARK-41182] [SC-116632][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] 將映射選項錯誤移至錯誤類別
• [SPARK-40940] [SC-115993][12.x]移除串流查詢的多狀態操作符檢查器。
• [SPARK-41310] [SC-116885][connect][PYTHON] 實作 DataFrame.toDF
• [SPARK-41179] [SC-116631][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti 不會在停用 codegen 時更新 numOutputRows
• [SPARK-41148] [SC-116878][connect][PYTHON] 實作 DataFrame.dropna 和 DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] 新增錯誤類別 FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] 改進 DataFrame.count()
• [SPARK-41301] [SC-116786][CONNECT] 統一 SparkSession.range 的行為
• [SPARK-41306] [SC-116860][connect] 改善 Connect 表達式 proto 檔
• [SPARK-41280] [SC-116733][connect] 實現 DataFrame.tail
• [SPARK-41300] [SC-116751][CONNECT]未設定的模式會解釋為模式
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] 重新命名 RemoteSparkSession
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame。 toPandas 不應該傳回選擇性 pandas 數據框架
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain 應該列印並傳回 None
• [SPARK-41278] [SC-116732][connect] 清除 Expression.proto 中未使用的 QualifiedAttribute
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] 移除根據 Scala 2.13 代碼的冗餘集合轉換
• [SPARK-41261] [SC-116718][python][SS] 修正套用InPandasWithState 的問題，當群組索引鍵的數據行未依最早順序排列時
• [SPARK-40872] [SC-116717][3.3] 當推送合併的分塊式隨機塊為零大小時，回退至原始隨機分塊
• [SPARK-41114] [SC-116628][connect] 支援 LocalRelation 的本地資料
• [SPARK-41216] [SC-116678][connect][PYTHON] 實作 DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] 支援更多內建數據類型
• [SPARK-41230] [SC-116674][connect][PYTHON] 從匯總表達式類型移除 str
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] 優化箭頭型收集實作，從伺服器串流到用戶端
• [SPARK-41222] [SC-116625][connect][PYTHON] 統一輸入定義
• [SPARK-41225] [SC-116623][CONNECT][PYTHON]停用不支援的函式。
• [SPARK-41201] [SC-116526][connect][PYTHON] 在 Python 用戶端中實作 DataFrame.SelectExpr
• [SPARK-41203] [SC-116258][CONNECT]在 Python 用戶端中支援 Dataframe.tansform。
• [SPARK-41213] [SC-116375][connect][PYTHON] 實作 DataFrame.__repr__ 和 DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] 實作 DataFrame.drop
• [SPARK-41172] [SC-116245][sql] 將模棱兩可的 ref 錯誤遷移至錯誤類別
• [SPARK-41122] [SC-116141][connect] 說明 API 可以支援不同的模式
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] 改善 _merge_type 方法中的 PySpark 類型推斷
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] 跨 Spark 連線伺服器將 protobuf 版本同質化，以使用相同的主要版本。
• [SPARK-35531] [SC-116409][sql] 更新 hive 資料表統計數據而不需要不必要的轉換
• [SPARK-41154] [SC-116289][sql] 對於涉及時間溯回的查詢，關聯緩存不正確
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] 實作 DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] 將 UNSUPPORTED_EMPTY_LOCATION 重新命名為 INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] 新增擴充 API 以進行快取方案正規化
• [SPARK-41054] [SC-116447][ui][CORE] 支援在即時 UI 中使用 RocksDB 作為 KVStore
• [SPARK-38550] [SC-115223]還原 “[SQL][core] 使用基於磁碟的儲存系統來儲存動態 UI 的偵錯資訊”
• [SPARK-41173] [SC-116185][sql] 從字串表達式的建構函式移出 require()
• [SPARK-41188] [SC-116242][core][ML] 將 executorEnv 的 OMP_NUM_THREADS 預設設為 spark.executor JVM 進程中 spark.task.cpus 的數值
• [SPARK-41130] [SC-116155][sql] 將 OUT_OF_DECIMAL_TYPE_RANGE 重新命名為 NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] 建立 AttributeMap 時減少集合轉換
• [SPARK-41139] [SC-115983][sql] 改善錯誤類別：PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] 需要 Java 類別 jar 的底紋，改善錯誤處理
• [SPARK-40999] [SC-116168]子查詢的提示傳播
• [SPARK-41017] [SC-116054][sql] 支援多個非決定性篩選的列去除
• [SPARK-40834] [SC-114773][sql] 使用 SparkListenerSQLExecutionEnd 追蹤 UI 中的最終 SQL 狀態
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number 在格式為 null 時應該傳回 null
• [SPARK-39799] [SC-115984][sql] DataSourceV2：檢視目錄介面
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] 避免在 Apache Spark 二進制版本中內嵌 Spark Connect
• [SPARK-41048] [SC-116043][sql] 改善使用 AQE 快取的輸出分割和排序
• [SPARK-41198] [SC-116256][ss] 修正串流查詢中具有 CTE 和 DSv1 串流來源的指標
• [SPARK-41199] [SC-116244][ss] 修正 DSv1 串流來源和 DSv2 串流來源共同使用的計量問題
• [SPARK-40957] [SC-116261][sc-114706] 在 HDFSMetadataLog 中新增記憶體快取
• [SPARK-40940] 回覆 “[SC-115993] 移除串流查詢的多具狀態運算符檢查工具。”
• [SPARK-41090] [SC-116040][sql] 在資料集 API 建立臨時視圖時拋出 db_name.view_name 例外
• [SPARK-41133] [SC-116085][sql] 將 UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION 整合到 NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] 代碼匯出 9 提交
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Spark Connect 組建為具有陰影相依性的驅動程式外掛程式
• [SPARK-41096] [SC-115812][sql] 支援讀取 Parquet 的 FIXED_LEN_BYTE_ARRAY 類型
• [SPARK-41140] [SC-115879][sql] 將錯誤類別重新命名 _LEGACY_ERROR_TEMP_2440 為 INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] FileSourceScanExec 與 Orc 和 ParquetFileFormat 在產生欄式輸出時不一致
• [SPARK-41155] [SC-115991][sql] 將錯誤訊息新增至 SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] 移除串流查詢的多重狀態運算子檢查程式。
• [SPARK-41098] [SC-115790][sql] 將 GROUP_BY_POS_REFERS_AGG_EXPR 重新命名為 GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] 將類型檢查錯誤的數字格式移轉至錯誤類別
• [SPARK-41059] [SC-115658][sql] 將 _LEGACY_ERROR_TEMP_2420 重新命名為 NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] 將DATATYPE_MISMATCH.UNSPECIFIED_FRAME 轉換為 INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] 將 _LEGACY_ERROR_TEMP_0055 重新命名為 UNCLOSED_BRACKETED_COMMENT

維護更新

請參閱 Databricks Runtime 12.1 維護更新。

系統環境

• 作業系統：Ubuntu 20.04.5 LTS
• Java：Zulu 8.64.0.19-CA-linux64
• Scala：2.12.14
• Python：3.9.5
• R: 4.2.2
• Delta Lake：2.2.0

已安裝的 Python 程式庫

已安裝的 R 程式庫

R 程式庫是從 2022-11-11 的 Microsoft CRAN 快照安裝的。

已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）