Databricks Runtime 13.2 (EoS)

下列版本資訊提供由 Apache Spark 3.4.0 提供之 Databricks Runtime 13.2 的相關信息。

Databricks 於 2023 年 7 月發行此版本。

新功能和改進

• RocksDB 狀態存放區的變更記錄檢查點
• Unity VACUUM中具有淺層複製之 Catalog 的增強可靠性。
• 在 SQL 中支援 Python UDF
• Delta Lake UniForm for Iceberg 處於公開預覽狀態
• Delta Lake liquid clustering 處於公開預覽狀態
• Azure Databricks 中的封存支援
• IDENTIFIER 子句支援
• Unity Catalog 支援 Python 和 Pandas User-Defined 函數（UDFs）
• 使用 Delta Sharing 共用共享架構
• 錯誤修正

RocksDB 狀態存放區的變更記錄檢查點

您可以針對具狀態結構化串流工作負載啟用變更記錄檢查點，以降低檢查點持續時間和端對端延遲。 Databricks 建議為所有結構化串流具狀態的查詢，啟用變更記錄檢查點。 請參閱 <啟用變更記錄檢查點>。

在 Unity VACUUM中，使用淺層複製來增強 Catalog 的可靠性。

當您針對淺層複製作業的來源和目標使用 Unity Catalog managed tables 時，Unity Catalog 會管理基礎數據檔，以改善複製作業來源和目標的可靠性。 在淺層克隆的資料來源上執行 VACUUM 不會中斷已克隆的 table。 請參閱 Vacuum 以及 Unity Catalog的淺層複製。

在 SQL 中支援 Python UDF

您現在可以在 Unity CREATE FUNCTION中的 SQL Catalog 語句中使用 Python 宣告使用者定義函式。 請參閱 Unity 中的 使用者定義函式 （UDF）。

Delta Lake UniForm for Iceberg 處於公開預覽狀態

Delta Lake Universal Format （UniForm） 可讓您使用 Iceberg 用戶端讀取 Delta tables。 請參閱 tables讀取 Delta 。

Delta Lake liquid clustering 處於公開預覽狀態

Delta Lake liquid 叢集會取代 table 數據分割和 ZORDER，以簡化數據配置決策和 optimize 查詢效能。 請參閱 針對 Delta tables使用液體群集。

Azure Databricks 中的封存支援

Azure Databricks 中的封存支持引進了一組功能，可讓您在包含 Delta tables 的雲端物件記憶體上使用雲端式生命周期原則，將檔案移至封存儲存層。 請參閱 Azure Databricks 中的封存支援。

IDENTIFIER 子句支援

使用 IDENTIFIER(:mytable)，在許多 SQL 語句中安全地參數化 table、column、函式和 schema 名稱。

Unity Catalog 對 Python 和 Pandas User-Defined 函數（UDF）的支援

在 Databricks Runtime 13.2 和更新版本上，在已啟用 Unity Catalog的工作區中使用共用存取模式的叢集上，支援以 Python 撰寫的使用者定義函式 （UDF）。 這包括 Python 和 Pandas UDF。 如需 Python UDF 的詳細資訊，請參閱 使用者定義的純量函式 - Python。

使用 Delta Sharing 共用共享架構

Databricks Runtime 13.2 新增了使用 Delta Sharing 來共用整個 ALTER SHARE <share-name> ADD SCHEMA <schema-name>schema 的功能，讓收件者能夠在您共用的當下存取 tables 中的所有 views 和 schema，及未來新增至 tables 的任何 views 和 schema。 請參閱 將架構新增至共用 和 ALTER SHARE。

錯誤修正

• 已修正 JSON 讀取器的錯誤，如果已啟用 where，PERMISSIVE 記錄會在 failOnUnknownFieldsmode 模式中剖析。 記錄現在會以 DROPMALFORMEDparser 模式卸除，或者若選項 badRecordsPath被啟用，則會寫入至 set。 如果 FAILFAST 類型不相符，column 會擲回錯誤。

連結庫升級

• 升級的 Python 連結庫：
  • 從 1.7.0 到 1.8.0 的 nodeenv
• 升級的 R 程式庫：
• 升級的 Java 程式庫：
  • io.delta.delta-sharing-spark_2.12，從 0.6.7 到 0.7.0

Apache Spark

Databricks Runtime 13.2 包含 Apache Spark 3.4.0。 此版本包含 Databricks Runtime 13.1 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

• [SPARK-42750] [SC-133452][DBRRM-273] 支援依名稱語句 Insert
• [SPARK-43133] [SC-133728]Scala 用戶端 DataStreamWriter Foreach 支援
• [SPARK-43663] [SC-134135][CONNECT][PS]使 SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS]修正 (NullOps|NumOps).(eq|ne) Spark Connect。
• [SPARK-44021] [SC-134109][SQL]新增 spark.sql.files.maxPartitionNum
• [SPARK-43910][SC-132936][SQL]錯誤中的識別碼等量__auto_generated_subquery_name
• [SPARK-43976] [SC-133375][CORE] 處理事件記錄檔中缺少 where modifiedConfigs 的狀況
• [SPARK-32559] [SC-133992][SQL]修正修剪邏輯未正確處理 ASCII 控制字元
• [SPARK-43421] [SC-132930][SS]實作 RocksDB 狀態存放區提供者的 Changelog 型檢查點
• [SPARK-43594] [SC-133851][SQL]將 LocalDateTime 新增至 anyToMicros
• [SPARK-43884] [SC-133867]DDL 中的 Param 標記
• [SPARK-43398] [SC-133894][CORE]執行程式逾時應該是閑置隨機和 rdd 逾時上限
• [SPARK-43610] [SC-133892][CONNECT][PS]在Spark Connect 中啟用 InternalFrame.attach_distributed_column 。
• [SPARK-43971] [SC-133826][CONNECT][PYTHON]以串流方式支援 Python 的 createDataFrame
• [SPARK-44006] [SC-133652][CONNECT][PYTHON]支援快取成品
• [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] 新增 copyFromLocalToFs API
• [SPARK-43921] [SC-133461][PROTOBUF] Generate 在建置時的 Protobuf 描述元檔案
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT]在SparkSession.addArtifacts 中實作檔案支援
• [SPARK-44010] [SC-133744][PYTHON][SS][MINOR]Python StreamingQueryProgress 數據列PerSecond 類型修正
• [SPARK-43768] [SC-132398][PYTHON][CONNECT]Python Spark Connect 中的 Python 相依性管理支援
• [SPARK-43979] [13.X] Revert “[SC-133456][SQL] CollectedMetrics 應該視為與自我join相同的還原
• [SPARK-42290] [SC-133696][SQL]修正 AQE 開啟時無法回報 OOM 錯誤
• [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT]將 SQL 數學函式新增至 Scala 和 Python
• [SPARK-43747] [SC-132047][PYTHON][CONNECT]在 SparkSession.addArtifacts 中實作 pyfile 支援
• [SPARK-43700][SC-133726][SPARK-43701][CONNECT][PS]使用Spark Connect 啟用TimedeltaOps.(sub|rsub)
• [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS]啟用同位測試： test_line_plot、 test_pie_plot。
• [SPARK-43867] [SC-132895][SQL]改善未解析屬性的建議候選專案
• [SPARK-43901] [SC-133454][SQL]Avro 支援由 Long 支援的自定義十進位類型
• [SPARK-43267] [SC-133024][JDBC] 處理陣列中 postgres 未知的使用者自定義 column 為字串
• [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT]將 xpath_* 函式新增至 Scala 和 Python
• [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT]將百分位數新增至 Scala 和 Python API
• [SPARK-43717] [SC-133455][CONNECT]Scala 用戶端縮減 agg 無法處理 Scala 基本輸入的 Null 分割區
• [SPARK-43984][SC-133469][SQL][PROTOBUF]變更為在不會產生結果時foreach使用map
• [SPARK-43612] [SC-132011][CONNECT][PYTHON]在 Python 用戶端中實作 SparkSession.addArtifact（s）
• [SPARK-44002] [SC-133606][CONNECT]修正成品狀態處理程式
• [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT]將線性回歸聚合函數新增至 Scala 和 Python
• [SPARK-43920] [SC-133614][SQL][CONNECT]建立 sql/api 模組
• [SPARK-43979] [SC-133456][SQL] CollectedMetrics 應該視為與自我join 相同
• [SPARK-43977] [SC-133373][CONNECT]修正 未預期的檢查結果 dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf：將列舉修正為 ints Bug
• [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT]將 unix_* 函式新增至 Scala 和 Python
• [SPARK-43807] [SC-132545][SQL]將_LEGACY_ERROR_TEMP_1269移轉至PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] 修正不顯示 column的 SQL 百分位數[Cont|Disc] 的錯誤。
• [SPARK-42626] [SC-133248][CONNECT]新增 SparkResult 的破壞性反覆運算器
• [SPARK-43333] [SC-132898][SQL]允許 Avro 將等位類型轉換成具有類型穩定功能變數名稱的 SQL
• [SPARK-43953] [SC-133134][CONNECT] Removepass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT]從自動完成隱藏不支持的數據框架方法
• [SPARK-43973] [SC-133272][SS][UI]結構化串流 UI 應該正確顯示失敗的查詢
• [SPARK-42577] [SC-125445][CORE]為階段新增最大嘗試限制，以避免潛在的無限重試
• [SPARK-43841] [SC-132699][SQL]處理中沒有前置詞的候選屬性 StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][待處理]將組態 spark.rdd.cache.visibilityTracking.enabled 支援版本修改為 3.5.0
• [SPARK-37942] [SC-130983][CORE][SQL]移轉錯誤類別
• [SPARK-43898] [SC-132926][CORE]自動註冊 immutable.ArraySeq$ofRef 至 KryoSerializer Scala 2.13
• [SPARK-43775] [SC-132891][SQL]DataSource V2：允許將更新表示為刪除和插入
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON]支援從 pandas DataFrame 和 toPandas 建立DataFrame 中的 UserDefinedType
• [SPARK-43418] [SC-132753][SC-130685][CONNECT]新增 SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][SQL]將_LEGACY_ERROR_TEMP_0036轉換為INVALID_SQL_SYNTAX。ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE]修正使用 rdd 快取重試工作的累加器不足計數
• [SPARK-43892][SC-133006][PYTHON]在中新增自動完成支援df[|]pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] 新增 Catalog.listDatabases 的選擇性模式
• [SPARK-43205] [SC-132623] IDENTIFIER 子句
• [SPARK-43545] [SC-132378][SQL][PYTHON]支援巢狀時間戳類型
• [SPARK-43949] [SC-133048][PYTHON]將 cloudpickle 升級至 2.2.1
• [SPARK-43760] [SC-132809][SQL]純量子查詢結果的 Null 性
• [SPARK-43696][SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS]Spark Connect 的修正TimedeltaOps
• [SPARK-43895] [SC-132897][CONNECT][GO]準備 go 套件路徑
• [SPARK-43894] [SC-132892][PYTHON]修正 df.cache（） 中的 Bug
• [SPARK-43509] [SC-131625][CONNECT]支援建立多個Spark Connect作業階段
• [SPARK-43882] [SC-132888][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2122
• [SPARK-43687][SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS]Spark Connect 的修正NumOps
• [SPARK-43604] [SC-132165][SQL]重構 INVALID_SQL_SYNTAX 以避免在原始程式碼中內嵌錯誤的文字
• [SPARK-43859] [SC-132883][SQL]在 LateralColumnAliasReference 中覆寫 toString
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] 新增 Catalog.listCatalogs 的選擇性模式
• [SPARK-43353] 還原 “[SC-132734][PYTHON] 將剩餘的會話錯誤移轉至錯誤類別”
• [SPARK-43375] [SC-130309][CONNECT]改善INVALID_CONNECT_URL的錯誤訊息
• [SPARK-43863] [SC-132721][CONNECT] Remove scala 2.13 toSeq 的備援 SparkConnectPlanner
• [SPARK-43676][SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS]Spark Connect 的修正DatetimeOps
• [SPARK-43666][SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS]Spark Connect 的修正BinaryOps
• [SPARK-43680][SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS]Spark Connect 的修正NullOps
• [SPARK-43782] [SC-132885][CORE]使用靜態 Spark conf 支援記錄層級設定
• [SPARK-43132] [SC-131623][SS][CONNECT]Python 用戶端 DataStreamWriter foreach（） API
• [SPARK-43290] [SC-131961][SQL]將 AES IV 和 AAD 支援新增至 ExpressionImplUtils
• [SPARK-43795] [SC-132532][CONNECT] Removeparameters 未用於 SparkConnectPlanner
• [SPARK-42317] [SC-129194][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2247：CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][SQL]在編譯錯誤中使用錯誤類別 ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][CORE] Remove Core 模組中未使用的宣告
• [SPARK-43314] [SC-129970][CONNECT][PYTHON]將 Spark Connect 用戶端錯誤遷移至錯誤類別
• [SPARK-43799] [SC-132715][PYTHON]將描述元二進位選項新增至 Pyspark Protobuf API
• [SPARK-43837] [SC-132678][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP（1254 和 1315）
• [SPARK-43886] [SC-132808][PYTHON]接受泛型 Tuple 作為 Pandas UDF 的輸入提示
• [SPARK-43530] [SC-132653][PROTOBUF]僅讀取描述元檔案一次
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671][SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS]Spark Connect 的修正CategoricalOps
• [SPARK-39979] [SC-132685][SQL]新增選項以針對箭頭 UDF 作業使用大型可變寬度向量
• [SPARK-43692][SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS]Spark Connect 的修正StringOps
• [SPARK-43353] [SC-132734][PYTHON]將剩餘的工作階段錯誤移轉至錯誤類別
• [SPARK-43815] [SC-132781][SQL]新增 to_varchar 的別名 to_char
• [SPARK-43543] [13.x][SC-131839][PYTHON]修正 Pandas UDF 中的巢狀 MapType 行為
• [SPARK-43361] [SC-131789][PROTOBUF] update 與列舉序列化相關錯誤的文件
• [SPARK-43740] [SC-132035][PYTHON][CONNECT]從自動完成隱藏不支援 session 的方法
• [SPARK-43022] [SC-131681][CONNECT]支援 Scala 用戶端的 protobuf 函式
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON]遷移 NotImplementedError 至 PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL]盡可能啟用尾遞歸
• [SPARK-42421] [SC-132695][CORE] 使用 utils 來 get 本機檢查點中使用的動態配置參數
• [SPARK-43590] [SC-132012][CONNECT]進行 connect-jvm-client-mima-check 以支援mima protobuf 檢查模組
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS]從 DataFrame 移轉剩餘的錯誤（讀取器|寫入器） 進入錯誤類別
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf：允許以 enum 作為 ints 的 serde
• [SPARK-43789] [SC-132397][R] 根據預設，在 R createDataFrame 中使用 'spark.sql.execution.arrow.maxRecordsPerBatch'
• [SPARK-43596] [SC-126994][SQL]處理 rewriteDomainJoins 中的 IsNull 述詞
• [SPARK-42249] [SC-122565][SQL]在錯誤訊息中精簡檔的 HTML 連結。
• [SPARK-43128] [SC-131628][CONNECT][SS]讓 recentProgress 和 lastProgress 傳回 StreamingQueryProgress 與原生 Scala Api 一致
• [SPARK-43387] [SC-130448][SQL]為_LEGACY_ERROR_TEMP_1168提供人類可讀取的錯誤碼。
• [SPARK-43334] [SC-132358][UI]修正將 ExecutorPeakMetricsDistributions 串行化為 API 回應時的錯誤
• [SPARK-42958] [SC-131475][CONNECT]重構 connect-jvm-client-mima-check 以支援avro模組的mima檢查
• [SPARK-43591] [SC-131977][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][CORE]在 org.apache.spark.io 中使用錯誤類別
• [SPARK-43759] [SC-132189][SQL][PYTHON]在 pyspark.sql.types 中公開 TimestampNTZType
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][WEBUI]句柄 missing row.excludedInStages 欄位
• [SPARK-42956] [SC-127257][CONNECT]支援 Scala 用戶端的 avro 函式
• [SPARK-43487] [SC-131975][SQL]修正巢狀 CTE 錯誤訊息
• [SPARK-43265] [SC-129653]將錯誤架構移至常見的公用程式模組
• [SPARK-40912] [SC-131547][CORE]KryoDeserializationStream 中的例外狀況額外負荷
• [SPARK-43583] [SC-131976][CORE] 從委派 get MergedBlockedMetaReqHandler，而不是 SaslRpcHandler 實例
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] 建立並指派所有失敗測試的適當 JIRA 票證。
• [SPARK-38469] [SC-131425][CORE]在 org.apache.spark.network 中使用錯誤類別
• [SPARK-43718] [SC-132014][SQL] Set 在 USING 聯結中索引鍵的可空性調整正確
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop 應接受空白 column
• [SPARK-43743] [SC-132038][SQL]埠 HIVE-12188（DoAs 無法在非 Kerberos 保護 HS2 中正常運作）
• [SPARK-43598] [SC-131929][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][CORE]修正移轉期間的 ClassNotFoundException
• [SPARK-43360] [SC-131526][SS][CONNECT]Scala 用戶端 StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE]在 org.apache.spark.memory 中使用錯誤類別
• [SPARK-43345] [SC-131790][SPARK-43346][SQL]重新命名錯誤類別 LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL]子表達式消除支援快捷方式表達式
• [SPARK-38462] [SC-130449][CORE]新增錯誤類別INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][SQL]修正 cannotBroadcastTableOverMaxTableBytesError 以使用 bytesToString
• [SPARK-43539] [SC-131830][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][SQL]複製 InMemoryRelation 快取計劃以防止複製的計劃參考相同的物件
• [SPARK-43309] [SC-129746][SPARK-38461][CORE]使用類別擴充INTERNAL_ERROR，並新增錯誤類別INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][SQL] 修正並行寫入器不會 update 檔案計量
• [SPARK-43383] [SC-130660][SQL]將統計數據新增 rowCount 至 LocalRelation
• [SPARK-43574] [SC-131739][PYTHON][SQL] 支援在運行時間期間為背景工作角色中的 UDF 和 pandas 函式 API set Python 可執行檔
• [SPARK-43569] [SC-131694][SQL] Remove HADOOP-14067 的因應措施
• [SPARK-43183] [SC-128938][SS][13.x]將新的回呼 「onQueryIdle」 引入 StreamingQueryListener
• [SPARK-43528] [SC-131531][SQL][PYTHON]在具有 pandas DataFrame 的 createDataFrame 中支援重複的功能變數名稱
• [SPARK-43548] [SC-131686][SS] Remove 針對 HADOOP-16255 的解決方案
• [SPARK-43494] [SC-131272][CORE]直接呼叫 replicate()HdfsDataOutputStreamBuilder 而不是反映 SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE]處理遺漏 hadoopProperties 和 metricsProperties
• [SPARK-42899] [SC-126456][SQL] 修正 DataFrame.to（schema） 來處理案例，where 可為 Null 的字段中有不可為 Null 的巢狀字段
• [SPARK-43302] [SC-129747][SQL]將 Python UDAF 設為 AggregateFunction
• [SPARK-43223] [SC-131270][連線]輸入 agg， reduce 函式， RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS]如果 QueryTerminatedEvent 存在於例外狀況中，請展開 QueryTerminatedEvent 以包含錯誤類別
• [SPARK-43359] [SC-131463][SQL] 從 Hive 刪除 table 應該會拋出 “UNSUPPORTED_FEATURE.TABLE_OPERATION”
• [SPARK-43284] [SC-130313]切換回 URL 編碼字串
• [SPARK-43492] [SC-131227][SQL]新增 3-args 函式 DATE_ADD 別名和 DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON]從 pandas DataFrame 支援 createDataFrame 中的結構類型
• [SPARK-43386] [SC-131110][SQL] 改善錯誤類別 list 中建議的 column /特性 UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-43443] [SC-131332][SQL]使用無效值時，新增時間戳類型推斷的基準檢驗
• [SPARK-43518] [SC-131420][SQL]轉換成 _LEGACY_ERROR_TEMP_2029 INTERNAL_ERROR
• [SPARK-42604] [SC-130648][CONNECT]實作 functions.typedlit
• [SPARK-42323] [ES-669513]還原 “[SC-123479][SQL] 將名稱指派給 _LEGACY_ERROR_TEMP_2332”
• [SPARK-43357] [SC-130649][SQL]篩選日期類型引號日期
• [SPARK-43410] [SC-130526][SQL]改善 Packed skipValues 的向量化迴圈
• [SPARK-43441] [SC-130995][CORE] makeDotNode 當 DeterministicLevel 不存在時，不應該失敗
• [SPARK-43324] [SC-130455][SQL] 針對 Delta 型來源處理 UPDATE 命令
• [SPARK-43272] [SC-131168][CORE]直接呼叫 createFile 而不是反映
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON]將 Spark Connect 工作階段錯誤移轉至錯誤類別
• [SPARK-43405] [SC-130987][SQL] Remove 無用 getRowFormatSQL、inputRowFormatSQL、outputRowFormatSQL 方法
• [SPARK-43447] [SC-131017][R] 支援 R 4.3.0
• [SPARK-43425] [SC-130981][SQL]新增 TimestampNTZType 至 ColumnarBatchRow
• [SPARK-41532] [SC-130523][CONNECT][CLIENT]新增涉及多個數據框架的作業檢查
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON]將 Spark Connect 結構化串流錯誤遷移至錯誤類別
• [SPARK-42992] [13.x][SC-129465][PYTHON]介紹 PySparkRuntimeError
• [SPARK-43422] [SC-130982][SQL]使用元數據輸出將標籤保留在LogicalRelation上
• [SPARK-43390] [SC-130646][SQL] DSv2 允許 CTAS/RTAS 保留 schema 可空性
• [SPARK-43430] [SC-130989][CONNECT][PROTO]ExecutePlanRequest 支援任意要求選項。
• [SPARK-43313] [SC-130254][SQL] 新增在 MERGE column 動作中遺漏的 values DEFAULT INSERT
• [SPARK-42842] [SC-130438][SQL]將錯誤類別_LEGACY_ERROR_TEMP_2006合併至 REGEX_GROUP_INDEX
• [SPARK-43377][SC-130405][SQL]默認為啟用spark.sql.thriftServer.interruptOnCancel
• [SPARK-43292][SC-130525][CORE][CONNECT]ExecutorClassLoader移至core模組並簡化Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL]改善 JDBC 資料源中的 TimestampNTZ 類型支援
• [SPARK-43343] [SC-130629][SS]建立 DataSource 時，FileStreamSource 應該停用額外的檔案 Glob 檢查
• [SPARK-43312] [SC-130294][PROTOBUF]將 [任何欄位] 轉換成 JSON 的選項
• [SPARK-43404] [SC-130586][SS]略過針對相同版本的 RocksDB 狀態存放區重複使用 sst 檔案，以避免標識碼不符錯誤
• [SPARK-43397] [SC-130614][CORE]方法中的 executorLost 記錄執行程式解除委任持續時間
• [SPARK-42388] [SC-128568][SQL]避免在向量化讀取器中讀取 parquet 頁尾兩次
• [SPARK-43306] [13.x][SC-130320][PYTHON]將 ValueError 從 Spark SQL 類型遷移至錯誤類別
• [SPARK-43337] [SC-130353][UI][3.4] 用於排序 column 的 Asc/desc 箭頭圖示不會 get 顯示在 tablecolumn
• [SPARK-43279] [SC-130351][CORE]清除未使用的成員 SparkHadoopUtil
• [SPARK-43250][SC-130147][SQL]以內部錯誤取代錯誤類別_LEGACY_ERROR_TEMP_2014
• [SPARK-43363] [SC-130299][SQL][PYTHON]只有在未提供箭頭類型時，才呼叫 astype 類別類型
• [SPARK-43261] [SC-130154][PYTHON]從 Spark SQL 類型遷移 TypeError 至錯誤類別
• [SPARK-41971] [SC-130230][SQL][PYTHON]新增 pandas 轉換的組態，以如何處理結構類型
• [SPARK-43381] [SC-130464][CONNECT]讓 'transformStatCov' 延遲
• [SPARK-43362] [SC-130481][SQL]MySQL 連接器 JSON 類型的特殊處理
• [SPARK-42843] [SC-130196][SQL] Update 將錯誤類別_LEGACY_ERROR_TEMP_2007 變更為 REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][CONNECT]當地關係的串流
• [SPARK-43181] [SC-130476][SQL]在殼層中 spark-sql 顯示UI WebURL
• [SPARK-43051] [SC-130194][CONNECT] 新增選項以發出預設 values
• [SPARK-43204] [SC-129296][SQL] 將 MERGE 指派與 table 屬性對齊
• [SPARK-43348][SC-130082][PYTHON]PyPy3 中的支援Python 3.8
• [SPARK-42845] [SC-130078][SQL] Update 將錯誤類別_LEGACY_ERROR_TEMP_2010 變更為 InternalError
• [SPARK-43211] [SC-128978][HIVE] Remove IsolatedClientLoader 中的 Hadoop2 支援

系統環境

• 作業系統：Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python：3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

已安裝的 Python 程式庫

已安裝 R 程式庫

R 程式庫會從 2023-02-10 上的 Microsoft CRAN 快照集安裝。

已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）