Databricks Runtime 7.5 (EoS)

Databricks 於 2020 年 12 月發行此版本。

下列版本資訊提供由 Apache Spark 3.0 提供之 Databricks Runtime 7.5 的相關信息。

新功能

Delta Lake 功能和改善

此版本提供下列 Delta Lake 功能和改善：

• 異步檢查點排除串流微批次持續時間尖峰
• 最新的資料表資訊現在已經傳遞至資料目錄
• MERGE INTO 作業現在支援巢狀數據行的架構演進
• MERGE INTO 作業現在會自動使用優化寫入
• MERGE INTO 和 UPDATE 作業現在會依名稱 解析巢狀結構數據行
• CLONE 為 GA，您現在可以自訂資料表屬性
• RESTORE 為 GA
• Scala 隱含簡化 Spark 讀取和寫入 API
• 使用 fetchParallelism 連接器選項改善串流輸送量
• 使用新的自動載入器計量追蹤串流進度

異步檢查點排除串流微批次持續時間尖峰

Delta Lake 預設會每隔 10 次認可執行檢查點。 在串流工作負載中，檢查點可能會每 10 次認可導致微批次持續時間的輕微尖峰。 異步檢查點可消除這些尖峰。

默認會針對所有非觸發程式一次串流工作負載啟用異步檢查點。 使用異步檢查點時，串流寫入器也會撰寫 增強的檢查點 ，因此您不需要明確選擇加入增強的檢查點。

若要停用異步檢查點，請將 SQL 組態設定為 spark.databricks.delta.checkpoint.async.enabled false。

批次工作負載會繼續同步寫入檢查點，我們建議針對批次工作負載啟用異步檢查點。

最新的數據表信息現在會傳播至目錄

Delta Lake 現在會盡最大努力將架構和數據表屬性等最新數據表資訊傳播至 Hive 中繼存放區等目錄。 這類資訊可協助您利用編錄工具來瞭解 Delta 數據表的架構。

Delta Lake 不會在內部依賴這項資訊，但會嘗試保持最新狀態。 此外，Delta Lake 會儲存數據表屬性 delta.lastUpdateVersion 和 delta.lastCommitTimestamp，以表示上次將變更推送至中繼存放區的認可版本和時間戳。 只有在數據表的架構或數據表中的屬性不相符時，才會更新中繼存放區。 因此，上述數據表屬性不一定反映最新版的數據表。

如果您的資料表資訊和中繼存放區資訊不同步，您可以執行命令，例如 DESCRIBE <table> 來更新中繼存放區。

MERGE INTO 作業現在支援巢狀數據行的架構演進

巢狀數據行的架構演進現在具有與最上層數據行相同的語意。 例如，新的巢狀數據行可以自動新增至 StructType 數據行。 如需詳細資訊，請參閱合併 中的自動架構演進 。

MERGE INTO 作業現在會自動使用優化寫入

優化寫入 可為現用的 MERGE INTO 提供更好的效能，特別是針對分割數據表上的 MERGE INTO。 若要停用優化寫入，請將 Spark 組態 spark.databricks.delta.optimizeWrite.enabled 設定為 false。

MERGE INTO 和 UPDATE 作業現在可以按名稱解析巢狀結構體欄位

更新作業 UPDATE 和 MERGE INTO 命令現在會依名稱解析巢狀結構欄位。 也就是說，比較或指派 StructType 類型的數據行時，巢狀數據行的順序並不重要（與最上層數據行的順序完全相同）。 若要還原為依位置解析，請將 Spark 組態 spark.databricks.delta.resolveMergeUpdateStructsByName.enabled 設定為 false。

CLONE 是 GA，您現在可以覆蓋資料表屬性

命令 CLONE 現已正式推出。 請參閱 CREATE TABLE CLONE。 此外，您現在可以在使用 CLONE時指定資料表屬性設定的覆蓋。 如需範例，請參閱 在 Azure Databricks 上複製資料表。

RESTORE 為 GA

命令 RESTORE 現已正式推出。 請參閱 RESTORE。

Scala 隱含簡化 Spark 讀取和寫入 API

您可以匯 io.delta.implicits._ 入 以搭配 Spark 讀取和寫入 API 使用 delta 方法。

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

使用 fetchParallelism 連接器選項改善串流輸送量

AQS 連接器現在支援新的選項fetchParallelism，以指定要從佇列服務擷取訊息的平行處理原則。

使用新的自動載入器計量追蹤串流進度

自動載入器現在會報告待辦專案中有多少個檔案，以及每個批次之後積存專案的大小。 您可以使用這些計量來追蹤串流進度。 如需如何檢視計量的詳細資訊，請參閱 什麼是自動載入器？。

改善

使用 %pip 和 %conda magic命令更廣泛的筆記本範圍連結庫支援

您現在可以在已啟用資料表 ACL 或認證傳遞的高並行叢集上，使用 %pip 和 %conda 魔術命令來安裝筆記範圍的程式庫。

精確的Spark SQL DECIMAL 顯示

Spark SQL DECIMAL 數據類型現在能夠在資料表中顯示，其精度和刻度均無損。

ADLS Gen 2 記憶體連接器，以適用於 ABFS 的 Hadoop 3.3 為基礎

ADLS Gen 2 記憶體連接器的升級版本是以 ABFS 的 Hadoop 3.3 為基礎。 升級的連接器包含許多穩定性改善（請參閱Hadoop穩定性），並包含SAS令牌驗證的支援。

其他修正

已移除適用於 Spark 串流的 Databricks Kafka 連接器。 使用 Apache Spark 連接器。

連結庫升級

• 升級的 Python 連結庫：
  • koalas 從 1.3.0 升級至 1.4.0。
• 已升級數個已安裝的 R 連結庫。 請參閱已安裝的 R 連結 庫。
• OpenJDK 8 組建升級至 Zulu 8.50.0.51-CA-linux64 （組建 1.8.0_275-b01）。

Apache Spark

Databricks Runtime 7.5 包含 Apache Spark 3.0.1。 此版本包含 Databricks Runtime 7.4 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

• [SPARK-33611] [UI]避免在重寫 Proxy URL 的查詢參數上編碼兩次
• [SPARK-33587] [CORE]在巢狀嚴重錯誤上終止執行程式 （7.x）
• [SPARK-33140] [SQL] 還原不使用傳入的 SparkSession 取得 SQLConf 的程式碼。
• [SPARK-33472] [SQL]調整 RemoveRedundantSorts 規則順序
• [SPARK-33422] [DOC]修正左側功能表項的正確顯示
• [SPARK-27421] [SQL] 修正剪除數據分割數據行時 int 數據行和值類別 java.lang.String 的篩選條件
• [SPARK-33483] [INFRA][測試]修正老鼠排除模式並新增 LICENSE
• [SPARK-33464] [INFRA] 新增/移除 （un）必要的快取並重組 GitHub Actions yaml
• [SPARK-33407] [PYTHON][7.X]從 Python UDF 簡化例外狀況訊息（預設為停用）
• [SPARK-33435] [SQL] DSv2：REFRESHREFRESH TABLE 應該使參考數據表的快取失效
• [SPARK-33358] [SQL]命令行程失敗時傳回程序代碼
• [SPARK-33183] [DBCONNECT]將 RemoveRedundantSorts.scala 新增至 ALLOW_LIST.txt
• [SPARK-33290] [SQL] REFRESHREFRESH TABLE 應該使快取失效，即使資料表本身可能沒有被快取。
• [SPARK-33140] [SQL]修正差異編譯
• [SPARK-33316] [SQL] 使用架構登錄新增from_avro和to_avro單元測試，並提供可為 Null 的 Avro 架構
• [SPARK-33404] [SQL]修正表達式中 date_trunc 不正確的結果
• [SPARK-33339] [PYTHON]Pyspark 應用程式因非例外狀況錯誤而停止回應
• [SPARK-33412] [SQL] OverwriteByExpression 應該根據數據表關聯而非輸入查詢來解析其刪除條件
• [SPARK-33391] [SQL] element_at CreateArray 不遵循一個型索引。
• [SPARK-33316] [SQL] 支援使用者在 Avro 撰寫中為不可為 Null 的催化劑架構提供可為 Null 的 Avro 架構
• [SPARK-33372] [SQL]修正 InSet 貯體剪除
• [SPARK-33371] [PYTHON] 更新 Python 3.9 的 setup.py 和測試
• [SPARK-33140] [SQL] 移除 Rule[QueryPlan] 所有子類別的 SQLConf 和 SparkSession
• [SPARK-33338] [SQL] GROUP BY 使用常值映射不應該失敗
• [SPARK-33306] [SQL]將日期轉換為字串時需要時區
• [SPARK-33284] [WEB-UI] 在 [記憶體 UI] 頁面中，點擊任何欄位來排序表格會導致標題內容遺失
• [SPARK-33362] [SQL] skipSchemaResolution 仍需要解析查詢
• [SPARK-32257] [SQL] 明確報告在使用 SET/RESET 命令時出現的錯誤
• [SPARK-32406] [SQL] 讓 RESET 語法支援單一組態重設
• [SPARK-32376] [SQL] 讓 unionByName 填充空值的行為能與結構型欄位共同運作
• [SPARK-32308] [SQL]將 unionByName 的依名稱解析邏輯從 API 程式代碼移至分析階段
• [SPARK-20044] [UI]使用路徑前置詞還原 Proxy URL 支援前端反向 Proxy 後方的 Spark UI
• [SPARK-33268] [SQL][PYTHON]修正從 PythonUserDefinedType 轉換數據的 Bug
• [SPARK-33292] [SQL]使 Literal ArrayBasedMapData 字串表示不明確
• [SPARK-33183] [SQL] 修正優化器規則 RemoveSorts 並新增實體規則以移除多餘的排序
• [SPARK-33272] [SQL] 修剪 QueryPlan.transformUpWithNewOutput 中的屬性對應
• [SPARK-32090] [SQL]改善 UserDefinedType.equal（） 使其對稱
• 當其中一個值包含 null 時，[SPARK-33267] [SQL] 修正 'In' 篩選上的 NPE 問題
• [SPARK-33208] [SQL] 更新 SparkSession#sql 的檔
• [SPARK-33260] [SQL]修正 SortOrder 為 Stream 時 SortExec 不正確的結果
• [SPARK-33230] [SQL] Hadoop 提交器，幫助在 “spark.sql.sources.writeJobUUID” 中獲取唯一的工作識別碼
• [SPARK-33197] [SQL]對 spark.sql.analyzer.maxIterations 進行變更，會在運行時間生效
• [SPARK-33228] [SQL] 取代具有相同邏輯計劃的檢視時，請勿取消擷取數據
• [SPARK-32557] [CORE]記錄和吞沒記錄伺服器中每個專案的例外狀況
• [SPARK-32436] [CORE]在 HighlyCompressedMapStatus.readExternal 中初始化 numNonEmptyBlocks
• [SPARK-33131] [SQL] 修正具有 HAVING 子句的群組集無法解析限定的欄位名稱
• [SPARK-32761] [SQL]允許匯總多個可折疊的相異表達式
• [SPARK-33094] [SQL]將 ORC 格式從 DS 選項傳播到基礎 HDFS 檔案系統

維護更新

請參閱 Databricks Runtime 7.5 維護更新。

系統環境

• 操作系統：Ubuntu 18.04.5 LTS
• Java：Zulu 8.50.0.51-CA-linux64 （組建 1.8.0_275-b01）
• Scala：2.12.10
• Python：3.7.5
• R：R 3.6.3 版 （2020-02-29）
• Delta Lake 0.7.0

已安裝的 Python 程式庫

已安裝的 R 程式庫

R 連結庫會從 2020-11-02 上的 Microsoft CRAN 快照集安裝。

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)