Databricks Runtime 9.1 LTS

下列版本資訊提供由 Apache Spark 3.1.2 提供的 Databricks Runtime 9.1 LTS Runtime 9.1 LTS Photon 相關信息。 Databricks 於 2021 年 9 月發行此版本。 Photon 處於 公開預覽狀態。

新功能和改進

• Auto Loader 模式提示現在適用於陣列和映射類型
• Avro 檔案支援合併模式
• 自動載入器累加式清單支援 （公開預覽）
• Delta 現在支援任意取代Where
• Google Cloud 的自動載入器現在支援檔案通知 （公開預覽）
• CREATE FUNCTION 現在支援建立數據表函式
• Kafka 串流來源現在報告 estimatedTotalBytesBehindLatest 計量
• 針對陣列內的結構體，Delta MERGE INTO 現在會依名稱解析結構體欄位，並演進結構體架構

自動載入器的結構提示現在可搭配陣列和映射類型使用。

自動載入器 覆寫架構推斷時，支援數位和對應類型。

陣列的架構提示詞範例包括：

1. arr Array<TYPE> 變更陣列類型。
2. arr.element TYPE 會變更陣列類型（使用 element 關鍵詞）。
3. arr.element.x TYPE 會變更結構陣列中的巢狀字段類型。

前兩個範例是將數位 arr 類型變更為 TYPE的提示，但會使用不同的語法。 第三個範例 arr 是具有 欄位 x的結構數位。 這個範例示範如何將 的 x 型別變更為 TYPE。

地圖架構提示的範例包括：

1. m Map<KEY-TYPE, VALUE-TYPE> 變更對應索引鍵和實值類型。
2. m.key TYPE 會變更地圖索引鍵的類型。
3. m.value TYPE 變更地圖值的類型。
4. m.key.x TYPE 變更地圖索引鍵中的欄位類型。
5. m.value.x TYPE 變更地圖值的欄位類型。

第一個範例會分別變更對應至 m 和 KEY_TYPE 的VALUE_TYPE索引鍵和實值類型。 只有當只有索引鍵類型或只需要變更實值類型時，就可以使用第二個和第三個範例。 在第四和第五個範例中， m 是具有字段 x之結構類型索引鍵和值的對應。 這個範例示範如何將 的 x 型別變更為 TYPE。

Avro 檔案合併架構支援

Avro 檔案格式現在支援 mergeSchema 讀取檔案時的選項。 讀取 Avro 檔案時將 mergeSchema 設定為 true，將會從一組 Avro 檔案推斷架構，而不是從單一檔案推斷架構。 這可以透過推斷一個可能讀取所有檔案的架構來提升可用性，即使它們的個別架構不同也不例外。 請參閱設定。

自動載入器累加式清單支援 （公開預覽）

在語彙產生的檔案的情況下， 什麼是自動載入器？ 現在會利用語匯檔案排序和現有的優化 API，讓目錄清單更有效率，方法是列出先前的內嵌檔案，而不是列出整個目錄。 自動載入器預設會自動偵測指定的目錄是否適合累加清單。 若要明確控制此行為，請將新的 cloudFiles.useIncrementalListing 選項設定為 on （true）、off （false），或自動 （auto）。 如果您將此設定為 true，您也可以設定 cloudFiles.backfillInterval 選項，來排程定期補充數據，以確保所有數據都完全匯入。

Delta 現在支援任意取代Where

搭配覆寫模式， replaceWhere 選項可用來同時覆寫符合 選項中所定義述詞的數據。 先前，replaceWhere 只支援分區欄位的謂詞，但現在可以是任意表達式。 請參閱 寫入資料表。

Google Cloud 的自動載入器現在支援檔案通知 （公開預覽）

自動載入器現在支援Google Cloud上的檔案通知模式。 將 .option("cloudFiles.useNotifications", "true") 設定為允許自動載入器自動為您設定 Google Cloud Pub/Sub 資源。 使用檔案通知模式時，會偵測並內嵌新檔案，而不會列出輸入目錄。 請參閱 什麼是自動載入器檔案通知模式？。

CREATE FUNCTION 現在支援建立數據表函式

除了建立傳回純量值的純量函式之外，您現在可以建立可傳回一組數據列的數據表函式。 請參閱 CREATE FUNCTION （SQL 和 Python）。

Kafka 串流來源現在報告 estimatedTotalBytesBehindLatest 計量

Kafka 串流來源現在會報告取用者在每個批次之後，有多少位元元組落後於最新的可用位元組。 您可以使用此計量來追蹤串流進度。 請參閱 擷取 Kafka 計量。

計量輸出範例：

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

針對陣列中的結構，Delta MERGE INTO 現在會依名稱解析結構欄位，並更新結構架構。

Delta MERGE INTO 現在支援結構欄位名稱的解析及結構的陣列的自動結構描述演進。 將 spark.databricks.delta.schema.autoMerge.enabled 設定為 true 來啟用自動架構演進時，UPDATE 和 INSERT 子句會依名稱解析陣列中的結構欄位，並轉換為在目標陣列中定義的對應資料類型，同時用 Null 值填補來源或目標中額外或缺失的欄位。 停用自動架構演進時，UPDATE 和 INSERT 子句會依名稱解析陣列內部的結構欄位，但無法發展其他欄位。 請參閱 更新 Delta Lake 資料表架構。

錯誤修正

• 已修正 Amazon S3 連接器中的記憶體流失，該連接器可能會在長時間執行的工作或服務中發生，這是由 JVM DeleteOnExit 功能所造成。

連結庫升級

• 升級的 Python 連結庫：
  • 從 4.14.3 到 5.1.0 的繪圖
• 升級的 R 連結庫：
  • base 從 4.1.0 到 4.1.1
  • bslib 從 0.2.5.1 到 0.3.0
  • cachem 從 1.0.5 到 1.0.6
  • 編譯程式從 4.1.0 到 4.1.1
  • 從 4.1.0 到 4.1.1 的數據集
  • 未來從 1.21.0 到 1.22.1
  • 從 1.3.1 到 1.3.2 的 gert
  • 從 4.1.0 到 4.1.1 的圖形
  • grDevices 從 4.1.0 到 4.1.1
  • 從 4.1.0 到 4.1.1 的方格
• 升級的 Java 程式庫：
  • org.eclipse.jetty 從 9.4.36.v20210114 到 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS 包含 Apache Spark 3.1.2。 此版本包含 Databricks Runtime 9.0 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

• [SPARK-36674][SQL][櫻桃挑選]支援 ILIKE - 不區分大小寫的 LIKE
• [SPARK-36353][SQL][3.1] RemoveNoopOperators 應保留輸出架構
• [SPARK-35876][SQL][3.1] ArraysZip 應保留功能變數名稱，以避免由分析器/優化器重新撰寫
• [SPARK-36398][SQL]在Spark Thrift 伺服器記錄中修訂敏感性資訊
• [SPARK-36498][SQL]在 byName V2 寫入中重新排序輸入查詢的內部欄位
• [SPARK-36614][CORE][UI]在UI中解除委任所造成的正確執行程序遺失原因
• [SPARK-36012][SQL] 在 SHOW CREATE TABLE 中新增 null 旗標
• [SPARK-36509][CORE]修正當背景工作角色停止使用獨立叢集時，永遠不會重新排程執行程序的問題
• [SPARK-36603][CORE]在 LevelDB 中使用 WeakReference 而非 SoftReference
• [SPARK-36564][CORE]修正 LiveRDDDistribution.toApi 中的 NullPointerException
• [SPARK-36086][SQL][3.1] CollapseProject 專案取代別名應該使用源數據行名稱
• [SPARK-33527][SQL]擴充譯碼功能，使其與主流資料庫一致
• [SPARK-36400][SPARK-36398][SQL][WEBUI]讓 ThriftServer 辨識 spark.sql.redaction.string.regex
• [SPARK-34054][CORE]BlockManagerDecommissioner 程式代碼清除
• [SPARK-36500][CORE]修正工作中斷時temp_shuffle檔案流失
• [SPARK-36489][SQL] 在沒有分組鍵且具有單一分桶的數據表上，聚合函數返回多行
• [SPARK-36464][CORE]修正 ChunkedByteBufferOutputStream 中的基礎大小變數初始化，以撰寫超過 2GB 的數據
• [SPARK-36339][SQL][3.0] 應該取代非匯總一部分之群組的參考
• [SPARK-36354][CORE]EventLogFileReader 應該略過沒有記錄的滾動事件記錄檔目錄
• [SPARK-36242][CORE][3.1] 在 ExternalSorter.spillMemoryIteratorToDisk 方法中設定 success = true 之前，請確定溢出檔案已關閉。
• [SPARK-36211][PYTHON]正確輸入傳 udf 回值
• [SPARK-34222][SQL]增強布爾值簡化規則
• [SPARK-35027][CORE]在寫入時關閉 FileAppender 中的 inputStream...
• [SPARK-36269][SQL] 修正僅將數據欄名稱設定為 Hive 的欄位名稱配置問題
• [SPARK-36213][SQL] 使用 PartitionSpec 將 PartitionSpec 標準化為描述數據表命令
• [SPARK-36210][SQL] 在 Dataset.withColumns 中保留數據行插入順序
• [SPARK-36079][SQL]以 Null 為基礎的篩選估計應一律位於範圍 [0， 1]
• 讀取 Hive 數據表時，[SPARK-28266][SQL] convertToLogicalRelation 不應該解譯 path 属性

維護更新

請參閱 Databricks Runtime 9.1 LTS 維護更新。

系統環境

• 操作系統：Ubuntu 20.04.4 LTS
• Java：Zulu 8.56.0.21-CA-linux64
• Scala：2.12.10
• Python：3.8.10
• R：4.1.1
• Delta Lake：1.0.0

已安裝的 Python 程式庫

已安裝的 R 程式庫

R 連結庫會從 2021-09-08 上的 Microsoft CRAN 快照集安裝。

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)