Databricks Runtime 4.3 (EoS)

Databricks 於 2018 年 8 月發行此版本。

下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 4.3 的相關信息。

新功能

• Delta Lake
  • TRUNCATE TABLE 命令：從 table刪除所有列。 不同於Spark tables的對應專案，Delta tables 不支援刪除特定分割區。
  • ALTER TABLE REPLACE COLUMNS 命令：取代 Delta table中的 columns。 它支援變更 column 的批注，並重新排序多個 columns。
  • FSCK REPAIR TABLE 命令：在基礎文件系統中找不到的 Delta table 交易日誌中的 Remove 檔案專案。 當手動刪除這些檔案時，就會發生這種情況。
  • 支援對於過時的 Delta tables 進行查詢，以改善互動式查詢體驗：當不需要最新結果時，Delta tables 的查詢現在可以在過時版本的 table 上執行。 這項功能可減少查詢的延遲時間，特別是當基礎資料 Delta tables 透過串流持續更新時。
• 結構化串流
  • Azure Synapse Analytics Connector 的可調整串流寫入支援。
  • foreachBatch()在 Python 中支援 （已在 Scala 中提供）。 如需詳細資訊，請參閱 foreach 和 foreachBatch 檔 。
  • 在查詢中有多個輸入流時，支援選擇 watermark 的最小值或最大值。 先前一律會使用最小時間戳。 如需詳細資訊，請參閱 多重 watermark 政策。
  • 支援和 LIMIT 輸出模式中Append數據流的Complete運算元。 若要將驅動程式上的 OOM 錯誤降到最低，當您在LIMIT未系結的數據流上使用時，display()會自動套用。

改善

• Delta Lake

  • 新可調比例的 MERGE INTO 命令實作，排除了 10000 個資料列 insertlimit，現開放私用預覽。 如果您想要試用，請連絡支持人員。
  • 更好的命令效能和延展性 OPTIMIZE ，特別是在較大的叢集上。
  • OPTIMIZE 命令現在會逐步認可至 table，這表示如果命令失敗，則重試時不需要處理整個數據 set。
  • 減少使用 Delta Lake 作為串流來源時探索新數據所需的文件系統 RPC 數目。
  • 已新增 Python 中 df.writeStream.table(table-name) 的支援，以從數據流建立 Delta table。

• 改善具有多個聯結、匯總或視窗之查詢的效能。

• 已改善搭配廣播哈希聯結之查詢中 partition層級剪除的效率。

• 改善整個階段程式代碼產生，以偵測重複的運算式、減少產生的程式代碼數量，以及改善特定表達式類型的效能。

• 高併行叢集現在支援在筆記本中執行 %fs 。

• 將 PySpark 使用的 Py4J 升級為 0.10.7。

• 已改善 Azure Ls 系列實例上磁碟快取的效能。 這些實例上現在預設會啟用快取，以加速重複讀取 Parquet 檔案的工作負載。

已淘汰的功能

• Databricks Delta 外部略過的數據已被取代。 在 Delta Lake 中，會繼續提供增強版的數據略過。 建議您切換至使用 Delta Lake，以繼續利用這項功能。 如需詳細資訊，請參閱 Databricks Delta 數據跳過。

錯誤修正

• 當 ON 條件僅參考目標 table時，修正 Delta 中的述詞下推 MERGE INTO 語句錯誤。

• 已修正 中的 mapGroupsWithState 錯誤，並 flatMapGroupsWithState 防止在移除狀態時設定逾時 （SPARK-22187）。

• 已修正防止浮水印正常運作 Trigger.Once 的錯誤 （SPARK-24699）。

• Update 命令現在會驗證 SET 子句中的 columns，以確保所有 columns 都確實存在，而且沒有 column 被 set 超過一次。

• 已修正可能導致目錄認可死結的潛在競爭狀況。

• 已修正在重新整理掛接時，導致 DBFS 用戶端已被取代版本的 Bug。

已知問題

• table 的 Delta Lake 組態選項只會在載入 table的第一個筆記本中生效。

Apache Spark

Databricks Runtime 4.3 包含 Apache Spark 2.3.1。 此版本包含 Databricks Runtime 4.2 （EoS） 中包含的所有修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

• [SPARK-24934][SQL] 明確允許記憶體內部 partition 剪除的上限/下限支援類型
  • 當針對快取資料的查詢篩選中使用複雜資料類型時，Spark 一律會傳回空的結果 set。 記憶體中以統計數據為基礎的剪除會產生不正確的結果，因為對於複雜類型，上限/下限的空值表示為 set。 修正方式是不要針對複雜類型使用記憶體內部統計資料型剪除。
• [SPARK-24957][SQL]具有十進位的平均值，後面接著匯總會傳回錯誤的結果
  • 可能會傳回 AVERAGE 的不正確結果。 如果 Divide 的結果與轉型為相同的類型，則會略過 Average 運算子中加入的 CAST。
• [SPARK-24867][SQL]將 AnalysisBarrier 新增至 DataFrameWriter
  • 使用 DataFrameWriter 寫入具有 UDF 的資料框架時，不會使用 SQL 快取。 這是我們在 AnalysisBarrier 中所做變更所造成的迴歸，因為並非所有分析器規則都是等冪的。
• [SPARK-24790][SQL] 允許 Pivot 中的複雜匯總運算式
  • 放寬檢查以允許複雜的匯總表達式，例如 ceil（sum（col1）或 sum（col1） + 1，這大致表示除了 pandas UDF 之外，任何可能出現在匯總方案中的匯總表達式。
• [SPARK-24870][SQL]如果 SQL 中有大小寫字母，快取將無法正常運作
  • 修正計劃規範問題。
• [SPARK-24852]讓 spark.ml 定型使用更新 的檢測 API。
• [SPARK-24891][SQL]修正 HandleNullInputsForUDF 規則
  • 讓 HandleNullInputsForUDF 規則等冪，以避免在分析計劃多次時，在快取管理員中避免計劃不符。
• [SPARK-24878][SQL] 修正包含 Null 之基本類型之陣列類型的反向函式。
• [SPARK-24871][SQL]重構 Concat 和 MapConcat 以避免為每個數據列建立串連物件。
• [SPARK-24802][SQL]新增優化規則排除的新設定
  • 提供設定給使用者以排除某些優化器規則。
• [SPARK-24879][SQL] 修正 Hive 中的 NPE partition 剪除篩選下推
  • 當 partition 謂詞類似 col IN（1, null）時，會拋出 NPE。 此修補程式會修正此問題。
• [SPARK-23731][SQL]使 FileSourceScanExec 在串行化後可正式設定
• [SPARK-24755][CORE]執行程式遺失可能會導致工作無法重新提交
  • 修正 Spark 可能無法透過執行程式遺失而重新提交工作失敗的錯誤。 此 Bug 是在 Spark 2.3 中引進的。
• [SPARK-24677][CORE]避免 NoSuchElementException from MedianHeap
  • 修正收集工作工期計量時與推測性工作相關的 Bug。
• [SPARK-24868][PYTHON] 在 Python 中新增時序函式
• [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL]修正類型強制型別和 Nullabilities。
• [SPARK-24699][SS] 使水印能與 Trigger.Once 搭配運作，通過儲存更新的 watermark 來提交記錄
• [SPARK-24537][R] 新增array_remove/array_zip/map_from_arrays/array_distinct
• [SPARK-22187][SS] Update 在 flatMapGroupsWithState 中使用 unsaferow 格式儲存狀態，以允許狀態刪除後能逾時（4.x）
• [SPARK-24681][SQL] 確認 Hive 中繼存放區中的巢嵌 column 名稱
  • 確保在 Hive 中的中繼資料存放區巢狀 column 名稱不包含 '、'、':' 和 ';'。
• [SPARK-23486]將函数名稱從外部 catalog 快取以供 lookupFunctions 使用
  • 加快函式查閱的速度。
• [SPARK-24781][SQL]在篩選/排序中使用數據集的參考可能無法運作
• [SPARK-24208][SQL]修正 FlatMapGroupsInPandas 的屬性重複數據刪除
  • 修正包含 FlatMapGroupsInPandas 的數據集中的自我join 失敗問題，因為屬性重複的關係。
• [SPARK-24530][PYTHON]新增控件以透過環境變數 SPHINXPYTHON 強制 Sphinx 中的 Python 版本
• [SPARK-24250]支援存取工作內的 SQLConf
  • 當觸發 SQL 執行時，將所有 SQL 組態儲存至作業屬性。 在執行程式端，我們會從作業屬性重建 SQLConf。
• [SPARK-23936][SQL]實作map_concat
• [SPARK-23914][SQL]新增array_union函式
• [SPARK-24732][SQL]MapTypes 之間的類型強制型別。
  • 新增 MapTypes 之間類型強制轉換的支援，where 索引鍵類型和實值類型都相容。 例如，MapType（IntegerType、FloatType） 和 MapType（LongType， DoubleType） 類型可以強制類型 MapType（LongType，DoubleType）
• [SPARK-24662][SQL][SS] 在結構化串流中支援 limit
• [SPARK-24730][SS] 新增原則，以在串流查詢有多個浮水印 （branch-4.x） 時選擇 max 作為全域 watermark
• [SPARK-24596][SQL]非串聯快取無效
  • 當取消快取或卸除暫存檢視時，不需要串聯取消套用相依於檢視的所有計劃，因為基礎數據不會變更。
• [SPARK-23927][SQL]新增 「sequence」 表達式
• [SPARK-24636][SQL]array_join 函式的數位類型強制
• [SPARK-22384][SQL] 在轉換中包裝屬性時精簡 partition 剪除
  • 改善 partition 優化，能夠向下推動 partition 並進行安全型別轉換（從 int 到 long，而不是 long 到 int）。
• [SPARK-24385][SQL] 解決 EqualNullSafe 的自我join 条件模棱兩可
  • 實作 EqualNullSafe 以進行自我join 條件模糊解決。
• [SPARK-24696][SQL] ColumnPruning 規則無法 remove 額外的專案
  • 修正 ColumnPruning 規則中導致優化器發生無限循環錯誤的 Bug。
• [SPARK-24603][SQL]修正批注中的 findTightestCommonType 參考
• [SPARK-24613][SQL]無法與後續相依快取比對具有UDF的快取
  • 在 CacheManager 中使用 AnalysisBarrier 包裝邏輯計畫，以便編譯執行計畫，避免計畫再次被分析。 這也是 Spark 2.3 的迴歸。
• [SPARK-24017][SQL]將 ExternalCatalog 重構為介面
• [SPARK-24324][PYTHON] pandas 分組映射 UDF 應依名稱指派結果 columns
  • 如果使用者以字串標籤標記，則會依照 schema 的名稱指派結果 columns；否則，將根據位置指派。
• [SPARK-23778][CORE]當等位取得空白 RDD 時，避免不必要的隨機顯示
  • 忽略等位方法中的傳入空白 RDD，以避免所有其他 RDD 具有相同資料分割時不必要的額外隨機顯示。
• [SPARK-24552][CORE][SQL]使用唯一標識碼，而不是嘗試寫入的數位。
  • 傳遞唯一的工作嘗試標識碼，而不是嘗試號碼給 v2 數據源，因為重試階段時會重複使用嘗試號碼。 這會影響數據源 V1 和 V2 API，但檔格式 API 不會受到影響，因為 DBR 使用不同的認可通訊協定。
• [SPARK-24588][SS] 串流 join 應該需要子系的 HashClusteredPartitioning。
• [SPARK-24589][CORE]正確識別輸出認可協調器中的工作。
  • 將詳細資訊新增至協調器所追蹤的階段狀態，以便只允許一個工作認可輸出。 此修正程式也會移除 SPARK-18113 引進的無用程式代碼變更。
• [SPARK-23933][SQL]新增map_from_arrays函式
• [SPARK-24583][SQL] InsertIntoDataSourceCommand 中的類型錯誤 schema
  • 使用 NOT NULL 條件約束建立 Delta table 時，我們可以卸除 Null 功能，並在不檢查違規的情況下 insert NULL values。
• [SPARK-24542][SQL]UDF 系列 UDFXPathXXXX 可讓用戶傳遞精心製作的 XML 以存取任意檔案
  • 這是從社群回報的安全性修補程式。 UDF 系列 UDFXPathXXXX 可讓用戶傳遞精心製作的 XML 來存取任意檔案。 當使用者使用外部存取裝置庫時，使用者可能會略過它們並存取檔案內容。
• [SPARK-23934][SQL]新增map_from_entries函式
• [SPARK-23912][SQL]新增array_distinct
• [SPARK-24574][SQL] array_contains、array_position、array_remove和element_at函式處理 Column 類型

維護更新

請參閱 Databricks Runtime 4.3 維護更新。

系統環境

• 操作系統：Ubuntu 16.04.4 LTS
• Java：1.8.0_162
• Scala：2.11.8
• Python：適用於 Python 2 叢集的 2.7.12 和 Python 3 叢集的 3.5.2。
• R：R 3.4.4 版 （2018-03-15）
• GPU 叢集：已安裝下列 NVIDIA GPU 連結庫：
  • 特斯拉司機 375.66
  • CUDA 9.0
  • cuDNN 7.0

已安裝的 Python 程式庫

已安裝的 R 連結庫

已安裝的 Java 和 Scala 連結庫 （Scala 2.11 叢集版本）