共用方式為

Databricks Runtime 9.0 (EoS)

  • 發行項

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。

下列版本資訊提供由 Apache Spark 3.1.2 提供之 Databricks Runtime 9.0 和 Databricks Runtime 9.0 Photon 的相關信息。 Databricks 於 2021 年 8 月發行此版本。 Photon 處於 公開預覽狀態。

修正

舊版的版本資訊錯誤地指出Apache Parquet相依性已從1.10升級至1.12。 事實上，Parquet 相依性會維持在 1.10 版。 已移除不正確的版本附註。

新功能和改進

資料集摘要統計數據的新 API （公開預覽）

Databricks Utilities 中的新 dbutils.data.summarize 命令可讓您啟動 Spark 作業，以自動計算 Spark DataFrame 數據行上的摘要統計數據，然後以互動方式顯示結果。 此函式可在 Scala 和 Python 中使用。 請參閱 資料公用程式 （dbutils.data） 。

Azure Synapse 連接器的較容易外部數據源組態

Azure Synapse Analytics 連接器中查詢數據的新externalDataSource選項可讓您使用預先布建的外部數據源從 Azure Synapse 資料庫讀取。 選項 externalDataSource 會移除先前所需許可權的需求 CONTROL 。

設定 externalDataSource時，外部數據源和 tempDir 用來設定暫存記憶體的選項必須參考記憶體帳戶中的相同容器。

可以選擇將會話時間限制為特定的持續時間，以供 Amazon Redshift 連接器使用。

使用 Azure Databricks 連接器 查詢 Amazon Redshift 中的新 選項可讓您選擇性地設定會話的持續時間，而 Redshift 會存取具有假設角色的暫存 S3 貯體。

自動載入器

優化檔案清單

自動載入器優化可在雲端記憶體中列出巢狀目錄時提供效能改善和節省成本，包括 AWS S3、Azure Data Lake Storage Gen2（ADLS Gen2）和 Google 雲端記憶體 （GCS）。

例如，如果您上傳的檔案是 /some/path/YYYY/MM/DD/HH/fileName，為了尋找這些目錄中的所有檔案，過去自動載入器通常會平行列出所有子目錄，這導致每個年度目錄的底層存儲產生 365（天）* 24（小時）= 8760 次 LIST API 目錄呼叫。 透過從這些記憶體系統接收扁平化回應，自動載入器可減少記憶體系統中檔案數目的 API 呼叫數目，除以每個 API 呼叫傳回的結果數目（針對 S3 為 1000、ADLS Gen2 為 5000，以及 GCS 為 1024），大幅降低您的雲端成本。

優化影像數據記憶體

自動載入器現在可以自動偵測正在擷取的影像數據，並將其儲存在 Delta 數據表中優化，以改善讀取和寫入效能。 請參閱 將影像或二進位數據內嵌至 Delta Lake for ML。

二進位檔的影像縮圖 （公開預覽）

使用自動載入器載入或儲存為 Delta 表格的 binaryFile 格式影像會附加批註，這樣當您在 Azure Databricks 筆記本中顯示資料表時，影像縮圖就會出現。 如需詳細資訊，請參閱 影像。

DirectoryRename 事件可啟用多個檔案的不可部分完成處理

在 Azure Data Lake Storage Gen2 的 Databricks Runtime 9.0 及更新版本中創建的 Auto Loader 串流會設置檔案事件通知，以包括目錄重新命名和監聽 RenameDirectory 事件。 您可以使用目錄重新命名，讓多個檔案以不可部分完成的方式顯示至自動載入器。

SQL

排除 SELECT *（公開預覽）中的欄位

SELECT * 現在支援 EXCEPT 關鍵詞，可讓您從展開中排除指定的最上層數據行。 例如，從具有架構 (a, b, c) 的數據表 SELECT * EXCEPT (b) FROM tbl 展開為 (a, c)。

SQL 純量函式 （公開預覽）

CREATE FUNCTION 現在支援 SQL 純量函式。 您可以建立採用一組自變數並傳回單一純量型別值的純量函式。 SQL 函式主體可以是任何表達式。 例如：

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

如需詳細資訊，請參閱 CREATE FUNCTION （SQL 和 Python）。

參考 FROM 子查詢中的前面別名和欄位 （公開預覽）

查詢 FROM 子句中的子查詢現在可以在前面加上 LATERAL 關鍵詞，以便引用前面 FROM 專案中的別名和欄位。 例如：

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

關鍵字 LATERAL 支援 INNER、 CROSS與 LEFT (OUTER) JOIN。

請參閱 參數 和 參數。

R 支援

筆記本範圍的 R 連結庫 （公開預覽）

筆記本範圍的連結庫可讓您安裝連結庫，並建立範圍設定為筆記本會話的環境。 這些連結庫不會影響在相同叢集上執行的其他筆記本。 驅動程式和背景工作節點上都有連結庫可供使用，因此您可以在使用者定義函式中參考它們。 請參閱 筆記本範圍的 R 連結庫。

R 筆記本中的警告訊息

warn 選項在 R 筆記本中現在的預設值設為 1。 因此，所有警告現在都會公開為命令結果的一部分。 若要深入瞭解選項 warn ，請參閱 選項設定。

為結構化串流具狀態處理指定初始狀態，以避免重做

您現在可以使用 [flat]MapGroupsWithState 運算符，為結構化串流具狀態處理指定使用者定義的初始狀態。

請參閱 指定 mapGroupsWithState 的初始狀態。

Delta MERGE INTO命令的低洗牌實作版本現在可供使用（公眾預覽）

Delta MERGE INTO 命令有新的可用實作，可減少未修改數據列的隨機顯示。 這可改善命令的效能，並協助在數據表上保留現有的叢集，例如 Z 排序。 若要啟用低隨機合併，請將 spark.databricks.delta.merge.enableLowShuffle 設定為 true。 請參閱 Azure Databricks 上的低隨機合併。

錯誤修正

  • 您無法再建立具有相同名稱的檢視來覆寫檢視。

連結庫升級

  • 升級的 Python 連結庫：
    • 從 2021.5.30 到 2020.12.5 的認證
    • chardet 從 3.0.4 到 4.0.0
    • Cython 從 0.29.21 到 0.29.23
    • 裝飾專案從 4.4.2 到 5.0.6
    • 從 7.19.0 到 7.22.0 的 ipython
    • joblib 從 0.17.0 到 1.0.1
    • jupyter-client 從 6.1.7 到 6.1.12
    • 從 4.6.3 到 4.7.1 的 jupyter-core
    • kiwisolver 從 1.3.0 到 1.3.1
    • matplotlib 從 3.2.2 到 3.4.2
    • pandas from 1.1.5 to 1.2.4
    • pip 從 20.2.4 到 21.0.1
    • prompt-toolkit 從 3.0.8 到 3.0.17
    • protobuf 從 3.17.3 到 3.17.2
    • ptyprocess 從 0.6.0 到 0.7.0
    • pyarrow 從 1.0.1 到 4.0.0
    • 從 2.7.2 到 2.8.1 的 Pygments
    • pyzmq 從 19.0.2 到 20.0.0
    • 要求從 2.24.0 到 2.25.1
    • s3transfer 從 0.3.6 到 0.3.7
    • scikit-learn 從 0.23.2 到 0.24.1
    • scipy 從 1.5.2 到 1.6.2
    • seaborn 從 0.10.0 到 0.11.1
    • setuptools from 50.3.1 to 52.0.0
    • 從 0.12.0 到 0.12.2 的 statsmodel
    • 龍捲風從 6.0.4 到 6.1
    • virtualenv 從 20.2.1 到 20.4.1
    • 方向盤從 0.35.1 到 0.36.2
  • 升級的 R 連結庫：
    • 從 1.3-3 到 1.3-4 的矩陣

Apache Spark

Databricks Runtime 9.0 包含 Apache Spark 3.1.2。 此版本包含 Databricks Runtime 8.4 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：

  • [SPARK-35886] [SQL][3.1] PromotePrecision 不應該覆寫 genCodePromotePrecision 不應該覆寫 genCode
  • [SPARK-35879] [CORE][SHUFFLE]修正 collectFetchRequests 所造成的效能回歸
  • [SPARK-35817] [SQL][3.1] 恢復針對寬的 Avro 資料表的查詢效能
  • [SPARK-35841] [SQL]如果 ...
  • [SPARK-35783] [SQL] 設定工作組態中的讀取數據行清單以減少 ORC 數據的讀取
  • [SPARK-35576] [SQL][3.1] 在 Set 命令的結果中修訂敏感性資訊
  • [SPARK-35449] [SQL][3.1] 只有在設定 elseValue 時，才從 CaseWhen 值擷取通用表達式
  • [SPARK-35288] [SQL]StaticInvoke 應該會尋找方法，而不需完全符合確切的自變數類別
  • [SPARK-34794] [SQL]修正巢狀 DataFrame 函式中的 Lambda 變數名稱問題
  • [SPARK-35278] [SQL] Invoke 應尋找正確參數數量的方法
  • [SPARK-35226] [SQL]支援 JDBC 數據源中的 refreshKrb5Config 選項
  • [SPARK-35244] [SQL]叫用應該擲回原始例外狀況
  • [SPARK-35213] [SQL]在與Field 作業鏈結的巢狀結構中保留正確的順序
  • [SPARK-35087] [UI] 階段詳細頁面中按執行程式匯總的指標的某些欄顯示不正確。
  • [SPARK-35168] [SQL] mapred.reduce.tasks 應該是 shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [UI]當我們在不同的階段詳細數據頁面之間切換時，新開啟頁面的項目專案可能空白
  • [SPARK-35142][PYTHON][ML] 修正 中不正確的傳回類型rawPredictionUDFOneVsRestModel
  • [SPARK-35096] [SQL]SchemaPruning 應該遵守 spark.sql.caseSensitive 設定
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias 不應該建立 UnresolvedAlias
  • [SPARK-35080] [SQL]只有在彙總子查詢時，才允許相互關聯的相等述詞子集
  • [SPARK-35117] [UI]將進度列變更回反白顯示進行中任務的比例
  • [SPARK-35136] 移除 LiveStage.info 的初始 null 值
  • [SPARK-34834] [NETWORK]修正 TransportResponseHandler 中潛在的 Netty 記憶體流失
  • [SPARK-35045] [SQL]新增內部選項以控制單一調用中的輸入緩衝區
  • [SPARK-35014] 修正 PhysicalAggregation 模式，以不重寫可折疊運算式
  • [SPARK-35019] [PYTHON][SQL]修正pyspark.sql中的類型提示不符。*
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment（） 應遵守分割區值為 null
  • [SPARK-34630] [PYTHON]新增 pyspark 的 typehint。版本
  • [SPARK-34963] [SQL] 修正巢狀字段修剪，以從結構陣列提取不區分大小寫的 struct 欄位
  • [SPARK-34988] [CORE][3.1] 升級 Jetty for CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] 在 CBO 中使用相對成本比較函式
  • zh-TW: [SPARK-34970] [SQL][SECURITY][3.1] 在 explain() 的輸出中隱藏地圖類型選項
  • [SPARK-34923] [SQL]針對更多計劃，元數據輸出應該是空的
  • [SPARK-34949] [CORE]當執行程式關閉時，防止 BlockManager 重新註冊
  • [SPARK-34939] [CORE]無法還原串行化廣播的地圖狀態時擲回擷取失敗例外狀況
  • [SPARK-34909] [SQL]修正將負數轉換為 unsigned in conv（）
  • [SPARK-34845] [CORE]ProcfsMetricsGetter 不應該傳回部分 procfs 計量
  • [SPARK-34814] [SQL]LikeSimplification 應該處理 NULL
  • [SPARK-34876] [SQL]填入不可為 Null 匯總的 defaultResult
  • [SPARK-34829] [SQL]修正較高順序的函式結果
  • [SPARK-34840] [SHUFFLE]修正合併洗牌中的損毀案例...
  • [SPARK-34833] [SQL]正確套用右填補以進行相互關聯的子查詢
  • [SPARK-34630] [PYTHON][SQL] 已針對 pyspark.sql.Column.contains 新增 typehint
  • [SPARK-34763] [SQL] col()，$“name” 和 df(“name”) 應該正確地處理引號括起的列名稱
  • [SPARK-33482][SPARK-34756] [SQL] 修正 FileScan 相等檢查
  • [SPARK-34790] [CORE]啟用io加密時，停用批次中擷取隨機區塊
  • [SPARK-34803] [PYSPARK]如果 pandas 或 pyarrow 無法匯入，請傳遞引發的 ImportError
  • [SPARK-34225] [CORE]當 URI 窗體字串傳遞至 addFile 或 addJar 時，請勿進一步編碼
  • [SPARK-34811] [CORE]修訂fs.s3a.access.key，例如秘密和令牌
  • [SPARK-34796] [SQL][3.1] 在 doProduce 中初始化 LIMIT 程式代碼 gen 的計數器變數
  • [SPARK-34128] [SQL]隱藏與 THRIFT-4805 相關的不想要 TTransportException 警告
  • [SPARK-34776] [SQL] 巢狀列剪除不應剪去由視窗函數產生的屬性
  • [SPARK-34087] [3.1][SQL]修正 ExecutionListenerBus 的記憶體流失
  • [SPARK-34772] [SQL]RebaseDateTime loadRebaseRecords 應該使用 Spark 類別載入器，而不是內容
  • [SPARK-34719] [SQL][3.1] 正確解析具有重複數據行名稱的檢視查詢
  • [SPARK-34766] [SQL][3.1] 不要擷取檢視的 maven 設定
  • [SPARK-34731] [CORE]在 EventLoggingListener 中修訂屬性時，請避免 ConcurrentModificationException
  • [SPARK-34737] [SQL][3.1] 將輸入浮點數轉換成 double TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] 簡化 ResolveCreateNamedStruct
  • [SPARK-34768] [SQL]遵守 Univocity 中的預設輸入緩衝區大小
  • [SPARK-34770] [SQL]如果資料庫不存在，InMemoryCatalog.tableExists 不應該失敗
  • [SPARK-34504] [SQL] 避免不必要的解析 DDL 命令的 SQL 暫存檢視
  • [SPARK-34727] [SQL]修正將浮點數轉換成時間戳的差異
  • [SPARK-34723] [SQL]完整階段下子表達式消除的正確參數類型
  • [SPARK-34724] [SQL]修正使用 getMethod 而非 getDeclaredMethod 解譯評估
  • [SPARK-34713] [SQL]使用 ExtractValue 依 CreateStruct 修正群組
  • [SPARK-34697] [SQL] 允許 DESCRIBE FUNCTION 和 SHOW FUNCTIONS 說明 ||（字串串連運算）
  • [SPARK-34682] [SQL]使用 PrivateMethodTester 而非反映
  • [SPARK-34682] [SQL]修正 CustomShuffleReaderExec 中標準化錯誤檢查中的回歸
  • [SPARK-34681] [SQL] 修正當建置左側具有不相等條件時，完整外部隨機哈希聯接的錯誤
  • [SPARK-34545] [SQL]修正pyolite 的 valueCompare 功能問題
  • [SPARK-34607] [SQL][3.1] 新增 Utils.isMemberClass 以修正 jdk8u 上格式不正確的類別名稱錯誤
  • [SPARK-34596] [SQL]使用 Utils.getSimpleName 避免在 NewInstance.doGenCode 中達到格式不正確的類別名稱
  • [SPARK-34613] [SQL]修正檢視不會擷取停用提示設定
  • [SPARK-32924] [WEBUI] 使主控制介面的持續時間欄位依正確順序排序
  • [SPARK-34482] [SS]更正 StreamExecution.logicalPlan 的作用中 SparkSession
  • [SPARK-34567] [SQL] CreateTableAsSelect 也應該更新計量
  • [SPARK-34599] [SQL] 修正 INSERT INTO OVERWRITE 不支援包含 DSv2 點的數據分割數據行的問題
  • [SPARK-34577] [SQL] 修正對數據集刪除/新增數據列的操作 DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] 插入 v2 表時，靜態分割區也應該遵循 StoreAssignmentPolicy
  • [SPARK-34555] [SQL]解析 DataFrame 的元數據輸出
  • [SPARK-34534] 修正使用 FetchShuffleBlocks 擷取區塊時出現的 blockIds 順序問題
  • [SPARK-34547] [SQL] 僅使用元數據行進行解析作為最後手段
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap 因欄位名稱包含句點而失敗
  • [SPARK-34561] [SQL] 修正從 v2 DESCRIBE TABLE 數據集卸除/新增數據行
  • [SPARK-34556] [SQL] 檢查重複的靜態分割欄應遵守區分大小寫的設定
  • [SPARK-34392] [SQL]支援 DateTimeUtils 中的 ZoneOffset +h：mm。 getZoneId
  • [SPARK-34550] [SQL]將推送篩選期間略過 InSet Null 值至 Hive 中繼存放區
  • [SPARK-34543] [SQL] 在解析 v1 SET LOCATION 中的數據分割規格時尊重 spark.sql.caseSensitive 設定
  • [SPARK-34436] [SQL]DPP 支援 LIKE ANY/ALL 運算式
  • [SPARK-34531] [CORE] 移除 PrometheusServlet 中的實驗 API 標籤
  • [SPARK-34497] [SQL] 修正內建 JDBC 連線提供者以還原 JVM 安全性內容變更
  • [SPARK-34515] [SQL]修正 NPE，如果 InSet 在 getPartitionsByFilter 期間包含 Null 值
  • 如果檢視參考已卸除的數據表，[SPARK-34490] [SQL] 分析應該會失敗
  • [SPARK-34473] [SQL] 在 DataFrameReader.schema（StructType）中避免 NPE
  • [SPARK-34384] [CORE]新增 ResourceProfile API 的遺漏檔
  • [SPARK-34373] [SQL]HiveThriftServer2 startWithContext 可能會因為種族問題而停止回應
  • [SPARK-20977] [CORE]針對 CollectionAccumulator 的狀態使用非最終欄位
  • [SPARK-34421] [SQL] 使用 CTE 解決檢視中的暫存函式和檢視
  • [SPARK-34431] [CORE]僅載入 hive-site.xml 一次
  • [SPARK-34405] [CORE]修正 PrometheusServlet 類別中的 timersLabels 平均值
  • [SPARK-33438] [SQL]具有已定義 SQL Confs for 命令的熱切 init 物件 set -v
  • [SPARK-34158] pom.xml中唯一開發人員Matei的URL不正確
  • [SPARK-34346] [CORE][SQL][3.1] 由 spark.buffer.size 設定的 io.file.buffer.size 會藉由載入 hive-site.xml 意外覆寫，可能會導致 perf 回歸
  • [SPARK-34359] [SQL][3.1] 新增舊版設定以還原 SHOW DATABASES 的輸出架構
  • [SPARK-34331] [SQL]加速 DS v2 元數據 col 解析
  • [SPARK-34318] [SQL][3.1] Dataset.colRegex 應該使用包含換行符的數據行名稱和限定符
  • [SPARK-34326] [CORE][SQL]根據暫存路徑長度，修正SPARK-31793中新增的UT
  • [SPARK-34319] [SQL]解決 FlatMapCoGroupsInPandas/MapInPandas 的重複屬性
  • [SPARK-34310] [CORE][SQL]以 flatMap 取代 map 和 flatten
  • [SPARK-34083] [SQL][3.1] 針對 char/varchar colums 使用 TPCDS 原始定義
  • [SPARK-34233] [SQL][3.1] 修正二進位比較中字元填補的 NPE
  • [SPARK-34270] [SS]合併 StateStoreMetrics 不應該覆寫 StateStoreCustomMetric
  • 嘗試將 LocalDate 和 Instant 值寫入 JDBC 關聯時，拋出例外 [SPARK-34144] [SQL]
  • [SPARK-34273] [CORE]停止SparkContext時，請勿重新註冊 BlockManager
  • [SPARK-34262] [SQL][3.1] 在 ALTER TABLE .. SET LOCATION 中重新整理 v1 數據表的快取數據
  • [SPARK-34275] [CORE][SQL][MLLIB]以計數取代篩選和大小
  • [SPARK-34260] [SQL]修正在建立暫存檢視兩次時未解決的Exception
  • [SPARK-33867] [SQL] 產生 SQL 查詢時，不會處理立即和 LocalDate 值
  • [SPARK-34193] [CORE]TorrentBroadcast 區塊經理解除委任比賽修正
  • [SPARK-34221] [WEBUI]確定UI頁面中的階段是否失敗，可以正確顯示對應的錯誤訊息
  • [SPARK-34236] [SQL] 修正 v2 覆寫，當靜態分割區為 null 時，引發無法將表達式轉譯為來源篩選：null
  • [SPARK-34212] [SQL]修正從 Parquet 檔案讀取不正確的十進位數
  • [SPARK-34244] [SQL] 移除 scala 函式版本的 regexp_extract_all
  • [SPARK-34235] [SS]將 spark.sql.hive 設為私人套件
  • [SPARK-34232] [CORE]記錄中的 Redact SparkListenerEnvironmentUpdate 事件
  • [SPARK-34229] [SQL] Avro 應該使用檔案架構讀取十進位值
  • [SPARK-34223] [SQL] 在 InsertIntoHadoopFsRelationCommand 中修正靜態分區為空值時的NPE問題
  • [SPARK-34192] [SQL] 將字元填補移至寫入操作，並移除讀取操作的長度檢查。
  • [SPARK-34203] [SQL] 將 null 分割區值轉換成 v1 In-Memory 目錄中的 __HIVE_DEFAULT_PARTITION__
  • [SPARK-33726] [SQL]修正匯總期間的重複功能變數名稱
  • [SPARK-34133] [AVRO]執行 Catalyst 對 Avro 字段比對時的區分大小寫
  • [SPARK-34187] [SS] 檢查位移驗證時，使用輪詢期間取得的可用位移範圍
  • [SPARK-34052] [SQL][3.1] 儲存使用“CACHE TABLE”建立之暫時檢視的 SQL 文字。 AS SELECT...
  • [SPARK-34213] [SQL] 在 LOAD DATA 中重新整理 v1 數據表的快取數據
  • [SPARK-34191] [PYTHON][SQL]新增 udf 多載的輸入
  • [SPARK-34200] [SQL] 模棱兩可的數據行參考應考慮屬性可用性
  • [SPARK-33813] [SQL][3.1] 修正 JDBC 來源無法處理 MS SQL Server 空間類型的問題
  • [SPARK-34178] [SQL]複製 MultiInstanceRelation.newInstance 所建立新節點的標記
  • [SPARK-34005] [CORE][3.1] 更新工作端每個執行程式的尖峰記憶體計量
  • [SPARK-34115] [CORE]檢查SPARK_TESTING為延遲 val 以避免變慢
  • [SPARK-34153] [SQL][3.1][3.0] 從 HiveExternalCatalog.alterPartitions() 移除未使用的 getRawTable()
  • [SPARK-34130] [SQL]Impove preformace for char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL][3.1] 更新 ALTER TABLE .. RECOVER PARTITIONS 中的快取
  • [SPARK-34151] [SQL] java.io.File.toURL 以取代 java.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] 將 QueryCompilationErrors.scala 移至 org/apache/spark/sql/errors
  • [SPARK-34080] [ML][PYTHON]新增 UnivariateFeatureSelector
  • [SPARK-33790] [CORE][3.1] 減少 SingleFileEventLogFileReader 中 getFileStatus 的 rpc 呼叫
  • [SPARK-34118] [CORE][SQL][3.1] 取代篩選，並檢查是否空虛存在或全部
  • [SPARK-34114] [SQL] 不應該將右側修剪為讀取端字元長度檢查和填補
  • [SPARK-34086] [SQL][3.1] RaiseError 會產生太多程序代碼，而且可能會在 char varchar 的長度檢查中失敗 codegen
  • [SPARK-34075] [SQL][CORE] 隱藏目錄正在列出以供分區推斷使用
  • [SPARK-34076] [SQL]如果快取非空白，SQLContext.dropTempTable 就會失敗
  • [SPARK-34084] [SQL][3.1] 修正 ALTER TABLE .. ADD PARTITION 中的數據表統計數據自動更新
  • [SPARK-34090] [SS]在 KafkaTokenUtil.needTokenUpdate 中使用的 Cache HadoopDelegationTokenManager.isServiceEnabled 結果
  • [SPARK-34069] [CORE]終止屏障工作應遵守SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL]隨機批次擷取應該能夠在啟用后停用
  • [SPARK-34059] [SQL][CORE][3.1] 使用 for/foreach，而不是對應，以確保立即執行
  • [SPARK-34002] [SQL]修正 ScalaUDF 中的編碼器使用方式
  • [SPARK-34060] [SQL][3.1] 修正 Hive 數據表快取，由 ALTER TABLE .. DROP PARTITION 更新統計數據
  • [SPARK-31952] [SQL]修正執行匯總時不正確的記憶體溢出計量
  • [SPARK-33591] [SQL][3.1] 辨識分割規格值中的 null
  • [SPARK-34055] [SQL][3.1] 於 ALTER TABLE .. ADD PARTITION 重新整理快取
  • [SPARK-34039] [SQL][3.1] ReplaceTable 應該使快取失效
  • [SPARK-34003] [SQL]修正 PaddingAndLengthCheckForCharVarchar 和 ResolveAggregateFunctions 之間的規則衝突
  • [SPARK-33938] [SQL][3.1] 透過 LikeSimplification 將 Like Any/all 優化
  • [SPARK-34021] [R] 修正 CRAN 提交的 SparkR 檔中的超連結
  • [SPARK-34011] [SQL][3.1][3.0] 在 ALTER TABLE .. RENAME TO PARTITION 中重新整理快取
  • [SPARK-33948] [SQL]修正 Scala 2.13 中 MapObjects.doGenCode 方法的 CodeGen 錯誤
  • [SPARK-33635] [SS]調整 KafkaTokenUtil.needTokenUpdate 中的檢查順序，以補救 perf 回歸
  • [SPARK-33029] [CORE][WEBUI]修正 UI 執行程式頁面，錯誤地將驅動程式標示為排除
  • [SPARK-34015] [R] 修正差距中的輸入時間
  • [SPARK-34012][SQL]使用移轉指南保持行為一致spark.sql.legacy.parser.havingWithoutGroupByAsWhere
  • [SPARK-33844] [SQL][3.1] InsertIntoHiveDir 命令也應該檢查 col 名稱
  • [SPARK-33935] [SQL]修正 CBO 成本函式
  • [SPARK-33100] [SQL]忽略 spark-sql 中括弧批注內的分號
  • [SPARK-34000] [CORE]修正 stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] 覆寫 transformUpWithNewOutput 以新增 allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL]變更 mllib 中私用案例類別的可見度，以避免使用 Scala 2.13 的運行時間編譯錯誤
  • [SPARK-33950] [SQL][3.1][3.0] v1 中的重新整理快取 ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] 在 spark.readStream.schema 中使 char/varchar 失效
  • [SPARK-33945] [SQL][3.1] 處理由 expr 樹組成的隨機種子
  • [SPARK-33398] 修正 Spark 3.0 之前的載入樹狀結構模型
  • [SPARK-33963] [SQL] Canonicalize HiveTableRelation 不含數據表統計數據
  • [SPARK-33906] [WEBUI]修正 UI 執行程式頁面因未定義 peakMemoryMetrics 而停滯的錯誤
  • [SPARK-33944] [SQL]SharedState 選項中倉儲金鑰的記錄不正確
  • [SPARK-33936] [SQL][3.1] 新增連接器介面時的版本
  • [SPARK-33916] [CORE] 修正後援記憶體位移，並改善壓縮編解碼器測試涵蓋範圍
  • [SPARK-33899] [SQL][3.1] 修正 SHOW TABLES 上 v1 VIEWS/spark_catalog 的斷言失敗
  • [SPARK-33901] [SQL]修正 DDL 之後的 Char 和 Varchar 顯示錯誤
  • [SPARK-33897] [SQL] 無法在聯結方法中設定選項「cross」
  • [SPARK-33907] [SQL][3.1] 只有在剖析選項為空時，才剪除 JsonToStructs 的欄位
  • [SPARK-33621][SPARK-33784] [SQL][3.1] 新增插入數據源重寫規則的方式
  • [SPARK-33900] [WEBUI]當只有 remotebytesread 可用時，正確顯示隨機讀取大小/記錄
  • [SPARK-33892] [SQL] 在 DESC 和 SHOW CREATE TABLE 中顯示 char/varchar
  • [SPARK-33895] [SQL]ThriftServer 的 MetaOperation 中 Char 和 Varchar 失敗
  • [SPARK-33659] [SS]記錄 DataStreamWriter.toTable API 的目前行為
  • [SPARK-33893] [CORE]從執行程式清單排除後援區塊管理員
  • [SPARK-33277] [PYSPARK][SQL]使用 ContextAwareIterator 在工作結束之後停止取用
  • [SPARK-33889] [SQL][3.1] 修正 V2 數據表上 SHOW PARTITIONS NPE
  • [SPARK-33879] [SQL] Char Varchar 值因為分區欄位發生比對錯誤而失敗
  • [SPARK-33877] [SQL] INSERT 資料行清單的 SQL 參考檔
  • [SPARK-33876] [SQL] 新增從具外部位置的數據表讀取 char/varchar 長度的檢查
  • [SPARK-33846] [SQL] 在 StructType.toDDL 中包含巢狀架構的註解
  • [SPARK-33860] [SQL]讓 CatalystTypeConverters.convertToCatalyst 符合特殊數位值
  • [SPARK-33834] [SQL] 使用 Char 和 Varchar 驗證 ALTER TABLE 變更 COLUMN
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN 和 BenchmarkQueryTest 不會顯示子查詢程式代碼
  • [SPARK-33836] [SS][PYTHON] 公開 DataStreamReader.table 和 DataStreamWriter.toTable
  • [SPARK-33829] [SQL][3.1] 重新命名 v2 資料表應該重新建立快取
  • [SPARK-33756] [SQL]Make BytesToBytesMap 的 MapIterator idempotent
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED 未顯示已啟用 AQE 的子查詢計劃
  • [SPARK-33841] [CORE][3.1] 修正工作在高負載下間歇性消失的問題
  • [SPARK-33593] [SQL] 向量讀取器獲得了錯誤的二進位分割值的數據。
  • [SPARK-26341] [WEBUI]在階段層級的 [階段] 索引卷標中公開執行程式記憶體計量
  • [SPARK-33831] [UI] 更新為 jetty 9.4.34
  • [SPARK-33822] [SQL] CastSupport.cast 在 HashJoin 中使用 方法
  • [SPARK-33774] [UI][CORE]回到主伺服器」會在獨立叢集中傳回 500 錯誤
  • [SPARK-26199][SPARK-31517] [R] 修正處理... 變動中的名稱
  • [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader 應該是 package private
  • [SPARK-33697] [SQL] RemoveRedundantProjects 預設需要數據行排序
  • [SPARK-33752] [SQL][3.1] 避免 AnalysisException 的 getSimpleMessage 重複新增分號
  • [SPARK-33788] [SQL][3.1][3.0][2.4] 從 HiveExternalCatalog.dropPartitions 擲回 NoSuchPartitionsException（）
  • [SPARK-33803] [SQL] 在 DESCRIBE TABLE 命令中依索引鍵排序數據表屬性
  • [SPARK-33786] [SQL] 變更數據表名稱時，應考慮快取的存儲級別
  • [SPARK-33273] [SQL]修正子查詢執行中的競爭條件
  • [SPARK-33653] [SQL][3.1] DSv2：REFRESHREFRESH TABLE 應該重新快取數據表本身
  • [SPARK-33777] [SQL] V2 的排序輸出 SHOW PARTITIONS
  • [SPARK-33733] [SQL]PullOutNondeterministic 應該檢查並收集確定性字段
  • [SPARK-33764] [SS]將狀態存放區維護間隔設為 SQL 設定
  • [SPARK-33729] [SQL]重新整理快取時，Spark 不應該在重新快取數據時使用快取計劃
  • [SPARK-33742] [SQL][3.1] 從 HiveExternalCatalog.createPartitions 擲回 PartitionsAlreadyExistException（）
  • [SPARK-33706] [SQL] 在 partitionExists 中需要完整指定的分割區標識碼（）
  • [SPARK-33740] [SQL] hive-site.xml中的 hadoop 組態可以覆寫既有的 hadoop 設定
  • [SPARK-33692] [SQL] 檢視應該使用擷取的目錄和命名空間來查閱函式
  • [SPARK-33669] 當 sc.stop 在 yarn 用戶端模式中停止時，YARN 應用程式狀態監視器的錯誤訊息
  • [SPARK-32110] [SQL] 在 HyperLogLog++ 中正規化特殊浮點數
  • [SPARK-33677] [SQL]如果模式包含任何 escapeChar，請略過 LikeSimplification 規則
  • [SPARK-33693] [SQL] 取代 spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL]使公用 API 中產生不正確結果的新 char/varchar 類型失效
  • [SPARK-32680] [SQL]請勿使用未解決的查詢預先處理 V2 CTAS
  • [SPARK-33676] [SQL] 需要 V2 中的分割規範與架構完全比對 ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] 確認在 v1 中的分割區提供者是 Hive SHOW TABLE EXTENDED
  • [SPARK-33663] [SQL] 不應該對不存在的暫存視圖呼叫解除快取
  • [SPARK-33667] [SQL] 在解析 v1 SHOW PARTITIONS 時遵循 spark.sql.caseSensitive 的設定
  • [SPARK-33652] [SQL] DSv2：DeleteFrom 應該重新整理快取内容

維護更新

請參閱 Databricks Runtime 9.0 維護更新。

系統環境

  • 作業系統：Ubuntu 20.04.2 LTS
  • Java：Zulu 8.54.0.21-CA-linux64
  • Scala：2.12.10
  • Python：3.8.10
  • R： 4.1.0 （2021-05-18）
  • Delta Lake 1.0.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 retrying 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

已安裝的 R 程式庫

R 連結庫會從 2021-07-28 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 叢集 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 憑證 1.3.0
crosstalk 1.1.0.1 curl 4.3 資料表 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
遞減 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
省略符號 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 泛型 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
Lava 1.6.8.1 lazyeval 0.2.2 生命週期 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 矩陣 1.3-4
memoise 1.1.0 方法 4.1.0 mgcv 1.8-36
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
進度 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.咖啡因 caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents HttpClient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet Parquet資料列 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper ZooKeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 墊片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用的 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52