Databricks Runtime 4.1 (EoS)
注意
針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。
Databricks 於 2018 年 5 月發行此版本。
重要
此版本已於 2019 年 1 月 17 日被取代。 如需 Databricks Runtime 淘汰原則和排程的詳細資訊，請參閱 Databricks 支援生命週期。
下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 4.1 的相關信息。
Delta Lake
Databricks Runtime 4.1 版會將主要質量改進和功能新增至 Delta Lake。 Databricks 強烈建議所有 Delta Lake 客戶升級至新的運行時間。 此版本仍為私人預覽版，但代表即將推出正式發行的候選版本。
Delta Lake 現在也適用於 Azure Databricks 使用者的私人預覽版。 請聯絡您的帳戶管理員，或在 https://databricks.com/product/databricks-delta 註冊。
重大變更
Databricks Runtime 4.1 包含交易通訊協議的變更，以啟用新功能，例如驗證。 使用 Databricks Runtime 4.1 建立的數據表會自動使用新版本，而且無法由舊版 Databricks Runtime 寫入。 您必須升級現有的數據表，才能利用這些改進功能。 若要升級現有的數據表，請先升級寫入數據表的所有作業。 然後執行：
com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")如需詳細資訊，請參閱 Azure Databricks 如何管理 Delta Lake 功能相容性？
寫入現在會根據數據表的目前架構進行驗證，而不是自動新增目的地數據表中遺漏的數據行。 若要啟用先前的行為，請將 [
mergeSchema] 選項設定為true。如果您執行的是舊版的 Databricks Delta，您必須先升級所有作業，才能使用 Databricks Runtime 4.1。 如果您看到上述任一錯誤，請升級至 Databricks Runtime 4.1：
java.lang.NumberFormatException: For input string: "00000000000000....crc" scala.MatchError資料表不能再有僅大小寫不同的欄位。
針對 Delta 的表格配置現在必須以
delta.開頭。
新功能
架構管理 - Databricks Delta 現在會驗證現有數據表的附加和覆寫，以確保寫入的架構符合架構。
- Databricks Delta 會繼續支援自動架構演進。
- Databricks Delta 現在支援下列 DDL 來明確修改架構：
-
ALTER TABLE ADD COLUMN將新欄新增至資料表 - 變更欄位順序的
ALTER TABLE CHANGE COLUMNS ALTER TABLE [SET|UNSET] TBLPROPERTIES
-
如需詳細資訊，請參閱 架構強制執行。
強化 DDL 和資料表支援
- 資料表 DDL 和
saveAsTable()的完整支援。save()和saveAsTable()現在具有相同的語意。 - 所有 DDL 與 DML 命令都支援資料表名稱與
delta.`<path-to-table>`。 SHOW PARTITIONSSHOW COLUMNSDESC TABLE- 詳細的數據表資訊 - 您可以執行
DESCRIBE DETAIL來檢視資料表目前的讀取器和寫入器版本。 請參閱 Azure Databricks 如何管理 Delta Lake 功能相容性？。 - 表格詳情 - 每次寫入表格時，來源信息現在可用。 數據提要欄位也會顯示 Databricks Delta 數據表的詳細數據表資訊和歷程記錄。 請參閱 檢閱 Delta Lake 數據表詳細數據，以及描述詳細數據。
- 串流數據表 - 您可以使用
spark.readStream.format("delta").table("<table-name>")來建立串流數據框架。 - 只能附加的資料表 - Databricks Delta 現在支援基本數據治理。 您可以藉由設定資料表屬性
delta.appendOnly=true來封鎖資料表的刪除和修改。 -
MERGE INTOsource - 將更全面的支援新增至 的來源查詢規格MERGE。 例如，您可以在來源中指定LIMIT和ORDER BYINLINE TABLE。 - 數據表 ACL 的完整支援。
- 資料表 DDL 和
效能改善
- 減少統計數據收集額外負荷 - 統計數據集合的效率已改善，而且統計數據現在只會針對可設定的數據行數目收集，預設會設定為 32。 由於統計數據收集額外負荷降低，Databricks Delta 寫入效能已提升高達 2 倍。 若要設定資料列數目，請設定 資料表屬性
delta.dataSkippingNumIndexedCols=<number-of-columns>。 - 支援限制下推技術 - 統計數據可用來限制查詢時掃描的檔案數量，尤其適用於包含
LIMIT和分割區列之述詞的查詢。 這適用於筆記本中的查詢，因為所有筆記本命令的隱含limit=1000作用。 - 篩選串流來源中的下推 - 串流查詢現在會在啟動新數據流時使用數據分割來略過不相關的數據。
- 改善的
OPTIMIZE-OPTIMIZE平行處理原則現在會以單一Spark工作的形式執行，並將使用叢集上可用的所有平行處理原則（先前一次限制為100個壓縮檔）。 - DML -
UPDATE、DELETE和MERGE中的數據在尋找需要重寫的檔案時，現在會使用統計數據。 - 減少檢查點保留 - 檢查點現在會保留兩天（歷程記錄仍保留 30 次），以減少事務歷史記錄的記憶體成本。
API 行為
- Databricks Delta 中 的行為
insertInto(<table-name>)與其他數據源相同。- 如果未指定任何模式，或
mode是ErrorIfExists、Ignore或Append，會將 DataFrame 中的數據附加至 Databricks Delta 資料表。 - 如果
mode是Overwrite，則會刪除現有表中的所有數據，並將 DataFrame 中的數據插入到 Databricks Delta 表中。
- 如果未指定任何模式，或
- 如果已快取，則必須手動取消快取
MERGE的目的資料表。
使用性增強功能
- 工作負載移轉驗證 - 將工作負載移轉至 Databricks Delta 時所犯的常見錯誤現在會擲回例外狀況，而不是失敗：
- 使用
format("parquet")讀取或寫入數據表。 - 直接讀取或寫入分割區（即
/path/to/delta/part=1）。 - 清理數據表的子目錄。
- 在資料表上使用
INSERT OVERWRITE DIRECTORY和 Parquet。
- 使用
- 不區分大小寫的設定 - DataFrame Reader/Writer 的選項和資料表屬性現在不區分大小寫（包括讀取路徑和寫入路徑）。
- 表格欄位名稱-表格欄位名稱現在可以包含點。
已知問題
- 多次插入語句的插入存在於不同的作業單位內，而不是相同的交易。
錯誤修正
- 在快速更新數據表中啟動新數據流時，無限迴圈的問題已被修正。
棄用項目
結構化串流無法處理非追加式輸入，如果在作為來源的數據表上發生任何修改，則會拋出例外。 您先前可以使用 旗標覆寫此行為 ignoreFileDeletion ，但現在已被取代。 請改用 ignoreDeletes 或 ignoreChanges。 請參閱 Delta 表，作為參考。
其他變更和改善
- 查詢監看程式 會針對使用UI建立的所有用途叢集啟用。
- 改善 DBIO 快取的驅動程式端效能
- 透過新的原生 Parquet 譯碼器改善 Parquet 譯碼器的效能
- 改善常見子表達式消除的效能
- 改善大型資料表聯結小型資料表的數據略過效能（事實維度數據表聯結）
-
display()現在會將包含影像數據類型的數據行轉譯為豐富的 HTML。 -
對記錄、載入和註冊 MLflow 模型的改善
- 已將 dbml-local 升級至最新版本 0.4.1
- 已修正使用
threshold指定參數導出的模型 Bug - 已新增導出
OneVsRestModel的支援，GBTClassificationModel
- 已升級一些已安裝的 Python 連結庫：
- pip：從 9.0.1 到 10.0.0b2
- setuptools：從 38.5.1 到 39.0.1
- 龍捲風：4.5.3 至 5.0.1
- wheel：0.30.0 至 0.31.0
- 已升級數個已安裝的 R 連結庫。 請參閱已安裝的 R 連結 庫。
- 已將 Azure Data Lake Store SDK 從 2.0.11 升級至 2.2.8。
- 將 CUDA 從 8.0 升級至 9.0，並將 CUDNN 從 6.0 升級至 7.0 的 GPU 叢集。
Apache Spark
Databricks Runtime 4.1 包含 Apache Spark 2.3.0。 此版本包含 Databricks Runtime 4.0 （EoS） 中包含的所有修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-24007][SQL] FloatType 和 DoubleType 的 EqualNullSafe，可能會由 codegen 產生錯誤的結果。
- [SPARK-23942][PYTHON][SQL]將 PySpark 中收集為查詢執行程式接聽程式的動作
- [SPARK-23815][CORE] Spark 寫入器的動態分區覆寫模式可能無法在多級分區上寫入輸出
- [SPARK-23748][SS]修正 SS 連續程式不支援 SubqueryAlias 問題
- [SPARK-23963][SQL] 正確處理以文字為基礎的 Hive 數據表查詢中的大量數據行
- [SPARK-23867][SCHEDULER] 在 logWarning 中使用 dropdCount
- [SPARK-23816][CORE]已終止的工作應該忽略 FetchFailures。
- [SPARK-23809][SQL] Active SparkSession 應該由 getOrCreate 設定
- [SPARK-23966][SS]重構通用 CheckpointFileManager 介面中寫入邏輯的所有檢查點檔案
- [SPARK-21351][SQL] 根據子系輸出的結果更新可為空值狀態
- [SPARK-23847][PYTHON][SQL]將asc_nulls_first、asc_nulls_last新增至 PySpark
- [SPARK-23822][SQL] 改善 Parquet 架構不相符的錯誤訊息
- [SPARK-23823][SQL]在 transformExpression 中保留原始來源
- [SPARK-23838][WEBUI]在 [SQL] 索引標籤中，執行中的 SQL 查詢會顯示為「已完成」
- [SPARK-23802][SQL]PropagateEmptyRelation 可能會讓查詢計劃處於未解析的狀態
- [SPARK-23727][SQL]支援在 parquet 中推送 DateType 的篩選
- [SPARK-23574][SQL]當 DataSourceV2ScanExec 中只有 1 個數據讀取器處理站時，報表 SinglePartition。
- [SPARK-23533][SS]新增變更 ContinuousDataReader startOffset 的支援
- [SPARK-23491][SS] 從 ContinuousExecution 重新配置中移除明確的作業取消
- [SPARK-23040][CORE]傳回隨機讀取器的可中斷反覆運算器
- [SPARK-23827][SS]StreamingJoinExec 應該確保輸入數據分割成特定數目的數據分割
- [SPARK-23639][SQL]在SparkSQL CLI中的 init 中繼存放區用戶端之前取得令牌
- [SPARK-23806]Broadcast.unpersist 可在使用時造成嚴重例外狀況...
- [SPARK-23599][SQL]在 Uuid 運算式中使用 RandomUUIDGenerator
- [SPARK-23599][SQL]從虛擬隨機數新增 UUID 產生器
- [SPARK-23759][UI]無法將Spark UI系結至特定的主機名/IP
- [SPARK-23769][CORE] 移除不必要停用 Scalastyle 檢查的註解
- [SPARK-23614][SQL]修正使用快取時不正確的重複使用交換
- [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs 應該正確儲存/還原 CSE 狀態
- [SPARK-23729][CORE]解析 Glob 時尊重 URI 片段
- [SPARK-23550][CORE] 清除 Utils
- [SPARK-23288][SS]修正含 parquet 接收的輸出計量
- [SPARK-23264][SQL]修正 scala。literals.sql.out 中的 MatchError
- [SPARK-23649][SQL]略過UTF-8中不允許的字元
- [SPARK-23691][PYTHON] 盡可能在 PySpark 測試中使用 sql_conf util
- [SPARK-23644][CORE][UI]在 SHS 中使用 REST 呼叫的絕對路徑
- [SPARK-23706][PYTHON] spark.conf.get（value， default=None） 應該在 PySpark 中產生 None
- [SPARK-23623][SS]避免在 CachedKafkaConsumer 中同時使用快取取用者
- [SPARK-23670][SQL]修正 SparkPlanGraphWrapper 上的記憶體流失
- [SPARK-23608][CORE][WEBUI]在 attachSparkUI 和 detachSparkUI 函式之間新增 SHS 中的同步處理，以避免 Jetty 處理程式發生並行修改問題
- [SPARK-23671][CORE]修正條件以啟用 SHS 線程集區。
- [SPARK-23658][LAUNCHER]InProcessAppHandle 在 getLogger 中使用錯誤的類別
- [SPARK-23642][DOCS]AccumulatorV2 子類別 isZero scaladoc 修正
- [SPARK-22915][MLLIB]spark.ml.feature 的串流測試，從 N 到 Z
- [SPARK-23598][SQL]將 BufferedRowIterator 中的方法設為公用，以避免大型查詢的運行時間錯誤
- [SPARK-23546][SQL] 重構 CodegenContext 中的無狀態方法/值
- [SPARK-23523][SQL]修正規則 OptimizeMetadataOnlyQuery 所造成的不正確結果
- [SPARK-23462][SQL] 改善 StructType 中的遺漏字段錯誤訊息
- [SPARK-23624][SQL]修訂 Datasource V2 中方法 pushFilters 的檔
- [SPARK-23173][SQL]避免在從 JSON 載入數據時建立損毀的 parquet 檔案
- [SPARK-23436][SQL] 只有在能被轉換為日期時才將區段推斷為日期
- [SPARK-23406][SS]啟用串流自我聯結
- [SPARK-23490][SQL] 在建立資料表時檢查 storage.locationUri 是否與已有的表格匹配
- [SPARK-23524]不應該檢查大型本機隨機區塊是否有損毀。
- [SPARK-23525][SQL] 支援外部 hive 數據表的 CHANGE ALTER TABLE COMMENT COLUMN
- [SPARK-23434][SQL]Spark 不應該警告 HDFS 檔案路徑的元數據目錄
- [SPARK-23457][SQL]先在 ParquetFileFormat 中註冊工作完成接聽程式
- [SPARK-23329][SQL]修正三角函數的檔
- [SPARK-23569][PYTHON]允許pandas_udf使用 python3 樣式型別批注函式
- [SPARK-23570][SQL]在HiveExternalCatalogVersionsSuite 中新增Spark 2.3.0
- [SPARK-23517][PYTHON]將 _pyspark.util。 exception_message Py4JJavaError 從 Java 端產生追蹤
- [SPARK-23508][CORE]修正 BlockmanagerId 以防 blockManagerIdCache 造成 oom
- [SPARK-23448][SQL]釐清檔中的 JSON 和 CSV 剖析器行為
- [SPARK-23365][CORE]請勿在終止閑置執行程式時調整 num 執行程式。
- [SPARK-23438][DSTREAMS]修正驅動程序當機時的 DStreams 資料遺失
- [SPARK-23475][UI]顯示也略過階段
- [SPARK-23518][SQL]當使用者只想要讀取和寫入數據框架時，請避免中繼存放區存取
- [SPARK-23406][SS]啟用串流自我聯結
- [SPARK-23541][SS]允許 Kafka 來源以比發行項分割區數目更大的平行處理原則讀取數據
- [SPARK-23097][SQL][SS]將文字套接字來源移轉至 V2
- [SPARK-23362][SS]將 Kafka Microbatch 來源遷移至 v2
- [SPARK-23445]ColumnStat 重構
- [SPARK-23092][SQL]將 MemoryStream 遷移至 DataSourceV2 API
- [SPARK-23447][SQL]Cleanup codegen template for Literal
- [SPARK-23366]改善 ReadAheadInputStream 中的經常性讀取路徑
- [SPARK-22624][PYSPARK]公開範圍分割隨機顯示
維護更新
請參閱 Databricks Runtime 4.1 維護更新。
系統環境
- 操作系統：Ubuntu 16.04.4 LTS
- Java：1.8.0_162
- Scala：2.11.8
- Python：適用於 Python 2 叢集的 2.7.12 和 Python 3 叢集的 3.5.2。
- R：R 3.4.4 版 （2018-03-15）
-
GPU 叢集：已安裝下列 NVIDIA GPU 連結庫：
- 特斯拉司機 375.66
- CUDA 9.0
- cuDNN 7.0
已安裝的 Python 連結庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 密碼編譯 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.0b2 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | 沖刷 | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.0 |
| wsgiref | 0.1.2 |
已安裝的 R 連結庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.4 | 汽車 | 3.0-0 |
| carData | 3.0-1 | caret | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
| 叢集 | 2.0.7 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | 資料表格 | 1.10.4-3 |
| datasets | 3.4.4 | DBI | 0.8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1.0-8 | 遞減 | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-69 |
| gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| Lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | maps | 3.3.0 | maptools | 0.9-2 |
| MASS | 7.3-49 | 矩陣 | 1.2-13 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | 方法 | 3.4.4 | mgcv | 1.8-23 |
| mime | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
| 力拓 | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.0 | SparseM | 1.77 |
| spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| survival | 2.41-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
已安裝的 Java 和 Scala 連結庫 （Scala 2.11 叢集版本）
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 2.4.1 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlet | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | 收集器 | 0.7 |
| javax.activation | 啟用 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | Avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | HttpClient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.1 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
| org.apache.parquet | parquet資料欄 | 1.8.2-databricks1 |
| org.apache.parquet | parquet-common | 1.8.2-databricks1 |
| org.apache.parquet | parquet-encoding | 1.8.2-databricks1 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
| org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | ZooKeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | 澤西-瓜瓦 | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | 未使用的 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |