共用方式為

Databricks Runtime 5.3 (EoS)

  • 發行項

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 版本資訊版本和相容性 (機器翻譯)。

Databricks 於 2019 年 4 月發行此版本。

下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 5.3 的相關信息。

新功能

Databricks Delta

時間移動 GA

三角洲時間旅行已經畢業到正式上市。 此功能新增了使用時間戳字串或版本的 SQL 語法來查詢 table 快照集的功能，以及用於時間戳表達式的 DataFrameReader 選項。

SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

時間移動有許多使用案例，包括：

  • 重新建立分析、報告或輸出（例如機器學習模型的輸出），這對偵錯或稽核特別適用於受管制產業。
  • 撰寫複雜的時態性查詢。
  • 修正資料中的錯誤。
  • 為 set 查詢提供快照隔離，以便快速變更 tables。

差異時間移動

請參閱 使用 Delta Lake table 歷程記錄。

MySQL table 複寫至 Delta 公開預覽

將數據從 MySQL table 直接串流至 Delta，以在 Spark 分析或數據科學工作流程中進行下游取用。 利用 MySQL 用於復寫至其他實例的相同策略， binlog 用來識別更新，然後處理並串流至 Databricks，如下所示：

  • 從資料庫記錄檔讀取變更事件。
  • 將事件串流至 Databricks。
  • 以相同的順序寫入 Delta table。
  • 在與來源中斷連線時維持狀態。

個人預覽版功能

此版本包含 Delta Lake 的下列私人預覽功能：

  • 已新增實驗命令，允許 Presto 直接查詢 Delta tables。
  • 自動化 Optimize 會在每次個別寫入至 Delta table 時優化檔案配置，並防止小型檔案在您的 Delta tables 中累積，以保持閃電般快速的查詢效能。 此外，對分區的 Delta tables 進行寫入和更新插入可能因為在寫入過程中引入了自適性混洗而獲得較大的加速。

如果您想要參與任一預覽，請連絡 Databricks 帳戶小組。

深度學習工作負載的最佳化 DBFS FUSE 資料夾

Azure Databricks 現在提供優化的 FUSE 掛接。 您可以在定型和推斷期間存取高效能的數據，而不需要套用 init 腳本。 儲存在 本機 dbfs:/ml 且可在本機 file:/dbfs/ml 存取的數據現在由此優化的 FUSE 掛接所支援。 請參閱載入資料以進行機器學習與深度學習。

改善

  • 筆記本範圍的程式庫：

    • 。
    • 支援 Azure 檔案系統中連結庫的筆記本範圍連結庫安裝，包括 wasbs、 adls和 abfss。
    • 已改善不支援目標上筆記本範圍連結庫的錯誤訊息。 例如：「機器學習 的 Databricks Runtime 上無法使用連結庫公用程式。

  • 連接到 Azure Data Lake Storage Gen2 (ADLS Gen2)，而不需要將全帳戶的「儲存體 Blob 數據參與者」RBAC 角色 having 給服務主體 grant。

  • Databricks Advisor 有其他提示可改善查詢的效能：

    • 當每個 partition 有許多小型檔案時 -> 將 table 轉換成 Delta，並執行 OPTIMIZE。
    • 當有高度選擇性的篩選條件時 -> 轉換成 Delta 並使用 ZORDER BY。
    • 當從 Hive 擷取元數據成為瓶頸時 -> 將您的 table 轉換成 Delta。

  • 已將Ubuntu從16.04.5 LTS升級至16.04.6 LTS。

  • 已將 Scala 2.11 從 2.11.8 升級至 2.11.12。

  • 已升級一些已安裝的 Python 連結庫：

    • pip：18.1 至 19.0.3。
    • setuptools：40.6.3 至 40.8.0
    • 滾輪：0.32.3 至 0.33.1

  • 將 R 從 3.4.4 升級至 3.5.2。

  • 已升級數個已安裝的 R 連結庫。 請參閱已安裝的 R 連結 庫。

棄用

  • 不再支援適用於結構化串流的 Apache Kafka 0.8 連接器。 它包含在 Databricks Runtime 5.3 中，但將會從未來的 Databricks Runtime 版本中移除。
  • Databricks ML 模型導出已被取代，並將在 Databricks Runtime 6.0 中移除。 改使用 MLeap 匯入與匯出模型。
  • 已移除 spark.databricks.pyspark.enableExecutorFsPerms 為組態選項。

錯誤修正

  • 已修正針對已啟用 table ACL 的叢集的全叢集範圍的 Python Egg 程式庫安裝。
  • 修正在執行命令之前呼叫取消的情況，以改善 Python 命令取消。
  • 已修正 table ACL 中的 Bug：現在當您 list 資料庫或 catalog中的物件時，您只會看到您有權查看的物件。

Apache Spark

Databricks Runtime 5.3 包含 Apache Spark 2.4.0。 此版本包含 Databricks Runtime 5.2 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-27134][SQL] array_distinct函式無法正確運作包含數位數位數組的 columns
  • [SPARK-24669][SQL] 在 CASCADE DROP DATABASE 的情況下使 tables 失效
  • [SPARK-26572][SQL] 修正匯總程式代碼產生結果評估
  • [SPARK-27046][DSTREAMS] Remove SPARK-19185 相關文件參考
  • [SPARK-26449][PYTHON]將轉換方法新增至 DataFrame API
  • [SPARK-26740][SQL] column Spark 3.0 所撰寫統計數據的讀取時間戳/日期
  • [SPARK-26909][SQL] 在 HashAggregate 中使用 unsafeRow.hashCode（） 作為哈希值
  • [SPARK-26990][SQL]FileIndex：盡可能使用使用者指定的功能變數名稱
  • [SPARK-26851][SQL]修正 CachedRDDBuilder 中的雙重檢查鎖定
  • [SPARK-26864][SQL] 查詢在使用 Python UDF 做為左半半 join 條件時，可能會傳回不正確的結果
  • [SPARK-26887][SQL][PYTHON]直接建立 datetime.date ，而不是建立 datetime64 做為中繼數據。
  • [SPARK-26859][SQL]修正非向量化 ORC 還原串行化程式中的欄位寫入器索引錯誤
  • [SPARK-26864][SQL] 查詢可能會在 Python UDF 作為 join 條件使用時傳回不正確的結果，而 udf 會使用左半 join 兩條腿的屬性
  • [SPARK-24360][SPARK-26091][BACKPORT][SQL]支援Hive 3.1中繼存放區
  • [SPARK-26873][SQL]使用一致的時間戳來建置Hadoop作業標識碼。
  • [SPARK-26734][串流]修正具有大型區塊佇列的 StackOverflowError
  • [SPARK-26758][CORE]在spark.dynamiAllocation.executorIdleTimeout值之後，閑置執行程式不會終止
  • [SPARK-26751][SQL]修正語句在背景執行時記憶體流失，並擲回不是HiveSQLException的例外狀況
  • [SPARK-26806][SS]EventTimeStats.merge 應該正確處理零
  • [SPARK-26745][SPARK-24959][SQL]還原 JSON 數據源中的計數優化依據
  • [SPARK-26757][GRAPHX]針對 空白 Edge/頂點 RDD 上的計數 傳回 0
  • [SPARK-26726] 將廣播變數所使用的記憶體數量同步處理至 UI 顯示
  • [SPARK-26718][SS]修正 SS kafka rateLimit 計算中的整數溢位
  • [SPARK-26708][SQL]SQL 快取快取的 RDD 與其實體計劃不一致所造成的不正確結果
  • [SPARK-26735][SQL]確認特殊表達式的計劃完整性
  • [SPARK-26619][SQL]從 SerializeFromObject 修剪未使用的串行化程式
  • [SPARK-26379][SS]使用 dummy TimeZoneId 避免 CurrentBatchTimestamp 中的 UnresolvedException
  • [SPARK-26495][SQL]簡化 SelectedField 擷取器
  • [SPARK-26379][SS]修正將current_timestamp/current_date新增至串流查詢的問題
  • [SPARK-26709][SQL]OptimizeMetadataOnlyQuery 無法正確處理空的記錄
  • [SPARK-26680][SQL]在條件適當時急切地建立 inputVars
  • [SPARK-26682][SQL]使用 taskAttemptID，而不是針對 Hadoop 使用 attemptNumber。
  • [SPARK-26706][SQL]修正 ByteType 的 illegalNumericPrecedence
  • [SPARK-26228][MLLIB]計算 Gramian 矩陣時遇到的 OOM 問題
  • [SPARK-26665][CORE]修正 BlockTransferService.fetchBlockSync 可能永遠停止響應的錯誤
  • [SPARK-26549][PYSPARK]修正 Python 背景工作角色重複使用對平行處理延遲可反覆運算範圍沒有任何作用
  • [SPARK-26351][MLLIB] Update doc 和 mllib 評估計量中的次要修正
  • [SPARK-26450]避免針對投影中的每個 column 重建 schema 地圖
  • [SPARK-26638][PYSPARK][ML] Pyspark 向量類別一律會傳回一元否定的錯誤
  • [SPARK-26633][REPL]新增 ExecutorClassLoader.getResourceAsStream
  • [SPARK-26629][SS]已修正查詢中的多個檔案數據流錯誤 + 在沒有一個檔案數據流數據的批次上重新啟動
  • [SPARK-25992][PYTHON]無法共享檔 SparkContext 以進行多重處理
  • [SPARK-26615][CORE]修正核心 unittests 中的傳輸伺服器/客戶端資源流失
  • [SPARK-26350][SS]允許覆寫 Kafka 取用者的群組標識碼
  • [SPARK-26538][SQL] Set PostgreSQL 數值陣列元素的預設精度和小數位數
  • [SPARK-26586][SS]修正導致串流以非預期方式執行的競爭條件
  • [SPARK-26551][SQL] 修正選取一個複雜字段時 schema 剪除錯誤，having 不是另一個複本欄位的 null 述詞
  • [SPARK-26576][SQL] 廣播提示未套用至已分區 table
  • [SPARK-26571][SQL] Update Hive Serde 與 Parquet 和 Orc 文件格式的標準名稱對應
  • [SPARK-26267][SS]偵測 Kafka 不正確的位移時重試 （2.4）
  • [SPARK-26559][ML][PYSPARK]ML 映射無法與 1.9 之前的 numpy 版本搭配使用
  • [SPARK-26078][SQL] 去除 IN 子查詢中自我join 屬性的重複数据

維護更新

請參閱 Databricks Runtime 5.3 維護更新。

系統環境

  • 操作系統：Ubuntu 16.04.6 LTS
  • Java：1.8.0_191
  • Scala：2.11.12
  • Python：適用於 Python 2 叢集的 2.7.12 和 Python 3 叢集的 3.5.2。
  • R：R 3.5.2 版 （2018-12-20）
  • GPU 叢集：已安裝下列 NVIDIA GPU 連結庫：
    • 特斯拉司機 375.66
    • CUDA 9.0
    • cuDNN 7.0

注意

雖然 Apache Spark 2.4 支援 Scala 2.12，但 Databricks Runtime 5.3 不支援它。

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密碼編譯 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 19.0.3 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 沖刷 0.32 seaborn 0.7.1
setuptools 40.8.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 wheel 0.33.1
wsgiref 0.1.2

已安裝的 R 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
abind 1.4-5 askpass 1.1 assertthat 0.2.0
backports 1.1.3 base 3.5.2 base64enc 0.1-3
BH 1.69.0-1 bit 1.1-14 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 callr 3.1.1 汽車 3.0-2
carData 3.0-2 caret 6.0-81 cellranger 1.1.0
chron 2.3-53 class 7.3-15 cli 1.0.1
clipr 0.5.0 clisymbols 1.2.0 叢集 2.0.7-1
codetools 0.2-16 colorspace 1.4-0 commonmark 1.7
compiler 3.5.2 config 0.3 crayon 1.3.4
curl 3.3 數據。table 1.12.0 datasets 3.5.2
DBI 1.0.0 dbplyr 1.3.0 遞減 1.2.0
devtools 2.0.1 digest 0.6.18 doMC 1.3.5
dplyr 0.8.0.1 省略符號 0.1.0 fansi 0.4.0
forcats 0.4.0 foreach 1.4.4 foreign 0.8-71
forge 0.2.0 fs 1.2.6 gbm 2.1.5
泛型 0.0.2 ggplot2 3.1.0 gh 1.0.1
git2r 0.24.0 glmnet 2.0-16 glue 1.3.0
gower 0.1.2 graphics 3.5.2 grDevices 3.5.2
方格 3.5.2 gridExtra 2.3 gsubfn 0.7
gtable 0.2.0 h2o 3.22.1.1 haven 2.1.0
hms 0.4.2 htmltools 0.3.6 htmlwidgets 1.3
httr 1.4.0 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 iterators 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 labeling 0.3
lattice 0.20-38 Lava 1.6.5 lazyeval 0.2.1
littler 0.3.6 lme4 1.1-20 lubridate 1.7.4
magrittr 1.5 mapproj 1.2.6 maps 3.3.0
maptools 0.9-5 MASS 7.3-51.1 矩陣 1.2-15
MatrixModels 0.4-1 memoise 1.1.0 方法 3.5.2
mgcv 1.8-27 mime 0.6 minqa 1.2.4
ModelMetrics 1.2.2 munsell 0.5.0 mvtnorm 1.0-9
nlme 3.1-137 nloptr 1.2.1 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.2.2 openxlsx 4.1.0
parallel 3.5.2 pbkrtest 0.4-7 pillar 1.3.1
pkgbuild 1.0.2 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 plogr 0.2.0 plyr 1.8.4
praise 1.0.0 prettyunits 1.0.2 pROC 1.13.0
processx 3.2.1 prodlim 2018.04.18 進度 1.2.0
proto 1.0.0 ps 1.3.0 purrr 0.3.0
quantreg 5.38 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
randomForest 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.0 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr 1.3.1
readxl 1.3.0 recipes 0.1.4 rematch 1.0.1
remotes 2.0.2 reshape2 1.4.3 力拓 0.5.16
rlang 0.3.1 RODBC 1.3-15 roxygen2 6.1.1
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.1 rstudioapi 0.9.0 scales 1.0.0
sessioninfo 1.1.1 sp 1.3-1 sparklyr 1.0.0
SparkR 2.4.2 SparseM 1.77 spatial 7.3-11
splines 3.5.2 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.30 stats 3.5.2 stats4 3.5.2
stringi 1.3.1 stringr 1.4.0 survival 2.43-3
sys 3.0 tcltk 3.5.2 TeachingDemos 2.10
testthat 2.0.1 tibble 2.0.1 tidyr 0.8.3
tidyselect 0.2.5 timeDate 3043.102 tools 3.5.2
usethis 1.4.0 utf8 1.1.4 utils 3.5.2
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 xopen 1.0.0 yaml 2.2.0
zip 2.0.0

已安裝的 Java 和 Scala 連結庫 （Scala 2.11 叢集版本）

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.版
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.azure azure-storage 5.2.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlet 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收集器 0.7
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.5
net.snowflake snowflake-jdbc 3.6.15
net.snowflake spark-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents HttpClient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1.1-databricks3
org.apache.parquet parquet-common 1.10.1.1-databricks3
org.apache.parquet parquet-encoding 1.10.1.1-databricks3
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.1-databricks3
org.apache.parquet parquet-jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper ZooKeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged 澤西-瓜瓦 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 未使用的 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52