次の方法で共有

Databricks Runtime 10.4 LTS

  • [アーティクル]

次のリリース ノートには、Apache Spark 3.2.1 で稼働する Databricks Runtime 10.4 LTS と Databricks Runtime 10.4 LTS Photon に関する情報が記載されています。 Photon はパブリック プレビュー段階にあります。 Databricks は、2022 年 3 月にこのバージョンをリリースしました。

Note

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。

新機能と機能強化

Iceberg から Delta table コンバーター (パブリック プレビュー)

Delta への変換で、Iceberg tableを Delta tableにその場で変換する機能がサポートされるようになりました。 これを行うには、Iceberg ネイティブ メタデータとファイル マニフェストを使用します。 「Delta Lake に変換する」を参照してください。

自動圧縮ロールバックが既定で有効になりました

このリリースでは、自動圧縮トランザクションが同時に発生した場合にコミットする Delta Lake 書き込みの動作が改善されています。 このリリースより前は、このような書き込みは、tableへの同時変更が原因で終了することが多くありました。 自動圧縮トランザクションが同時に存在する場合でも、書き込みが成功するようになりました。

Low Shuffle Merge が既定で有効になりました

MERGE INTO コマンドから、新しい Low Shuffle 実装が常に使用されるようになりました。 この動作により、ほとんどのワークロードで MERGE INTO コマンドのパフォーマンスが大幅に向上します。 この機能を有効にするためにこれまで使用されていた構成設定は削除されました。 「Azure Databricks での低シャッフル マージ」を参照してください。

挿入順序タグが UPDATEと DELETE で保持されるようになりました

UPDATE および DELETE コマンドで、更新または削除されたファイルの既存のクラスタリング情報 (Z オーダーを含む) が保持されるようになりました。 この動作はベスト エフォートアプローチであり、ファイルが非常に小さいため、update または削除中にこれらのファイルが結合される場合には、この方法は適用されません。

HikariCP が既定の Hive メタストア接続プールになりました

HikariCP は、以前の BoneCP 接続プールの実装と比較して、より少ない connections を維持しながら、Hive メタストア アクセスに対して多くの安定性を向上させます。 HikariCP は、Databricks Hive メタストアを使用するすべての Databricks ランタイム クラスターで既定で有効になっています (たとえば、spark.sql.hive.metastore.jars が setされていない場合)。 spark.databricks.hive.metastore.client.pool.type を設定して、BoneCP など、他の接続プールの実装に明示的に切り替えることもできます。

Azure Synapse コネクタで、許可されている拒否行の最大数を set できるようになりました

Azure Synapse コネクタは、maxErrors DataFrame オプションをサポートするようになりました。 この update を使用すると、読み込み操作が取り消される前に読み取りと書き込み中に許可される拒否された行の最大数を構成できます。 拒否された行はすべて無視されます。 たとえば、10 レコード中 2 レコードにエラーがある場合、処理されるのは 8 レコードのみです。

このオプションは、PolyBase の REJECT_VALUE ステートメントの CREATE EXTERNAL TABLE オプションと、Azure Synapse コネクタの MAXERRORS コマンドの COPY オプションに直接対応付けられます。

デフォルトでは、maxErrors 値は set から 0までです。すべてのレコードが有効であることが期待されます。

非同期状態のチェックポイント処理が一般提供されるようになりました

大量の状態を更新するステートフル ストリーミング クエリで、非同期状態チェックポイントを有効にすることができます。 これにより、エンドツーエンドのマイクロ バッチ待機時間が短縮されます。 この機能は現在一般提供されています。 「ステートフル クエリの非同期状態チェックポイント処理」を参照してください。

SQL ユーザー定義関数に対してパラメーターの既定値を指定できるようになりました

SQL ユーザー定義関数 (SQL UDF) を作成するときに、SQL UDF の parametersの既定の式を指定できるようになりました。 その後、これらの parametersの引数を指定せずに SQL UDF を呼び出すことができます。Databricks はこれらの parametersの既定の values を入力します。 CREATE FUNCTION (SQL および Python)を参照してください。

Spark SQL の新しい関数

このリリースでは、次の Spark SQL 関数を使用できるようになりました。

  • try_multiply: multiplier によって乗算、またはオーバーフロー時に multiplicand によって乗算された NULL を返します。
  • try_subtract: expr2 から expr1 の減算、またはオーバーフロー時に NULL の減算を返します。

高コンカレンシー クラスターの新しい作業ディレクトリ

table アクセス制御または資格情報パススルーが有効になっている高コンカレンシー クラスターでは、ノートブックの現在の作業ディレクトリがユーザーのホーム ディレクトリになります。 以前は、作業ディレクトリは /databricks/driver でした。

デルタ tables での ID columns のサポートが一般公開されました

Delta Lake で ID columnsがサポートされるようになりました。 ID columnを定義する Delta table に書き込み、その columnに values を指定しない場合、Delta は一意で統計的に増加または減少する値を自動的に割り当てるようになりました。 CREATE TABLE [USING]を参照してください。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • filelock (3.4.2 から 3.6.0 へ)
  • アップグレードされた R ライブラリ:
    • brew (1.0-6 から 1.0-7 へ)
    • broom (0.7.11 から 0.7.12 へ)
    • cli (3.1.0 から 3.2.0 へ)
    • clipr (0.7.1 から 0.8.0 へ)
    • colorspace (2.0-2 から 2.0-3 へ)
    • crayon (1.4.2 から 1.5.0 へ)
    • dplyr (1.0.7 から 1.0.8 へ)
    • dtplyr (1.2.0 から 1.2.1 へ)
    • evaluate (0.14 から 0.15 へ)
    • foreach (1.5.1 から 1.5.2 へ)
    • future (1.23.0 から 1.24.0 へ)
    • generics (0.1.1 から 0.1.2 へ)
    • glue (1.6.0 から 1.6.1 へ)
    • gower (0.2.2 から 1.0.0 へ)
    • iterators (1.0.13 から 1.0.14 へ)
    • jsonlite (1.7.3 から 1.8.0 へ)
    • magrittr (2.0.1 から 2.0.2 へ)
    • mgcv (1.8-38 から 1.8-39 へ)
    • pillar (1.6.4 から 1.7.0 へ)
    • randomForest (4.6-14 から 4.7-1 へ)
    • readr (2.1.1 から 2.1.2 へ)
    • recipes (0.1.17 から 0.2.0 へ)
    • rlang (0.4.12 から 1.0.1 へ)
    • rpart (4.1-15 から 4.1.16 へ)
    • RSQLite (2.2.9 から 2.2.10 へ)
    • sparklyr (1.7.4 から 1.7.5 へ)
    • testthat (3.1.1 から 3.1.2 へ)
    • tidyr (1.1.4 から 1.2.0 へ)
    • tidyselect (1.1.1 から 1.1.2 へ)
    • tinytex (0.36 から 0.37 へ)
    • yaml (2.2.1 から 2.3.5 へ)
  • アップグレードされた Java ライブラリ:
    • io.delta.delta-sharing-spark_2.12 (0.3.0 から 0.4.0 へ)

Apache Spark

Databricks Runtime 10.4 LTS には、Apache Spark 3.2.1 が含まれています。 このリリースには、Databricks Runtime 10.3 (サポート期間終了) に含まれる Spark のすべての修正プログラムと機能強化に加え、Spark に対して行われた以下の追加のバグ修正と機能強化が含まれています。

  • [SPARK-38322] [SQL] 書式設定された explain モードでのランタイム統計の表示をサポートするクエリ ステージ
  • [SPARK-38162] [SQL] 通常の AQE オプティマイザーで 1 つの行プランをOptimizeする
  • [SPARK-38229] [SQL] パーサー時に visitReplaceTable を使用して temp/external/ifNotExists を検査すべきではない
  • [SPARK-34183] [SS] DataSource V2: マイクロバッチ実行で必要な配布と順序
  • [SPARK-37932] [SQL] DeduplicateRelations を適用する前に、不足している属性の解決を待機
  • [SPARK-37904] [SQL] オプティマイザーのルールで RebalancePartitions を改善
  • [SPARK-38236] [SQL][3.2][3.1] create/alter table の "new Path(locationUri).isAbsolute" で table の場所が絶対かどうかを確認します
  • [SPARK-38035] [SQL] 組み込みの JDBC 言語用の docker テストを追加
  • [SPARK-38042] [SQL] ScalaReflection.dataTypeFor がエイリアス化された配列型で動作するように保証
  • [SPARK-38273] [SQL] decodeUnsafeRows の反復子は基になる入力ストリームを閉じる必要がある
  • [SPARK-38311] [SQL] ANSI モードの DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite を修正
  • [SPARK-38305] [CORE] FileUtil メソッドを呼び出す前に、unpack() でソースが存在するかどうかを明示的に検査
  • [SPARK-38275] [SS] RocksDB 状態ストアの合計メモリ使用量として writeBatch のメモリ使用量を含める
  • [SPARK-38132] [SQL] RemoveNotPropagation ルール
  • [SPARK-38286] [SQL] UNION の maxRows と maxRowsPerPartition がオーバーフローする可能性がある
  • [SPARK-38306] [SQL] ANSI モードの ExplainSuite、StatisticsCollectionSuite、StringFunctionsSuite を修正
  • [SPARK-38281] [SQL][テスト] ANSI モードの Fix AnalysisSuite を修正
  • [SPARK-38307] [SQL][テスト] ANSI モードの ExpressionTypeCheckingSuite と CollectionExpressionsSuite を修正
  • [SPARK-38300] [SQL] catalyst.util で ByteStreams.toByteArray を使用して fileToString と resourceToBytes を簡略化
  • [SPARK-38304] [SQL] Elt() は、ANSI モードでインデックスが null の場合は null を返す必要がある
  • [SPARK-38271] PoissonSampler で MaxRows よりも多くの行が出力される場合がある
  • [SPARK-38297] [PYTHON] POS の DataFrame.to_numpy に戻り値を明示的にキャスト
  • [SPARK-38295] [SQL][テスト] ANSI モードの ArithmeticExpressionSuite を修正
  • [SPARK-38290] [SQL] ANSI モードの JsonSuite と ParquetIOSuite を修正
  • [SPARK-38299] [SQL] StringBuilder.newBuilder の非推奨の使用をクリーンアップ
  • [SPARK-38060] [SQL] JSON リーダーで引用符で囲まれた NaN と Infinity values を解析するときに allowNonNumericNumbers を尊重する
  • [SPARK-38276] [SQL] ANSI モードで承認済みの TPCDS プランを追加
  • [SPARK-38206] [SS] ストリーム同士のjoinでjoinキーのデータ型を比較するときに、NULL 値の許容を無視する
  • [SPARK-37290] [SQL]-非決定論的関数の場合の指数関数的な計画時間
  • [SPARK-38232] [SQL] 形式の Explain は、AQE のクエリ ステージでサブクエリを収集しません
  • [SPARK-38283] [SQL] ANSI モードでの無効な datetime 解析をテスト
  • [SPARK-38140] [SQL] タイム ゾーンの違いにより、タイムスタンプの種類の desc column 統計 (最小、最大) が values と一致しません
  • [SPARK-38227] [SQL][SS] ネストされた column の厳格な null 許容度を、時間 window およびセッション window に適用する
  • [SPARK-38221] [SQL] 複雑なグループ化式を Aggregate ノードから移動するときに groupingExpressions をしきりに反復
  • [SPARK-38216] [SQL] Hive table の作成時にすべての columns が columns パーティション分割されている場合、早期に失敗する
  • [SPARK-38214] [SS] windowDuration が slideDuration の倍数の場合、ウィンドウをフィルター処理する必要はない
  • [SPARK-38182] [SQL] プッシュされたフィルターに参照が含まれていない場合に NoSuchElementException を修正
  • [SPARK-38159] [SQL] 非表示のファイル メタデータに新しい FileSourceMetadataAttribute を追加
  • [SPARK-38123] [SQL] DataType を targetType の QueryExecutionErrors#castingCauseOverflowError として統一的に使用
  • [SPARK-38118] [SQL] HAVING 句の Func(誤ったデータ型) でデータ不一致エラーをスローする必要がある
  • [SPARK-35173] [SQL][PYTHON] 複数の columns サポートを追加する
  • [SPARK-38177] [SQL] オプティマイザーで誤った transformExpressions を修正
  • [SPARK-38228] [SQL] レガシ ストアの割り当ては、ANSI モードでエラーが発生しても失敗しないようにする必要がある
  • [SPARK-38173] [SQL] 引用符で囲まれたcolumnが正しく認識されないのは、quotedRegexColumnNa…
  • [SPARK-38130] [SQL] Remove array_sort 順序指定可能エントリのチェック
  • [SPARK-38199] [SQL] dataType の定義で指定されている未使用の IntervalColumnAccessor を削除
  • [SPARK-38203] [SQL] ANSI モードで SQLInsertTestSuite と SchemaPruningSuite を修正
  • [SPARK-38163] [SQL] 関数ビルダーの構築中に SparkThrowable のエラー クラスを保持
  • [SPARK-38157] [SQL] 期待されるゴールデン結果と一致するように、テスト timestampNTZ/timestamp.sql および SQLQueryTestSuite で ANSI を明示的に false にsetする
  • [SPARK-38069] [SQL][SS] 時間 window の計算を向上させる
  • [SPARK-38164] [SQL] 新しい SQL 関数: try_subtract と try_multiply
  • [SPARK-38176] [SQL] ANSI モード: 文字列の他のシンプルな型への暗黙的なキャストを許可
  • [SPARK-37498] [PYTHON] test_reuse_worker_of_parallelize_range の最終的な追加
  • [SPARK-38198] [SQL][3.2] explainMode が CodegenMode のとき、渡された maxFields が QueryExecution.debug#toFile で使用されるように修正
  • [SPARK-38131] [SQL] ユーザー向けの例外でのみエラー クラスを使用
  • [SPARK-37652] [SQL] 結合を介してoptimizeが傾斜したjoinのテストを追加する
  • [SPARK-37585] [SQL] TaskCompletionListener を使用して DataSourceRDD の InputMetric をUpdateする
  • [SPARK-38113] [SQL] ピボットの実行エラーでエラー クラスを使用
  • [SPARK-38178] [SS] RocksDB のメモリ使用量を測定するロジックを修正
  • [SPARK-37969] [SQL] HiveFileFormat でフィールド名の検査が必要
  • [SPARK-37652] "[SQL] UNION による傾斜joinをoptimizeするためのテストを追加" を取り消す
  • [SPARK-38124] [SQL][SS] StatefulOpClusteredDistribution を導入し、ストリーム ストリーム join に適用する
  • [SPARK-38030] [SQL] 正規化で、AttributeReference dataType の NULL 値の許容をremoveしないようにする必要がある
  • [SPARK-37907] [SQL] InvokeLike は ConstantFolding をサポート
  • [SPARK-37891] [CORE] scala.concurrent.ExecutionContext.Implicits.global を無効にするための scalastyle 検査を追加
  • [SPARK-38150] [SQL] Update RelationConversions のコメント
  • [SPARK-37943] [SQL] グループ化のコンパイル エラーでエラー クラスを使用
  • [SPARK-37652] [SQL] UNION による傾斜joinをoptimizeするためのテストを追加する
  • [SPARK-38056] [Web UI][3.2] LevelDB を使用しているときに、履歴サーバーで構造化ストリーミングが動作しない問題を修正
  • [SPARK-38144] [CORE] 未使用の spark.storage.safetyFraction 構成をRemoveする
  • [SPARK-38120] [SQL] HiveExternalCatalog.listPartitions を修正し、partitioncolumn 名が大文字であり、partition 値にドットが含まれる場合に対応します。
  • [SPARK-38122] [Docs] Update DocSearch のアプリ キー
  • [SPARK-37479] [SQL] DROP NAMESPACE を既定で V2 コマンドを使用するように移行
  • [SPARK-35703] [SQL] バケットjoinのconstraintを緩和し、HashClusteredDistribution をremoveする
  • [SPARK-37983] [SQL] 並べ替え集計から agg build time メトリックを取り消し
  • [SPARK-37915] [SQL] UNION と UNION の間にプロジェクトがある場合は、UNION を統合
  • [SPARK-38105] [SQL] 結合の解析エラーでエラー クラスを使用
  • [SPARK-38073] [PYTHON] Update atexit 関数を使用して遅延バインディングの問題を回避する
  • [SPARK-37941] [SQL] キャストのコンパイル エラーでエラー クラスを使用
  • [SPARK-37937] [SQL] 横 join の解析エラーでエラー クラスを使用する
  • [SPARK-38100] [SQL] Remove の使用されていないプライベート メソッドをDecimalする
  • [SPARK-37987] [SS] 不安定テストのクエリ再起動時の状態の StreamingAggregationSuite.changing schemaを修正する
  • [SPARK-38003] [SQL] LookupFunctions ルールは、スカラー関数レジストリからの関数のみを参照する必要がある
  • [SPARK-38075] [SQL] hasNext のプロセス出力反復子の HiveScriptTransformationExec を修正
  • [SPARK-37965] [SQL] Remove、Orc で既存のデータを読み書きするときにフィールド名を確認します
  • [SPARK-37922] [SQL] 2 つのキャストを安全にアップキャストできる場合は、1 つのキャストに結合 (dbr-branch-10.x の場合)
  • [SPARK-37675] [SPARK-37793] シャッフルが完了した後、マージされたファイルのプッシュ シャッフルが上書きされないようにする
  • [SPARK-38011] [SQL] Remove ParquetFileFormat での重複した不要な構成
  • [SPARK-37929] [SQL] dropNamespace API のカスケード モードをサポート
  • [SPARK-37931] [SQL] 必要に応じて column 名を引用符で囲みます
  • [SPARK-37990] [SQL] RowToColumnConverter で TimestampNTZ をサポート
  • [SPARK-38001] [SQL] サポートされていない機能に関連するエラー クラスを UNSUPPORTED_FEATURE に置換
  • [SPARK-37839] [SQL] DS V2 は、部分的な集計プッシュダウン AVG をサポート
  • [SPARK-37878] [SQL] 既定で v2 コマンドを使用するように SHOW CREATE TABLE を移行する
  • [SPARK-37731] [SQL] アナライザーでの関数参照のリファクタリングとクリーンアップ
  • [SPARK-37979] [SQL] AES 関数のより汎用的なエラー クラスに切り替え
  • [SPARK-37867] [SQL] 組み込みの JDBC 言語の集計関数をコンパイル
  • [SPARK-38028] [SQL] ArrowColumnVector から矢印ベクトルを公開
  • [SPARK-30062] [SQL] DB2 言語の切り捨て実装に IMMEDIATE ステートメントを追加
  • [SPARK-36649] [SQL] Kafka データ ソースで Trigger.AvailableNow をサポート
  • [SPARK-38018] [SQL] CalendarIntervalType を正しく処理できるように ColumnVectorUtils.populate を修正
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved は ExecutorDecommission を終了として処理する必要がある
  • [SPARK-38019] [CORE] ExecutorMonitor.timedOutExecutors を決定論的にする
  • [SPARK-37957] [SQL] V2 スカラー関数の決定論的フラグを正しく渡す
  • [spark-37985] [SQL] SPARK-37578 の不安定テストを修正
  • [SPARK-37986] [SQL] 基数の並べ替えで TimestampNTZ をサポート
  • [SPARK-37967] [SQL] Literal.create が ObjectType をサポート
  • [SPARK-37827] [SQL] 組み込みの table プロパティをいくつか V1Table.propertie に配置して V2 コマンドに適応させる
  • [SPARK-37963] [SQL] InMemoryCatalog で table の名前を変更した後に URI を updatePartition する必要がある
  • [SPARK-35442] [SQL] サポートは、集計/UNION を使用して空のリレーションシップの伝播をサポート
  • [SPARK-37933] [SQL] V2ScanRelationPushDown プッシュダウン ルールのトラバーサル メソッドを変更
  • [SPARK-37917] [SQL] join条件が空の場合、左半/反joinの右側でlimit 1 をプッシュ ダウンする
  • [SPARK-37959] [ML] KMeans と BiKMeans におけるノルムの検査の UT を修正
  • [SPARK-37906] [SQL] spark-sql で最後のコメントをバックエンドに渡してはいけない
  • [SPARK-37627] [SQL] BucketTransform に並べ替えられた column を追加する

メンテナンスの更新

Databricks Runtime 10.4 LTS メンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 ノートブック 6.3.0 numpy 1.20.1
パッケージング 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

インストールされている R ライブラリ

R ライブラリは、2022 年 2 月 24 日の Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob (blob) 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
キャレット 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
ライフサイクル 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
Matrix 1.4-0 memoise 2.0.1 methods 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1