次の方法で共有

Databricks Runtime 11.1 (サポート期間終了)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.3.0 で稼働する Databricks Runtime 11.1 に関する情報が記載されています。 Databricks は、2022 年 7 月にこのバージョンをリリースしました。

新機能と機能強化

Photon の一般提供

Photon は、Databricks Runtime 11.1 以降で一般公開されました。 Photon は、Azure Databricks ネイティブのベクター化クエリ エンジンで、Apache Spark API と直接的に互換性があるように記述されているため、既存のコードで正しく機能します。 Photon は、最新のハードウェアを活用するために C++ で開発されており、ベクター化クエリ処理の最新の手法を使用して、CPU でのデータおよび命令レベルの並列処理を活用します。その結果、実用のデータとアプリケーションのパフォーマンスが向上しますが、これらはすべて、お使いのデータレイクでネイティブに実現されます。

Photon は、既存の SQL とデータフレーム API 呼び出しを、より高速に実行し、ワークロードごとの総コストを削減する、高パフォーマンスのランタイムの一部です。 Photon は、Databricks SQL ウェアハウスでは既定で使用されます。

新機能と機能強化は以下を含みます。

  • ベクター化された新しい並べ替え演算子
  • ベクター化された新しいウィンドウ関数
  • すべてのクラウドに渡る新しいインスタンスの種類とサイズ

制限事項:

  • Scala/Python UDF は Photon ではサポートされていません
  • RDD は Photon でサポートされていません
  • 構造化ストリーミングは Photon ではサポートされていません

詳細については、次の「Photon のお知らせ」を参照してください。

Photon: ベクター化された新しい並べ替え演算子

Photon では、クエリに SORT_BY、CLUSTER_BY、または ORDER BY を持つウインドウ関数が含まれている場合のベクター化された並べ替えがサポートされるようになりました。

制限事項: Photon はグローバル句 ORDER BY をサポートしていません。 ウィンドウ評価の並べ替えはフォトナイズされますが、グローバル並べ替えは Spark で引き続き実行されます。

Photon: ベクター化された新しいウィンドウ関数

Photon は、多くのフレームの種類と関数に対してベクター化されたウィンドウ関数の評価をサポートするようになりました。 新しいウィンドウ関数には、row_number、rank、dense_rank、lag、lead、percent_rank、ntile および nth_value が含まれます。 サポートされているウィンドウ フレームの種類: 実行中 (UNBOUNDED PRECEDING AND CURRENT ROW)、無制限 (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING)、拡大 (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING)、縮小 (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING)。

制限事項:

  • Photon では、すべてのフレーム タイプの ROWS バージョンのみがサポートされます。
  • Photon では、スライディング フレーム タイプ (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING) はまだサポートされていません。

Photon: サポートされているインスタンスの種類

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

変更データ フィードで範囲外のタイムスタンプを自動的に処理できるようになりました

変更データ フィード (CDF) に、エラーをスローすることなく、最新のコミットのバージョンを超えるタイムスタンプ、またはバージョンを提供するための新しいモードが追加されました。 このモードは、既定で無効になっています。 これを有効にするには、構成 spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled を true に設定します。

SQL 関数の出力に Unity カタログ名が表示されるようになりました (パブリック プレビュー)

コマンド DESC TABLE、DESC DATABASE、DESC SCHEMA、DESC NAMESPACE、DESC FUNCTION、EXPLAIN、および SHOW CREATE TABLE が出力でカタログ名を常に表示するようになりました。

自動ローダーでの Parquet ファイルのスキーマ推論と進化 (パブリック プレビュー)

自動ローダーでは Parquet ファイルに対するスキーマの推論と展開がサポートされるようになりました。 JSON、CSV、および Avro 形式と同様に、復旧されたデータ列を使用して、Parquet ファイルに表示される可能性がある予期しないデータを救済できるようになりました。 これには、予期されるデータ型で解釈できないデータ、大文字と小文字が異なっている列、または予期されるスキーマの一部ではない追加の列などが含まれます。 受信データに新しい列を追加するときに、スキーマを自動的に進化させるように自動ローダーを構成できます。 「自動ローダーでのスキーマの推論と展開の構成」を参照してください。

自動ローダーで Avro のスキーマの展開がサポートされるようになりました (GA)

「自動ローダーでのスキーマの推論と展開の構成」を参照してください。

動的パーティションの上書きに対する Delta Lake のサポート

Delta Lake ではパーティションの動的な上書きモードでは、書き込みが新しいデータをコミットする各論理パーティション内のすべての既存データが上書きされるようになりました。 Delta Lake を使用してデータを選択的に上書きするを参照してください。

Unity カタログに作成されたオブジェクトの情報スキーマのサポート

情報スキーマを使用すると、SQL ベースの自己記述 API が、テーブルやビュー、制約、ルーチンなど、さまざまなデータベース オブジェクトのメタデータに提供されます。 情報スキーマ内には、自分が参照を許可され、スキーマのカタログに認識されているオブジェクトを説明するビューのセットが見つかります。 SYSTEM カタログの情報スキーマは、メタストア内のすべてのカタログのオブジェクトに関する情報を返します。 「情報スキーマ」を参照してください。

Unity カタログを使用した Delta Lake テーブルに対する情報制約 (パブリック プレビュー)

Unity カタログを使用して、Delta Lake テーブルに対して情報主キーと外部キーの制約を定義できるようになりました。 情報制約は適用されません。 CONSTRAINT 条を参照してください。

Unity Catalog が GA

Unity カタログは、Databricks Runtime 11.1 以降で一般提供になりました。 「Unity Catalog とは」を参照してください。

Delta Sharing が GA

Delta Sharing は、Databricks Runtime 11.1 以降で一般提供になりました。

Databricks から Databricks への Delta Sharing は、トークンを交換する必要のない、フル マネージドです。 UI で、または SQL API と REST API を使用して、プロバイダー、受信者、共有を作成したり管理したりできます。

受信者のアクセスの制限、IP アクセス リストやリージョンの制限を使用したデータのクエリ、管理者以外への Delta Sharing 管理の委任などのフィーチャーがあります。 データの変更に関するクエリを実行するか、変更データ フィードを使用して増分バージョンを共有することもできます。 「Delta Sharing とは」を参照してください。

動作の変更

DESCRIBE TABLE と SHOW TABLE PROPERTIES での機密プロパティのリダクト

機密プロパティは、DataFrames および DESCRIBE TABLE コマンドと SHOW TABLE PROPERTIES コマンドの出力で編集されます。

ジョブ クラスターは、Databricks Runtime 11.1 以上では、既定でシングル ユーザー アクセス モードに設定されます

Unity Catalog に対応するために、ジョブ UI またはジョブ API を使用して作成された、Databricks Runtime 11.1 以上を使用するジョブ クラスターは、既定でシングル ユーザー アクセス モードになります。 シングル ユーザー アクセス モードでは、ほとんどのプログラミング言語、クラスター機能、データ ガバナンス機能がサポートされます。 UI または API を使用して共有アクセス モードを構成することは引き続きできますが、言語や機能が制限される場合があります。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • filelock (3.6.0 から 3.7.1 へ)
    • plotly (5.6.0 から 5.8.2 へ)
    • protobuf (3.20.1 から 4.21.2 へ)
  • アップグレードされた R ライブラリ:
    • chron (2.3-56 から 2.3-57 へ)
    • DBI (1.1.2 から 1.1.3 へ)
    • dbplyr (2.1.1 から 2.2.0)
    • e1071 (1.7-9 から 1.7-11 へ)
    • future (1.25.0 から 1.26.1 へ)
    • globals (0.14.0 から 0.15.1 へ)
    • hardhat (0.2.0 から 1.1.0 へ)
    • ipred (0.9-12 から 0.9-13 へ)
    • openssl (2.0.0 から 2.0.2 へ)
    • parallelly (1.31.1 から 1.32.0 へ)
    • processx (3.5.3 から 3.6.1 へ)
    • progressr (0.10.0 から 0.10.1 へ)
    • proxy (0.4-26 から 0.4-27 へ)
    • ps (1.7.0 から 1.7.1 へ)
    • randomForest (4.7-1 から 4.7-1.1 へ)
    • roxygen2 (7.1.2 から 7.2.0 へ)
    • Rserve (1.8-10 から 1.8-11 へ)
    • RSQLite (2.2.13 から 2.2.14 へ)
    • sparklyr (1.7.5 から 1.7.7 へ)
    • tinytex (0.38 から 0.40 へ)
    • usethis (2.1.5 から 2.1.6 へ)
    • xfun (0.30 から 0.31 へ)
  • アップグレードされた Java ライブラリ:
    • io.delta.delta-sharing-spark_2.12 (0.4.0 から 0.5.0 へ)

Apache Spark

Databricks Runtime 11.2 には、Apache Spark 3.3.0 が含まれています。 このリリースには、Databricks Runtime 11.1 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-40054] [SQL] try_cast() のエラー処理構文を復元する
  • [SPARK-39489] [CORE] Json4s ではなく Jackson を使ってイベント ログ JsonProtocol のパフォーマンスを向上させる
  • [SPARK-39319] [CORE][SQL] クエリ コンテキストを SparkThrowable の一部にする
  • [SPARK-40085] [SQL] バグを示すために IllegalStateException ではなく INTERNAL_ERROR エラー クラスを使うようにする
  • [SPARK-40001] [SQL] JSON DEFAULT 列への NULL 書き込みを、ストレージに 'null' を書き込むようにする
  • [SPARK-39635] [SQL] DS v2 カスタム メトリック API でドライバー メトリックをサポートする
  • [SPARK-39184] [SQL] 日付とタイムスタンプのシーケンスでサイズの小さい結果配列を処理するようにする
  • [SPARK-40019] [SQL] ArrayType の containsNull のコメントをリファクタリングし、collectionOperator の式の containsNull に関する誤解を招くロジックをリファクタリングする
  • [SPARK-39989] [SQL] 折り畳み可能な式の場合に列統計の推定をサポートする
  • [SPARK-39926] [SQL] ベクトル化されていない Parquet スキャンに対する列の DEFAULT のサポートに含まれるバグを修正する
  • [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader の直接バイト バッファーを処理するようにする
  • [SPARK-40044] [SQL] キャスト オーバーフロー エラーのターゲット間隔の種類を修正する
  • [SPARK-39835] [SQL] ローカルの並べ替えの下にあるグローバルの並べ替えが EliminateSorts によって削除される問題を修正する
  • [SPARK-40002] [SQL] ウィンドウで ntile を使うと制限をプッシュ ダウンしない
  • [SPARK-39976] [SQL] ArrayIntersect で左側の式に含まれる null を正しく処理するようにする
  • [SPARK-39985] [SQL] DataFrames からの挿入で暗黙的な DEFAULT 列の値を有効にする
  • [SPARK-39776] [SQL] JOIN の詳細文字列に結合の種類を追加するようにする
  • [SPARK-38901] [SQL] DS V2 はプッシュダウンのその他の関数をサポートする
  • [SPARK-40028] [SQL][FollowUp] 文字列関数の例を改善する
  • [SPARK-39983] [CORE][SQL] ドライバーに非直列化ブロードキャスト関係をキャッシュしない
  • [SPARK-39812] [SQL] AggregateExpression を使って toAggregateExpression を構築するコードを簡略化する
  • [SPARK-40028] [SQL] 文字列式のバイナリ例を追加する
  • [SPARK-39981] [SQL] Cast で例外 QueryExecutionErrors.castingCauseOverflowErrorInTableInsert をスローする
  • [SPARK-40007] [PYTHON][SQL] 関数に 'mode' を追加する
  • [SPARK-40008] [SQL] ANSI 間隔への積分のキャストをサポートする
  • [SPARK-40003] [PYTHON][SQL] 関数に 'median' を追加する
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand で結果の関係を再キャッシュするようにする
  • [SPARK-39951] [SQL] 入れ子になったフィールドの Parquet V2 の列チェックを更新する
  • [SPARK-39775] [CORE][AVRO] Avro スキーマの解析時に既定値の検証を無効にする
  • [SPARK-33236] [シャッフル] DBR 11.x のバックポート: 再起動を保持する作業のために NM レベル DB に状態を格納する プッシュベースのシャッフル サービスを有効にする
  • [SPARK-39836] [SQL] extract 共通メソッドによる V2ExpressionBuilder を簡略化する
  • [SPARK-39867] [SQL] グローバル制限が OrderPreservingUnaryNode を継承しないようにする
  • [SPARK-39873] [SQL] OptimizeLimitZero を削除し、EliminateLimits にマージする
  • [SPARK-39961] [SQL] キャストが安全な場合の DS V2 のプッシュダウン変換キャスト
  • [SPARK-39872] [SQL] BytePackerForLong#unpack8Values の配列入力 API で VectorizedDeltaBinaryPackedReader を使うように変更する
  • [SPARK-39858] [SQL] 一部のルールで不要な AliasHelper や PredicateHelper を削除する
  • [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] グループ属性が空の場合にプロジェクションを適用する
  • [SPARK-39900] [SQL] バイナリ形式の述語プッシュダウンで部分条件または否定条件に対応する
  • [SPARK-39904] [SQL] CSV データ ソースで inferDate の名前を prefersDate に変更し、オプションのセマンティクスを明確にする
  • [SPARK-39958] [SQL] カスタム メトリック オブジェクトを読み込めない場合の警告ログを追加する
  • [SPARK-39936] [SQL] Spark Views のプロパティにスキーマを格納する
  • [SPARK-39932] [SQL] WindowExec で最終パーティション バッファーをクリアするようにする
  • [SPARK-37194] [SQL] 動的パーティションではない場合、v1 の書き込みで不要な並べ替えを回避する
  • [SPARK-39902] [SQL] SparkUI で Spark プラン スキャン ノードにスキャンの詳細を追加する
  • [SPARK-39865] [SQL] テーブル挿入時のオーバーフロー エラーで適切なエラー メッセージを表示する
  • [SPARK-39940] [SS] DSv1 シンクを使ったストリーミング クエリでカタログ テーブルを更新する
  • [SPARK-39827] [SQL] ARITHMETIC_OVERFLOW の int オーバーフローでエラー クラス add_months() を使う
  • [SPARK-39914] [SQL] DS V2 フィルターから V1 フィルターへの変換を追加する
  • [SPARK-39857] [SQL] 手動 DBR 11.x バックポート。V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う (#43454)
  • [SPARK-39840] [SQL][PYTHON] PythonArrowOutput の対称として PythonArrowInput を因数分解する
  • [SPARK-39651] [SQL] rand との比較が決定論的である場合にフィルター条件を取り除く
  • [SPARK-39877] [PYTHON] PySpark DataFrame API にピボット解除を追加する
  • [SPARK-39847] [WARMFIX][SS] 呼び出し元スレッドが中断された場合の RocksDBLoader.loadLibrary() の競合状態を修正する
  • [SPARK-39909] [SQL] JDBCV2Suite のプッシュダウン情報のチェックを整理する
  • [SPARK-39834] [SQL][SS] DataFrame に由来する LogicalRDD の場合に、元の統計情報と制約を含める
  • [SPARK-39849] [SQL] Dataset.as(StructType) で新しい列が見つからない場合に null 値で埋める
  • [SPARK-39860] [SQL] Predicate を拡張する式を増やす必要がある
  • [SPARK-39823] [SQL][PYTHON] PySpark で Dataset.as の名前を Dataset.to に変更し、DataFrame.to を追加する
  • [SPARK-39918] [SQL][MINOR] エラー メッセージの "un-comparable" という表現を "incomparable" に置き換える
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う
  • [SPARK-39862] [SQL] DBR 11.x を対象とする PR 43654 の手動バックポート: ALTER TABLE を許可または拒否するようにSQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERSを更新します。... COLUMN コマンドを個別に追加します。
  • [SPARK-39844] [SQL] DBR 11.x をターゲットとする PR 43652 の手動バックポート。
  • [SPARK-39899] [SQL] InvalidUDFClassException へのメッセージ パラメーターの受け渡しを修正する
  • [SPARK-39890] [SQL] TakeOrderedAndProjectExec を AliasAwareOutputOrdering を継承するようにする
  • [SPARK-39809] [PYTHON] PySpark で CharType をサポートする
  • [SPARK-38864] [SQL] データセットにピボット解除とメルトを追加する
  • [SPARK-39864] [SQL] ExecutionListenerBus を遅延登録する
  • [SPARK-39808] [SQL] 集計関数 MODE をサポートする
  • [SPARK-39839] [SQL] UnsafeRow 構造整合性チェックで、offsetAndSize が 0 以外の、null 可変長 Decimal に関する特殊なケースを処理する
  • [SPARK-39875] [SQL] final クラスの protected メソッドを private または package-visible に変更する
  • [SPARK-39731] [SQL] 修正されたタイム パーサー ポリシーを使用して "yyyyMMdd" 形式で日付を解析するときの CSV および JSON データ ソースの問題を修正する
  • [SPARK-39805] [SS] Trigger.Once を非推奨とし、Trigger.AvailableNow を昇格させる
  • [SPARK-39784] [SQL] Catalyst Expression をデータ ソース フィルターに変換した後、リテラル値をデータ ソース フィルターの右側に配置する
  • [SPARK-39672] [SQL][3.1] 相関サブクエリでフィルターする前にプロジェクトを削除する問題を修正する
  • [SPARK-39552] [SQL] v1 と v2 の DESCRIBE TABLE を統合する
  • [SPARK-39806] [SQL] パーティション テーブル上の _metadata にアクセスするとクエリがクラッシュすることがある
  • [SPARK-39810] [SQL] 入れ子になった名前空間を Catalog.tableExists で処理するようにする
  • [SPARK-37287] [SQL] FileFormatWriter から動的パーティション分割とバケットの並べ替えをプルする
  • [SPARK-39469] [SQL] CSV のスキーマ推論の場合に日付型を推論する
  • [SPARK-39148] [SQL] DS V2 集計プッシュダウンは、OFFSET または LIMIT で機能します
  • [SPARK-39818] [SQL] NULL フィールドの DEFAULT 値を持つ ARRAY、STRUCT、MAP の各型のバグを修正する
  • [SPARK-39792] [SQL] 10 進数の平均に DecimalDivideWithOverflowCheck を追加する
  • [SPARK-39798] [SQL] toSeq.toArray のコンストラクターで .toArray[Any] を GenericArrayData に置き換える
  • [SPARK-39759] [SQL] JDBC で listIndexes を実装する (H2 言語)
  • [SPARK-39385] [SQL] REGR_AVGX と REGR_AVGY のプッシュダウンをサポートする
  • [SPARK-39787] [SQL] 関数 to_timestamp の解析エラーでエラー クラスを使用します
  • [SPARK-39760] [PYTHON] PySpark で Varchar をサポートする
  • [SPARK-39557] [SQL] DBR 11.x への手動バックポート: DEFAULT 値として ARRAY、STRUCT、MAP の型をサポートする
  • [SPARK-39758] [SQL][3.3] 無効なパターンに対する正規表現関数の NPE を修正する
  • [SPARK-39749] [SQL] ANSI SQL モード: 10 進数から文字列へのキャストでプレーンな文字列表現を使う
  • [SPARK-39704] [SQL] JDBC (H2 言語) で createIndex、dropIndex、indexExists を実装する
  • [SPARK-39803] [SQL] LevenshteinDistance ではなく StringUtils.getLevenshteinDistance を使う
  • [SPARK-39339] [SQL] JDBC データ ソースで TimestampNTZ 型をサポートする
  • [SPARK-39781] [SS] rocksdb 状態ストア プロバイダーに max_open_files を提供するためのサポートを追加する
  • [SPARK-39719] [R] SparkR サポート 3L 名前空間に databaseExists と getDatabase を実装する
  • [SPARK-39751] [SQL] ハッシュ集計キー プローブ メトリックの名前を変更する
  • [SPARK-39772] [SQL] 古いコンストラクターでデータベースが null の場合、名前空間を null にするようにする
  • [SPARK-39625] [SPARK-38904][SQL] Dataset.as(StructType) を追加する
  • [SPARK-39384] [SQL] JDBC 言語の組み込み線形回帰集計関数をコンパイルする
  • [SPARK-39720] [R] SparkR 内に 3L 名前空間の tableExists と getTable を実装する
  • [SPARK-39744] [SQL] REGEXP_INSTR 関数を追加する
  • [SPARK-39716] [R] SparkR の currentDatabase、setCurrentDatabase、listCatalogs を 3L 名前空間をサポートするようにする
  • [SPARK-39788] [SQL] catalogName の名前 dialectName を JdbcUtils に変更する
  • [SPARK-39647] [CORE] BlockManager を登録する前に、Executor を ESS に登録する
  • [SPARK-39754] [CORE][SQL] 使用されていない import または不要な {} を削除する
  • [SPARK-39706] [SQL] ParquetColumnVector の欠落している列に定数の defaultValue を設定する
  • [SPARK-39699] [SQL] コレクション作成式について CollapseProject をよりスマートにする
  • [SPARK-39737] [SQL] PERCENTILE_CONT と PERCENTILE_DISC は集計フィルターをサポートする必要がある
  • [SPARK-39579] [SQL][PYTHON][R] ListFunctions/getFunction/functionExists を 3 レイヤー名前空間と互換性のあるものにします
  • [SPARK-39627] [SQL] JDBC V2 プッシュダウンでコンパイル API を統合する必要がある
  • [SPARK-39748] [SQL][SS] DataFrame に由来する LogicalRDD の場合に、元の論理プランを含める
  • [SPARK-39385] [SQL] 線形回帰の集計関数をプッシュダウン用に変換する
  • [SPARK-39695] [SQL] REGEXP_SUBSTR 関数を追加する
  • [SPARK-39667] [SQL] テーブルの構築とブロードキャストに十分なメモリがない場合の別の回避策を追加する
  • [SPARK-39666] [ES-337834][SQL] ExpressionEncoder で UnsafeProjection.create を使用して spark.sql.codegen.factoryMode を考慮する
  • [SPARK-39643] [SQL] DEFAULT 値でサブクエリ式を禁止する
  • [SPARK-38647] [SQL] スキャン (DataSourceV2) のインターフェイスに SupportsReportOrdering ミックスを追加する
  • [SPARK-39497] [SQL] マップ キー列が見つからない場合の分析例外を改善
  • [SPARK-39661] [SQL] 不要な SLF4J ロガーを作成しないようにする
  • [SPARK-39713] [SQL] ANSI モード: INVALID_ARRAY_INDEX エラーの場合に try_element_at を使用する提案を追加する
  • [SPARK-38899] [SQL] DS V2 でプッシュダウン日時関数をサポートする
  • [SPARK-39638] [SQL] パーティション列を ConstantColumnVector に格納するために OrcColumnarBatchReader を使うように変更する
  • [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) から ColumnVectorUtils をクリーンアップする
  • [SPARK-39231] [SQL] パーティション列を ConstantColumnVector に格納するために On/OffHeapColumnVector ではなく VectorizedParquetRecordReader を使う
  • [SPARK-39547] [SQL] V2SessionCatalog から loadNamspaceMetadata で NoSuchDatabaseException をスローしないようにする
  • [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcast で AssertionError を回避する
  • [SPARK-39492] [SQL] MISSING_COLUMN を修正する
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec で子の出力順を尊重するようにする
  • [SPARK-39606] [SQL] 子の統計情報を使って順序演算子を推定する
  • [SPARK-39611] [PYTHON][PS] array_ufunc の不適切な別名を修正する
  • [SPARK-39656] [SQL][3.3] DescribeNamespaceExec の不適切な名前空間を修正する
  • [SPARK-39675] [SQL] 'spark.sql.codegen.factoryMode' の構成をテスト目的から内部目的に変更する
  • [SPARK-39139] [SQL] DS V2 で DS V2 UDF のプッシュダウンをサポートする
  • [SPARK-39434] [SQL] 配列インデックスが境界外の場合にランタイム エラー クエリ コンテキストを提供する
  • [SPARK-39479] [SQL] DS V2 でプッシュダウンの数学関数 (非 ANSI) をサポートする
  • [SPARK-39618] [SQL] REGEXP_COUNT 関数を追加する
  • [SPARK-39553] [CORE] Scala 2.13 を使う場合、マルチスレッド登録解除シャッフルから NPE をスローしないようにする
  • [SPARK-38755] [PYTHON][3.3] 欠落している pandas の一般的な関数に対応するためにファイルを追加する
  • [SPARK-39444] [SQL] OptimizeSubqueries を nonExcludableRules リストに追加する
  • [SPARK-39316] [SQL] PromotePrecision と CheckOverflow を 10 進数のバイナリ演算にマージする
  • [SPARK-39505] [UI] UI にレンダリングされるログの内容をエスケープする
  • [SPARK-39448] [SQL] ReplaceCTERefWithRepartition を nonExcludableRules リストに追加する
  • [SPARK-37961] [SQL] 一部の論理演算子で maxRows と maxRowsPerPartition をオーバーライドする
  • [SPARK-35223] IssueNavigationLink の追加を元に戻す
  • [SPARK-39633] [SQL] Dataframe オプションを使った TimeTravel で秒単位のタイムスタンプをサポートする
  • [SPARK-38796] [SQL] {try_}to_number 関数を使った数値形式文字列のドキュメントを更新する
  • [SPARK-39650] [SS] 下位互換性のあるストリーミング重複除去に含まれる不適切な値スキーマを修正する
  • [SPARK-39636] [CORE][UI] オフ ヒープの StorageLevels と Task/Executor ResourceRequests に影響する JsonProtocol の複数のバグを修正する
  • [SPARK-39432] [SQL] element_at(*, 0) から ELEMENT_AT_BY_INDEX_ZERO を返す
  • [SPARK-39349] エラー パスの QA 用に一元化された CheckError メソッドを追加する
  • [SPARK-39453] [SQL] DS V2 でプッシュダウンのその他の非集計関数 (非 ANSI) をサポートする
  • [SPARK-38978] [SQL] DS V2 では、プッシュダウン OFFSET 演算子がサポートされます
  • [SPARK-39567] [SQL] パーセンタイル関数内の ANSI 間隔をサポートする
  • [SPARK-39383] [SQL] V2 データ ソースに対する ALTER TABLE ALTER COLUMNS で DEFAULT 列をサポートする
  • [SPARK-39396] [SQL] LDAP ログイン例外 'エラー コード 49 - 無効な資格情報' を修正する
  • [SPARK-39548][SQL] ウィンドウ句クエリで CreateView コマンドを実行したら間違ったウィンドウ定義にヒットして問題が見つからない
  • [SPARK-39575] [AVRO] Avr… の ByteBuffer#get の後に ByteBuffer#rewind を追加する
  • [SPARK-39543] v1 にフォールバックする場合、ストレージのプロパティに DataFrameWriterV2 のオプションを渡すようにする
  • [SPARK-39564] [SS] ストリーミング クエリでカタログ テーブルの情報を論理プランに公開する
  • [SPARK-39582] [SQL] array_agg の "Since" マーカーを修正する
  • [SPARK-39388] [SQL] Orc 述語のプッシュダウン時に orcSchema を再利用する
  • [SPARK-39511] [SQL] 結合条件が空の場合、左半/反結合の右側でプッシュダウンのローカル制限 1 を強化する
  • [SPARK-38614] [SQL] percent_rank を使っているウィンドウで制限をプッシュダウンしない
  • [SPARK-39551] [SQL] AQE 無効プラン チェックを追加する
  • [SPARK-39383] [SQL] ALTER TABLE ADD COLUMNS の DEFAULT 列を V2 データ ソースにサポートする
  • [SPARK-39538] [SQL] 不要な SLF4J ロガーを作成しないようにする
  • [SPARK-39383] [SQL] DBR 11.x への手動バックポート: プライマリ アナライザーの受け渡しをスキップするように DEFAULT 列のサポートをリファクタリングする
  • [SPARK-39397] [SQL] 式による別名をサポートするように AliasAwareOutputExpression を緩和する
  • [SPARK-39496] [SQL] Inline.eval の null 構造体を処理する
  • [SPARK-39545] [SQL] Scala 2.13 で concat の ExpressionSet メソッドをオーバーライドしてパフォーマンスを向上させる
  • [SPARK-39340] [SQL] DS v2 の集計プッシュダウンで最上位列の名前にドットを使用できるようにする
  • [SPARK-39488] [SQL] TempResolvedColumn のエラー処理を簡略化する
  • [SPARK-38846] [SQL] Teradata の数値型と Spark の DecimalType の間に明示的なデータ マッピングを追加する
  • [SPARK-39520] [SQL] Scala 2.13 で -- の ExpressionSet メソッドをオーバーライドする
  • [SPARK-39470] [SQL] ANSI 間隔の 10 進数へのキャストをサポートする
  • [SPARK-39477] [SQL] SQLQueryTestSuite のゴールデン ファイルから "クエリ数" の情報を削除する
  • [SPARK-39419] [SQL] 比較子が null を返したときに例外をスローするように ArraySort を修正する
  • [SPARK-39061] [SQL] Inline の出力属性に Null 許容を正しく設定する
  • [SPARK-39320] [SQL] 集計関数 MEDIAN をサポートする
  • [SPARK-39261] [CORE] エラー メッセージの改行形式を改善する
  • [SPARK-39355] [SQL] 単一列で引用符を使用して UnresolvedAttribute を構築する
  • [SPARK-39351] [SQL] SHOW CREATE TABLE でプロパティをリダクトする必要がある
  • [SPARK-37623] [SQL] ANSI 集計関数をサポートする: regr_intercept
  • [SPARK-39374] [SQL] ユーザーが指定した列リストに対するエラー メッセージを改善する
  • [SPARK-39255] [SQL][3.3] エラー メッセージを改善する
  • [SPARK-39321] [SQL] RuntimeReplaceable を使うように TryCast をリファクタリングする
  • [SPARK-39406] [PYTHON] createDataFrame で NumPy の配列を受け入れる
  • [SPARK-39267] [SQL] dsl の不要なシンボルをクリーンアップする
  • [SPARK-39171] [SQL] キャスト式を統合する
  • [SPARK-28330] [SQL] ANSI SQL のサポート: クエリ式の結果オフセット句
  • [SPARK-39203] [SQL] データベース URI に基づいてテーブルの場所を絶対 URI に書き換える
  • [SPARK-39313] [SQL] V2Expression を変換できない場合に toCatalystOrdering が失敗するようにする
  • [SPARK-39301] [SQL][PYTHON] LocalRelation を利用し、Arrow の最適化を使う createDataFrame で Arrow のバッチ サイズを尊重する
  • [SPARK-39400] [SQL] spark-sql で常にハイブ リソースを削除するようにする

メンテナンスの更新

Databricks Runtime 11.1 のメンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 クリックし 8.0.3
cryptography 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0.3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
ノートブック 6.4.5 numpy 1.20.3 パッケージング 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2.20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
6 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

インストールされている R ライブラリ

R ライブラリは、2022 年 8 月 15 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob (blob) 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
キャレット 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 資格情報 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellipsis 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
generics 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 graphics 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0.9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ライフサイクル 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrix 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
progress 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
scales 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 survival 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0.40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1