次の方法で共有

Databricks Runtime 12.2 LTS

  • [アーティクル]

次のリリース ノートには、Apache Spark 3.3.2 で稼働する Databricks Runtime 12.2 LTS に関する情報が記載されています。

Databricks は、2023 年 3 月にこのバージョンをリリースしました。

Note

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

動作の変更

[破壊的変更] 新しい Python バージョンでは、Databricks Connect V1 Python クライアントを更新する必要があります

必要なセキュリティ パッチを適用するため、Databricks Runtime 12.2 LTS の Python バージョンが 3.9.5 から 3.9.19 にアップグレードされます。 これらの変更により、特定の PySpark 関数を使用するクライアントでエラーが発生する可能性があるため、Databricks Runtime 12.2 LTS で Databricks Connect V1 for Python を使用するすべてのクライアントを Python 3.9.7 以降に更新する必要があります。

新機能と機能強化

Delta Lake スキーマの展開時、merge ステートメントにおいてソース列の指定をサポート

スキーマの展開が有効になっている場合のマージ ステートメントの挿入または更新アクションで、ソース テーブルにのみ存在する列を指定できるようになりました。 Databricks Runtime 12.1 以下では、マージを使用したスキーマの展開には、INSERT * または UPDATE SET * アクションのみを使用できます。 「Delta Lake マージの自動スキーマの進化」を参照してください。

共有アクセス モードのクラスターで、構造化ストリーミング ワークロードをサポート

構造化ストリーミングを使用し、共有クラスター上で Unity Catalog と対話できるようになりました。 いくつかの制限が適用されます。 「Unity Catalog でサポートされている構造化ストリーミング機能」を参照してください。

予測 I/O の新機能

Foreachbatch シンクの Photon サポートを利用できるようになりました。 ソースからストリーミングし、Delta Tables へのマージや複数のシンクへの書き込みを行うワークロードが Photonized Foreachbatch シンクの恩恵を受けるようになりました。

暗黙的な横列エイリアシング サポート

Azure Databricks では、既定で、暗黙的な横列エイリアシングがサポートされるようになりました。 同じ SELECT リストで前に指定した式を再利用できるようになりました。 たとえば、SELECT 1 AS a, a + 1 AS b の場合、a の a + 1 は前に定義された 1 AS a として解決できます。 解決順序の詳細については、名前解決に関するこちらのページを参照してください。 この機能をオフにするには、spark.sql.lateralColumnAlias.enableImplicitResolution を false に設定します。

新しい forEachBatch 機能

foreachBatch を使用してデータ シンクに書き込む際について、Photon の使用がサポートされました。

クエリ フェデレーションの標準化された接続オプション

統合された一連のオプション (ホスト、ポート、データベース、ユーザー、パスワード) を使用して、クエリ フェデレーションでサポートされているデータ ソースに接続できるようになりました。 Port は省略可能であり、指定されていない限り、各データ ソースの既定のポート番号が使用されます。

配列管理用の拡張 SQL 関数ライブラリ

array_compact を使用して、配列からすべての NULL 要素を削除できるようになりました。 配列に要素を追加するには、array_append を使用します。

文字列を匿名化する新しい mask 関数

mask 関数を呼び出し、機密性の高い文字列値を匿名化します。

一般的なエラー条件で SQLSTATE が返されるようになりました

Databricks Runtime に含まれるようになったほとんどのエラー条件で SQLSTATE 値が記録されています。それを SQL 標準に準拠する方法でエラーのテストに利用できます。

FROM 句でジェネレーター関数を呼び出す

クエリの通常の 句で、FROM など、テーブル値ジェネレーター関数を呼び出せるようになりました。 これにより、ジェネレーター関数の呼び出しと、他の組み込みテーブル関数やユーザー定義関数との足並みが揃います。

プロトコル バッファーのサポートを一般提供段階へ移行

from_protobuf と to_protobuf 関数を使用して、バイナリと構造体の型の間でデータを交換できます。 「プロトコル バッファーの読み取りと書き込みを行う」を参照してください。

ノートブックの変数と関数の定義に移動する

ノートブックでは、変数または関数の名前を右クリックして、 ステートメントの背後にある関数、コード、または%runできます。

ライブラリを自動インポートするためのノートブック クイック修正

Databricks ノートブックでは、ライブラリを自動インポートするためのクイック修正機能が提供されるようになりました。 Pandas などのライブラリをインポートし忘れた場合に、下線付きの構文に関する警告の上にホバーした後、[クイック修正] をクリックします。この機能を使用するには、ワークスペースで Databricks アシスタントを有効にする必要があります。

バグ修正

  • update、delete、および merge コマンドに関連する空のトランザクションに対する Delta コミット動作の一貫性が向上しました。 WriteSerializable 分離レベルでは、コマンドの結果として変更が発生しない場合に空のコミットが作成されるようになりました。 Serializable 分離レベルでは、そのような空のトランザクションの場合にはコミットが作成されません。

動作変更

新しい横列別名機能の導入に伴う動作変更

新しい横列別名機能では、名前解決中、次のケースに対して動作変更が導入されます。

  • 同じ名前の相関参照よりも横列の別名が優先されるようになりました。 たとえば、クエリ SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1) の場合、内部 c1 の c1 AS c2 が相関参照 t.c1 に解決されましたが、横列別名 1 AS c1 に変更されました。 クエリからは NULL が返されるようになります。
  • 同じ名前の関数パラメーターよりも横列の別名が優先されるようになりました。 たとえば、関数 CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x の場合、関数本体の x は関数パラメーター x に解決されましたが、関数本体で横列別名 x + 1 に変更されます。 クエリ SELECT * FROM func(1) からは 2, 2 が返されるようになります。
  • 横列別名機能をオフにするには、spark.sql.lateralColumnAlias.enableImplicitResolution を false に設定します。 詳細については、「名前解決」を参照してください。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • filelock (3.8.2 から 3.9.0 へ)
    • joblib (1.1.0 から 1.1.1 へ)
    • platformdirs (2.6.0 から 2.6.2 へ)
    • whatthepatch (1.0.3 から 1.0.4 へ)
  • アップグレードされた R ライブラリ:
    • class (7.3-20 から 7.3-21 へ)
    • codetools (0.2-18 から 0.2-19 へ)
    • MASS (7.3-58 から 7.3-58.2 へ)
    • nlme (3.1-160 から 3.1-162 へ)
    • Rserve (1.8-11 から 1.8-12 へ)
    • SparkR (3.3.1 から 3.3.2 へ)

動作変更

  • 定義済みの場所を使用してユーザーがスキーマを作成するには、任意のファイルの SELECT 権限と MODIFY 権限を持っていることが必要になりました。

Apache Spark

Databricks Runtime 12.2 には、Apache Spark 3.3.2 が含まれています。 このリリースには、Databricks Runtime 12.1 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。

  • [SPARK-42416] [SC-123205][SC-122851][SQL] データセット操作で分析された論理プランを再度解決しないようにする
  • [SPARK-41848] “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] TaskResourceProfile で過密日程になった作業を修正” を元に戻す
  • [SPARK-42162] [SC-122711][ES-556261] 可換式の大きなツリーを正規化するためのメモリ最適化として MultiCommutativeOp 式を導入する
  • [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Protobuf 関数の再帰深度設定を修正
  • [SPARK-42002] [SC-122476][CONNECT][PYTHON] DataFrameWriterV2 を実装
  • [SPARK-41716] [SC-122545][CONNECT] カタログで _catalog_to_pandas の名称を _execute_and_fetch に変更
  • [SPARK-41490] [SC-121774][SQL] 名前を _LEGACY_ERROR_TEMP_2441 に割り当て
  • [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Catalog.cacheTable、isCached、uncache を実装
  • [SPARK-42191] [SC-121990][SQL] udf ‘luhn_check’ をサポート
  • [SPARK-42253] [SC-121976][PYTHON] 重複したエラー クラスの検出テストを追加
  • [SPARK-42268] [SC-122251][CONNECT][PYTHON] protos に UserDefinedType を追加
  • [SPARK-42231] [SC-121841][SQL] MISSING_STATIC_PARTITION_COLUMN を internalError に変える
  • [SPARK-42136] [SC-122554] BroadcastHashJoinExec 出力パーティション計算のリファクター
  • [SPARK-42158] [SC-121610][SQL] _LEGACY_ERROR_TEMP_1003 を FIELD_NOT_FOUND に統合する
  • [SPARK-42192] [12.x][SC-121820][PYTHON] pyspark/sql/dataframe.py から PySparkTypeError に TypeError を移行
  • [SPARK-35240] “[SC-118242][SS] CheckpointFileManager を使用して…” を元に戻す
  • [SPARK-41488] [SC-121858][SQL] 名前を _LEGACY_ERROR_TEMP_1176 (と 1177) に割り当てる
  • [SPARK-42232] [SC-122267][SQL] エラー クラス: UNSUPPORTED_FEATURE.JDBC_TRANSACTION の名前変更
  • [SPARK-42346] [SC-122480][SQL] サブクエリのマージ後に個別の集計を書き換える
  • [SPARK-42306] [SC-122539][SQL] _LEGACY_ERROR_TEMP_1317 を UNRESOLVED_COLUMN.WITH_SUGGESTION に統合する
  • [SPARK-42234] [SC-122354][SQL] エラー クラス: UNSUPPORTED_FEATURE.REPEATED_PIVOT の名前変更
  • [SPARK-42343] [SC-122437][CORE] SparkContext が停止した場合に IOException の handleBlockRemovalFailure を無視する
  • [SPARK-41295] [SC-122442][SPARK-41296][SQL] エラー クラスの名前変更
  • [SPARK-42320] [SC-122478][SQL] _LEGACY_ERROR_TEMP_2188 に名前を割り当てる
  • [SPARK-42255] [SC-122483][SQL] _LEGACY_ERROR_TEMP_2430 に名前を割り当てる
  • [SPARK-42156] [SC-121851][CONNECT] SparkConnectClient で RetryPolicies がサポートされるようになりました
  • [SPARK-38728] [SC-116723][SQL] エラー クラス: FAILED_RENAME_PATH のテスト
  • [SPARK-40005] [12.X] PySpark の自己完結型の例
  • [SPARK-39347] [SC-122457][SS] イベント時刻 < 0 のときの時間枠計算のバグ修正
  • [SPARK-42336] [SC-122458][CORE] ResourceAllocator で getOrElse() の代わりに contains() を使用する
  • [SPARK-42125] [SC-121827][CONNECT][PYTHON] Spark Connect の Pandas UDF
  • [SPARK-42217] [SC-122263][SQL] Window によるクエリで暗黙的な横列別名をサポート
  • [SPARK-35240] [SC-118242][SS] Use チェックポイント ファイル操作の CheckpointFileManager
  • [SPARK-42294] [SC-122337][SQL] V2 テーブルの DESCRIBE 出力に列の既定値を含める
  • [SPARK-41979] ““[12.x][SC-121190][SQL] エラー クラスのエラー メッセージに不足しているドットを追加する” を元に戻す” を元に戻す
  • [SPARK-42286] [SC-122336][SQL] CAST を使用した複雑な expr の以前の codegen コード パスへのフォールバック
  • [SPARK-42275] [SC-122249][CONNECT][PYTHON] 静的型指定で組み込みの list、dict を使用しない
  • [SPARK-41985] [SC-122172][SQL] 一元化する列解決ルールを増やす
  • [SPARK-42126] [SC-122330][PYTHON][CONNECT] Spark Connect で Python Scalar UDF の DDL文字列で戻り値の型を受け入れる
  • [SPARK-42197] [SC-122328][SC-121514][CONNECT] JVM 初期化を再利用し、リモート ローカル モードで設定する構成グループを分割する
  • [SPARK-41575] [SC-120118][SQL] _LEGACY_ERROR_TEMP_2054 に名前を割り当てる
  • [SPARK-41985] “[SC-122172][SQL] 一元化する列解決ルールを増やす” を元に戻す
  • [SPARK-42123] [SC-122234][SC-121453][SQL] DESCRIBE と SHOW CREATE TABLE 出力に列の既定値を含める
  • [SPARK-41985] [SC-122172][SQL] 一元化する列解決ルールを増やす
  • [SPARK-42284] [SC-122233][CONNECT] クライアント テストの実行前にコネクト サーバー アセンブリがビルドされることを確認する - SBT
  • [SPARK-42239] [SC-121790][SQL] MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY を統合する
  • [SPARK-42278] [SC-122170][SQL] DS V2 プッシュダウンでは、それ自体で JDBC ダイアレクト コンパイル SortOrder がサポートされる
  • [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics で Python UDAF を処理する
  • [SPARK-41979] “[12.x][SC-121190][SQL] エラー クラスのエラー メッセージに不足しているドットを追加する” を元に戻す
  • [SPARK-42224] [12.x][SC-121708][CONNECT] Spark Connect 関数のエラー フレームワークに TypeError を移行する
  • [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] Spark Connect エラーを PySpark エラー フレームワークに移行する。
  • [SPARK-42119] [SC-121913][SC-121342][SQL] 組み込みのテーブル値関数の inline と inline_outer を追加
  • [SPARK-41489] [SC-121713][SQL] _LEGACY_ERROR_TEMP_2415 に名前を割り当てる
  • [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] PySparkValueError と PySparkTypeError を導入
  • [SPARK-42081] [SC-121723][SQL] プラン変更検証の改善
  • [SPARK-42225] [12.x][SC-121714][CONNECT] SparkConnectIllegalArgumentException を追加し、Spark Connect エラーを正確に追加
  • [SPARK-42044] [12.x][SC-121280][SQL] MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY の正しくないエラー メッセージを修正
  • [SPARK-42194] [12.x][SC-121712][PS] Series で DataFrame を作成するとき、列パラメーターを許可する
  • [SPARK-42078] [12.x][SC-120761][PYTHON] JVM によってスローされたエラーを PySparkException に移行する
  • [SPARK-42133] [12.x][SC-121250] 基本的な Dataset API メソッドを SparkConnect Scala Client に追加する
  • [SPARK-41979] [12.x][SC-121190][SQL] エラー クラスのエラー メッセージに不足しているドットを追加する
  • [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] Spark Connect の Scalar Inline Python UDF
  • [SPARK-42051] [SC-121994][SQL] HiveGenericUDF の Codegen サポート
  • [SPARK-42257] [SC-121948][CORE] 使用されていない変数外部ソーターを削除する
  • [SPARK-41735] [SC-121771][SQL] SparkListenerSQLExecutionEnd に STANDARD の代わりに MINIMAL を使用する
  • [SPARK-42236] [SC-121882][SQL] NULLABLE_ARRAY_OR_MAP_ELEMENT を改善
  • [SPARK-42233] [SC-121775][SQL] PIVOT_AFTER_GROUP_BY のエラー メッセージを改善
  • [SPARK-42229] [SC-121856][CORE] SparkCoreErrors をエラー クラスに移行
  • [SPARK-42163] [SC-121839][SQL] 折りたたみできない配列インデックスまたはマップ キーのスキーマ除去を修正
  • [SPARK-40711] [SC-119990][SQL] ウィンドウのスピル サイズ メトリクスを追加
  • [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] createDataFrame で AtomicType -> StringType 強制をサポートする
  • [SPARK-42202] [SC-121837][Connect][Test] E2E テスト サーバー停止ロジックを改善
  • [SPARK-41167] [SC-117425][SQL] バランスの取れた式ツリー述語を作成し、マルチタイプのパフォーマンスを改善
  • [SPARK-41931] [SC-121618][SQL] 不完全な複合型定義のエラー メッセージを改善
  • [SPARK-36124] [SC-121339][SC-110446][SQL] UNION により相関関係のあるサブクエリをサポート
  • [SPARK-42090] [SC-121290][3.3] RetryingBlockTransferor で sasl 再試行カウントを導入
  • [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR で FAIR スケジューラーを提供する必要がある
  • [SPARK-41572] [SC-120772][SQL] _LEGACY_ERROR_TEMP_2149 に名前を割り当てる
  • [SPARK-41983] [SC-121224][SQL] NULL_COMPARISON_RESULT のエラー メッセージの名前変更と改善を行う
  • [SPARK-41976] [SC-121024][SQL] INDEX_NOT_FOUND のエラー メッセージを改善
  • [SPARK-41994] [SC-121210][SC-120573] SQLSTATE を割り当てる (1/2)
  • [SPARK-41415] [SC-121117][3.3] SASL 要求再試行
  • [SPARK-38591] [SC-121018][SQL] flatMapSortedGroups and cogroupSorted の追加
  • [SPARK-41975] [SC-120767][SQL] INDEX_ALREADY_EXISTS のエラー メッセージを改善
  • [SPARK-42056] [SC-121158][SQL][PROTOBUF] Protobuf 関数に不足しているオプションを追加
  • [SPARK-41984] [SC-120769][SQL] RESET_PERMISSION_TO_ORIGINAL のエラー メッセージの名前変更と改善を行う
  • [SPARK-41948] [SC-121196][SQL] エラー クラス: CANNOT_PARSE_JSON_FIELD の NPE を修正
  • [SPARK-41772] [SC-121176][CONNECT][PYTHON] withField の doctest の正しくない列名を修正
  • [SPARK-41283] [SC-121175][CONNECT][PYTHON] array_append を Connect に追加
  • [SPARK-41960] [SC-120773][SQL] _LEGACY_ERROR_TEMP_1056 に名前を割り当てる
  • [SPARK-42134] [SC-121116][SQL] 参照先の属性なしでフィルターを処理するように getPartitionFiltersAndDataFilters() を修正
  • [SPARK-42096] [SC-121012][CONNECT] connect モジュールのコード クリーンアップ
  • [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] count(*) と count(col(*)) を修正
  • [SPARK-42045] [SC-120958][SC-120450][SQL] ANSI SQL モード: Round/Bround では、整数オーバーフローでエラーを解す必要がある
  • [SPARK-42043] [SC-120968][CONNECT] E2E テストの Scala クライアントの結果
  • [SPARK-41884] [SC-121022][CONNECT] 入れ子のある行としてネイティブ タプルをサポート
  • [SPARK-42112] [SC-121011][SQL][SS] ContinuousWriteRDD#compute 関数 close dataWriter の前に null チェックを追加
  • [SPARK-42077] [SC-120553][CONNECT][PYTHON] サポートされていない DataType に対してリテラルから TypeError をスローする必要がある
  • [SPARK-42108] [SC-120898][SQL] アナライザーを Count(*) から Count(1) に変換する
  • [SPARK-41666] [SC-120928][SC-119009][PYTHON] sql() によるパラメーター化された SQL のサポート
  • [SPARK-40599] [SC-120930][SQL] 代替があらゆる種類の Seq になれるよう、multiTransform ルールの種類を緩和
  • [SPARK-41574] [SC-120771][SQL] _LEGACY_ERROR_TEMP_2009 を INTERNAL_ERROR として更新する。
  • [SPARK-41579] [SC-120770][SQL] _LEGACY_ERROR_TEMP_1249 に名前を割り当てる
  • [SPARK-41974] [SC-120766][SQL] INCORRECT_END_OFFSET を INTERNAL_ERROR に変える
  • [SPARK-41530] [SC-120916][SC-118513][CORE] MedianHeap の名前を PercentileMap に変え、百分位数をサポート
  • [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Column クラスの文字列表現を修正
  • [SPARK-42084] [SC-120775][SQL] 修飾アクセス専用制限の漏洩を回避
  • [SPARK-41973] [SC-120765][SQL] _LEGACY_ERROR_TEMP_1311 に名前を割り当てる
  • [SPARK-42039] [SC-120655][SQL] SPJ: KeyGroupedPartitioning#partitionValuesOpt でオプションを削除
  • [SPARK-42079] [SC-120712][CONNECT][PYTHON] toDF と withColumnsRenamed の proto メッセージの名前を変更
  • [SPARK-42089] [SC-120605][CONNECT][PYTHON] 入れ子になったラムダ関数の変数名問題を修正
  • [SPARK-41982] [SC-120604][SQL] 文字列型のパーティションは数値型として処理しない
  • [SPARK-40599] [SC-120620][SQL] multiTransform メソッドを TreeNode に追加し、代替を生成
  • [SPARK-42085] [SC-120556][CONNECT][PYTHON] 入れ子にされた型を from_arrow_schema でサポートする
  • [SPARK-42057] [SC-120507][SQL][PROTOBUF] エラー報告での例外処理方法を修正。
  • [SPARK-41586] [12.x][ALL TESTS][SC-120544][PYTHON] PySpark の pyspark.errors とエラー クラスを導入。
  • [SPARK-41903] [SC-120543][CONNECT][PYTHON] Literal で 1-dim ndarray をサポートする必要がある
  • [SPARK-42021] [SC-120584][CONNECT][PYTHON] createDataFrame で array.array をサポートする
  • [SPARK-41896] [SC-120506][SQL] 行インデックスによるフィルター処理で空の結果が返される
  • [SPARK-41162] [SC-119742][SQL] 集計を使用した自己結合の反結合および半結合を修正する
  • [SPARK-41961] [SC-120501][SQL] LATERAL でテーブル値関数をサポート
  • [SPARK-41752] [SC-120550][SQL][UI] 入れ子になっている実行をルート実行の下でグループ化する
  • [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] リテラルで Numpyデータ型をサポートする必要がある
  • [SPARK-42028] [SC-120344][CONNECT][PYTHON] ナノ秒タイムスタンプの切り捨て
  • [SPARK-42011] [SC-120534][CONNECT][PYTHON] DataFrameReader.csv の実装
  • [SPARK-41990] [SC-120532][SQL] V1 から V2 へのフィルター変換で FieldReference.column の代わりに apply を使用
  • [SPARK-39217] [SC-120446][SQL] 排除側の Union を DPP でサポート
  • [SPARK-42076] [SC-120551][CONNECT][PYTHON] データ変換 arrow -> rows をファクタリングして conversion.py にする
  • [SPARK-42074] [SC-120540][SQL] KryoSerializer で TPCDSQueryBenchmark を有効にし、SQL クラス登録を強制する
  • [SPARK-42012] [SC-120517][CONNECT][PYTHON] DataFrameReader.orc の実装
  • [SPARK-41832] [SC-120513][CONNECT][PYTHON] DataFrame.unionByName を修正し、allow_missing_columns を追加
  • [SPARK-38651] [SC-120514] [SQL] spark.sql.legacy.allowEmptySchemaWrite を追加
  • [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert で子として ExpressionProxy を受け取る必要がある
  • [SPARK-41232] [SC-120073][SQL][PYTHON] array_append 関数の追加
  • [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] DataFrameReader でパスの一覧をサポートする必要がある
  • [SPARK-42071] [SC-120533][CORE] scala.math.Ordering$Reverse を KyroSerializer に登録する
  • [SPARK-41986] [SC-120429][SQL] SinglePartition でシャッフルを導入
  • [SPARK-42016] [SC-120428][CONNECT][PYTHON] 入れ子になった列に関連するテストを有効にする
  • [SPARK-42042] [SC-120427][CONNECT][PYTHON] DataFrameReader で StructType スキーマをサポートする必要がある
  • [SPARK-42031] [SC-120389][CORE][SQL] オーバーライドを必要としない remove メソッドを消去する
  • [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] 入れ子にされた型を createDataFrame(rows/lists/tuples/dicts) でサポートする
  • [SPARK-41437] [SC-117601][SQL][ALL TESTS] v1 書き込みフォールバックに対して入力クエリを 2 回最適化しない
  • [SPARK-41840] [SC-119719][CONNECT][PYTHON] 不足している別名 groupby を追加
  • [SPARK-41846] [SC-119717][CONNECT][PYTHON] ウィンドウ関数の doctests を有効にする
  • [SPARK-41914] [SC-120094][SQL] outputOrdering にアクセスする前に FileFormatWriter で AQE プランを具体化する
  • [SPARK-41805] [SC-119992][SQL] WindowSpecDefinition で式を再利用する
  • [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range で引数として float を受け取る
  • [SPARK-42029] [SC-120336][CONNECT] Guava Shading ルールを connect-common に追加して起動時エラーを回避する
  • [SPARK-41989] [SC-120334][PYTHON] pyspark.pandas からのログ記録の構成を中断しないようにする
  • [SPARK-42003] [SC-120331][SQL] ResolveGroupByAll で重複するコードを減らす
  • [SPARK-41635] [SC-120313][SQL] group by all のエラー報告を修正
  • [SPARK-41047] [SC-120291][SQL] round に関するドキュメントを改善
  • [SPARK-41822] [SC-120122][CONNECT] Scala/JVM クライアントの gRPC 接続を設定
  • [SPARK-41879] [SC-120264][CONNECT][PYTHON] 入れ子にされた型を DataFrame.collect でサポートする
  • [SPARK-41887] [SC-120268][CONNECT][PYTHON] リストの型パラメーターを DataFrame.hint で受け取る
  • [SPARK-41964] [SC-120210][CONNECT][PYTHON] サポートされていない IO 関数の一覧を追加
  • [SPARK-41595] [SC-120097][SQL] FROM 句のジェネレーター関数 explode/explode_outer をサポート
  • [SPARK-41957] [SC-120121][CONNECT][PYTHON] DataFrame.hint の doctest を有効にする
  • [SPARK-41886] [SC-120141][CONNECT][PYTHON] DataFrame.intersect doctest 出力の順序が異なる
  • [SPARK-41442] [SC-117795][SQL][ALL TESTS] 有効なメトリックでマージする場合に SQLMetric 値のみを更新する
  • [SPARK-41944] [SC-120046][CONNECT] ローカル リモート モードがオンのときに構成を渡す
  • [SPARK-41708] [SC-119838][SQL] v1write 情報を WriteFiles にプルする
  • [SPARK-41780] [SC-120000][SQL] パラメーター regexp が無効なときに INVALID_PARAMETER_VALUE.PATTERN をスローする
  • [SPARK-41889] [SC-119975][SQL] invalidPatternError に根本原因をアタッチし、エラー クラス INVALID_PARAMETER_VALUE をリファクターする
  • [SPARK-41860] [SC-120028][SQL] AvroScanBuilder と JsonScanBuilder をケース クラスにする
  • [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python: pyarrow.Table.to_pylist でコネクト クライアントのデータ列が失われる
  • [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] 依存しないエンコーダー
  • [SPARK-41354] [SC-119995][CONNECT][PYTHON] RepartitionByExpression の実装
  • [SPARK-41581] [SC-119997][SQL] _LEGACY_ERROR_TEMP_1230 を INTERNAL_ERROR として更新
  • [SPARK-41928] [SC-119972][CONNECT][PYTHON] functions のサポートされていないリストを追加
  • [SPARK-41933] [SC-119980][CONNECT] サーバーを自動的に起動するローカル モードを提供
  • [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame` でユーザー定義の DDL スキーマに従う
  • [SPARK-41936] [SC-119978][CONNECT][PYTHON] withMetadata で withColumns proto を再利用する
  • [SPARK-41898] [SC-119931][CONNECT][PYTHON] Window.rowsBetween パラメーターとWindow.rangeBetween パラメーターの pyspark によるパリティ型チェック
  • [SPARK-41939] [SC-119977][CONNECT][PYTHON] catalog 関数のサポートされていないリストの追加
  • [SPARK-41924] [SC-119946][CONNECT][PYTHON] StructType でメタデータをサポートし、DataFrame.withMetadata を実装する
  • [SPARK-41934] [SC-119967][CONNECT][PYTHON] session のサポートされていない関数リストの追加
  • [SPARK-41875] [SC-119969][CONNECT][PYTHON] Dataset.to() のテスト ケースの追加
  • [SPARK-41824] [SC-119970][CONNECT][PYTHON] connect の explain で doctest を無視する
  • [SPARK-41880] [SC-119959][CONNECT][PYTHON] 関数 from_json で非リテラル スキーマを受け取るようにする
  • [SPARK-41927] [SC-119952][CONNECT][PYTHON] GroupedData のサポートされていないリストを追加
  • [SPARK-41929] [SC-119949][CONNECT][PYTHON] 関数 array_compact を追加する
  • [SPARK-41827] [SC-119841][CONNECT][PYTHON] GroupBy で列リストを受け取るようにする
  • [SPARK-41925] [SC-119905][SQL] 既定で spark.sql.orc.enableNestedColumnVectorizedReader を有効にする
  • [SPARK-41831] [SC-119853][CONNECT][PYTHON] DataFrame.select で列リストを受け取るようにする
  • [SPARK-41455] [SC-119858][CONNECT][PYTHON] DataFrame.collect でタイムゾーン情報を破棄する
  • [SPARK-41923] [SC-119861][CONNECT][PYTHON] サポートされていないリストに DataFrame.writeTo を追加する
  • [SPARK-41912] [SC-119837][SQL] サブクエリで CTE を検証しない
  • [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] createDataFrame で空のデータフレームをサポートする
  • [SPARK-41905] [SC-119848][CONNECT] スライスで文字列として名前をサポートする
  • [SPARK-41869] [SC-119845][CONNECT] dropDuplicates で単一文字列を拒否する
  • [SPARK-41830] [SC-119840][CONNECT][PYTHON] DataFrame.sample に PySpark と同じパラメーターを受け取らせる
  • [SPARK-41849] [SC-119835][CONNECT] DataFrameReader.text の実装
  • [SPARK-41861] [SC-119834][SQL] v2 ScanBuilders’ build() に型ありのスキャンを返させる
  • [SPARK-41825] [SC-119710][CONNECT][PYTHON] DataFrame.show 関連の doctest を有効にする
  • [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] createDataFrame に None/NaN を適切に処理させる
  • [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] DataFrame.collect に None/NaN/Array/Binary を適切に処理させる
  • [SPARK-39318] [SC-119713][SQL] tpch-plan-stability WithStats ゴールデン ファイルを削除する
  • [SPARK-41791] [SC-119745] 新しいファイル ソース メタデータ列型を追加
  • [SPARK-41790] [SC-119729][SQL] TRANSFORM のリーダーとライターの書式を正しく設定する
  • [SPARK-41829] [SC-119725][CONNECT][PYTHON] Sort と sortWithinPartitions に不足している順序パラメーターを追加する
  • [SPARK-41576] [SC-119718][SQL] _LEGACY_ERROR_TEMP_2051 に名前を割り当てる
  • [SPARK-41821] [SC-119716][CONNECT][PYTHON] DataFrame.describe の doctest を修正
  • [SPARK-41871] [SC-119714][CONNECT] DataFrame ヒント パラメーターを str, float または int にすることができる
  • [SPARK-41720] [SC-119076][SQL] UnresolvedFunc の名前を UnresolvedFunctionName に変更する
  • [SPARK-41573] [SC-119567][SQL] _LEGACY_ERROR_TEMP_2136 に名前を割り当てる
  • [SPARK-41862] [SC-119492][SQL] Orc リーダーで既定値に関連する正確性のバグを修正
  • [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] INVALID_TYPED_LITERAL の代わりに _LEGACY_ERROR_TEMP_0022 を再利用する

メンテナンスの更新

「Databricks Runtime 12.2 メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.19
  • R: 4.2.2
  • Delta Lake: 2.2.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
クリックし 8.0.4 cryptography 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0.11 entrypoints 0.4 executing 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
ノートブック 6.4.8 numpy 1.21.5 パッケージング 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 rope 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
6 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

インストールされている R ライブラリ

R ライブラリは、2022 年 11 月 11 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob (blob) 1.2.3
boot 1.3-28 brew 1.0 から 8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 キャレット 6.0-93 cellranger 1.1.0
chron 2.3-58 クラス 7.3-21 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 資格情報 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 ライフサイクル 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1