Databricks Runtime 10.1 (サポート期間終了)

次のリリース ノートには、Apache Spark 3.2.0 で稼働する Databricks Runtime 10.1 と Databricks Runtime 10.1 Photon に関する情報が記載されています。 Databricks は、2021 年 11 月にこのバージョンをリリースしました。 Photon はパブリック プレビュー段階にあります。

新機能と機能強化

• 小さいファイルを圧縮する新しい Delta テーブルの設定
• Parquet クエリ スキャンの新しい行グループのメトリック
• Delta ソース ストリーミング クエリの Trigger.AvailableNow
• 自動ローダーの Trigger.AvailableNow
• DataFrame オプションを介して渡される Hadoop ファイル システム構成に対する Delta のサポート
• ステートフル ストリーミング ジョブでの非同期状態のチェックポイント処理のサポートを実現 (パブリック プレビュー)
• 資格情報パススルーを使用した Sparklyr
• Databricks ユーティリティのデータ集計精度の制御 (パブリック プレビュー)
• IPython カーネルでの Azure Databricks ノートブックの使用の実現
• Spark SQL の新しい関数

小さいファイルを圧縮する新しい Delta テーブルの設定

Delta テーブル プロパティ delta.autoOptimize.autoCompact は、true と false の既存の値の他に、auto と legacy の新しい値を受け入れるようになりました。 自動圧縮を auto (推奨) に設定すると、ターゲット ファイル サイズとして 32 MB を設定するなど、より優れた既定値が使用されます (ただし、既定の動作は今後変更される可能性があります)。 自動圧縮を legacy または true に設定すると、ターゲット ファイル サイズとして 128 MB が使用されます。

個々のテーブルにこのプロパティを設定する代わりに、spark.databricks.delta.autoCompact.enabled 構成を auto、legacy、または true に設定することで、すべての Delta テーブルに対して自動圧縮を有効にできます。 この構成は、現在のセッション中は関連するテーブル プロパティよりも優先されます。

自動圧縮のターゲット ファイル サイズは、spark.databricks.delta.autoCompact.maxFileSize 構成で制御できます。

自動圧縮の詳細については、「Delta Lake on Azure Databricks の自動圧縮」を参照してください。

Parquet クエリ スキャンの新しい行グループのメトリック

Parquet スキャンを使用したクエリで、Spark UI に行グループのメトリックが表示されます。 これらの行グループのメトリックは次のとおりです。

• Parquet 行グループの総数
• Parquet 行グループの読み取り数

Delta ソース ストリーミング クエリに対する Trigger.AvailableNow

この変更では、Scala での Delta ソース ストリーミング クエリの新しい種類のトリガー Trigger.AvailableNow がサポートされています。 これは、Trigger.Once のように、使用できるすべてのデータを処理した後で、クエリを停止します。 ただし、Trigger.AvailableNow では、データを 1 つではなく複数のバッチで処理できるため、スケーラビリティが向上します。 この変更では、新しいインターフェイスは導入されず、既存の Spark API が実装されます。 このトリガーでは、ソースとして Delta ですでにサポートされているレート制限オプションもすべてサポートされます。

例:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

「自動ローダー」で Trigger.AvailableNow の取り扱い部分を参照してください。

自動ローダーの Trigger.AvailableNow

Trigger.AvailableNow は、Trigger.Once に似た新しいストリーミング トリガー モードです。 Trigger.Once は、使用できるすべてのデータを処理した後、クエリを停止します。 Trigger.AvailableNow では、データを 1 つではなく複数のバッチで処理できるため、スケーラビリティが向上しています。 自動ローダーでは、Scala のディレクトリ リストとファイル通知モードの両方で Trigger.AvailableNow がサポートされるようになりました。 「自動ローダー」で Trigger.AvailableNow の取り扱い部分を参照してください。

DataFrame オプションを介して渡される Hadoop ファイル システム構成に対する Delta のサポート

Parquet と同様に、Delta では、DataFrameReader.load(path) または DataFrameWriter.save(path) を使用して、テーブルの読み取りまたは書き込みを行う場合に DataFrameReader オプションと DataFrameWriter オプションからの Hadoop ファイル システム構成の読み取りがサポートされるようになりました。 「Delta ストレージの資格情報を構成する」を参照してください。

ステートフル ストリーミング ジョブでの非同期状態のチェックポイント処理のサポートを実現 (パブリック プレビュー)

非同期状態のチェックポイント処理は新しい機能であり、大規模な状態更新プログラムを使用するステートフル ストリーミング ジョブでのエンドツーエンドのマイクロバッチ待機時間が短縮される可能性があります。 「ステートフル クエリの非同期状態チェックポイント処理」を参照してください。

資格情報パススルーを使用した Sparklyr

Sparklyr API を使用すると、クラウド ストレージに対するデータの読み書きが資格情報パススルーを使用してできるようになりました。 この機能は、1 つのユーザー アクセス権を持つ標準クラスターに限定されます。 「Microsoft Entra ID 資格情報パススルーを使用して Azure Data Lake Storage にアクセスする (レガシ)」を参照してください。

Databricks ユーティリティのデータ集計精度の制御 (パブリック プレビュー)

dbutils.data.summarize 列の新しい precise パラメーターは、概要結果の精度を制御します。 precise がfalse (既定値) に設定されている場合、概要には、個別のカウント、パーセンタイル、および頻繁に使用される項目数のおおよその結果が返されます。 precise が true に設定されている場合、正確な個別のカウントと頻繁に使用される項目数を使用して集計が計算されるようになり、より正確なパーセンタイルの推定値が得られるようになりました。 「summarize コマンド (dbutils.data.summarize)」を参照してください。

IPython カーネルでの Azure Databricks ノートブックの使用の実現

Python コードを実行するために IPython カーネルを使用して Azure Databricks クラスターを構成できるようになりました。 IPython カーネルを Azure Databricks で使用すると、IPython の表示および出力ツールのサポートが追加されます。 また、IPython カーネルは、ノートブックによって作成された子プロセスの stdout 出力と stderr 出力をキャプチャし、その出力をノートブックのコマンド結果に含めることもできます。

詳細については、「IPython カーネル」を参照してください。

Spark SQL の新しい関数

Unity Catalog (プレビュー) のデータを操作するために、次のオブジェクトとコマンドが追加されました。

• 外部の場所
• ALTER CATALOG
• ALTER CREDENTIAL
• ALTER LOCATION
• CREATE CATALOG
• CREATE LOCATION
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• DESCRIBE LOCATION
• DROP CATALOG
• DROP CREDENTIAL
• DROP LOCATION
• リスト
• SHOW CATALOGS
• SHOW CREDENTIALS
• SHOW LOCATIONS
• USE CATALOG

Delta Sharing (プレビュー) 用に次のコマンドが追加されました。これにより、読み取り専用データを組織外の受信者と共有できます。

• 共有
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT SHARE
• REVOKE SHARE
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

バグの修正

• No FileSystem for scheme のような IOException でのクエリ エラーを発生させる可能性や、クエリでは反映されない sparkContext.hadoopConfiguration への変更を発生させる可能性のある競合状態を修正しました。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • filelock (3.0.12 から 3.3.1 へ)
  • koalas (1.8.1 から 1.8.2 へ)
  • plotly (5.1.0 から 5.3.0 へ)
• アップグレードされた R ライブラリ:
  • bslib (0.3.0 から 0.3.1 へ)
  • caret (6.0-88 から 6.0-90 へ)
  • cpp11 (0.3.1 から 0.4.0 へ)
  • data.table (1.14.0 から 1.14.2 へ)
  • desc (1.3.0 から 1.4.0 へ)
  • diffobj (0.3.4 から 0.3.5 へ)
  • digest (0.6.27 から 0.6.28 へ)
  • generics (0.1.0 から 0.1.1 へ)
  • hms (1.1.0 から 1.1.1 へ)
  • knitr (1.34 から 1.36 へ)
  • lattice (0.20-44 から 0.20-45 へ)
  • lifecycle (1.0.0 から 1.0.1 へ)
  • lubridate (1.7.10 から 1.8.0 へ)
  • mgcv (1.8-37 から 1.8-38 へ)
  • mime (0.11 から 0.12 へ)
  • pkgload (1.2.2 から 1.2.3 へ)
  • progressr (0.8.0 から 0.9.0 へ)
  • rcmdcheck (1.3.3 から 1.4.0 へ)
  • readr (2.0.1 から 2.0.2 へ)
  • recipes (0.1.16 から 0.1.17 へ)
  • remotes (2.4.0 から 2.4.1 へ)
  • rlang (0.4.11 から 0.4.12 へ)
  • rvest (1.0.1 から 1.0.2 へ)
  • shiny (1.6.0 から 1.7.1 へ)
  • stringi (1.7.4 から 1.7.5 へ)
  • testthat (3.0.4 から 3.1.0 へ)
  • tidyr (1.1.3 から 1.1.4 へ)
  • tinytex (0.33 から 0.34 へ)
  • usethis (2.0.1 から 2.1.2 へ)
  • xfun (0.26 から 0.27 へ)
• アップグレードされた Java ライブラリ:
  • com.zaxxer.HikariCP (3.1.0 から 4.0.3 へ)

Apache Spark

Databricks Runtime 10.1 には、Apache Spark 3.2.0 が含まれています。 このリリースには、Databricks Runtime 10.0 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

• [SPARK-37037] [SQL] UTF8String と ByteArray の compareTo 関数を統一することでバイト配列の並べ替えを改善する
• [SPARK-37091] [R] Java < 18 を SystemRequirements に含める
• [SPARK-37041] [SQL] Backport HIVE-15025: Secure-Socket-Layer (SSL) で HMS をサポートする
• [SPARK-37098] [SQL] テーブルのプロパティを変更するとキャッシュを無効にする
• [SPARK-36992] [SQL] UTF8String と ByteArray の getPrefix 関数を統一することでバイト配列の並べ替えを改善する
• [SPARK-37047] [SQL] バイナリ文字列に lpad 関数と rpad 関数を追加する
• [SPARK-37076] [SQL] StructType.toString を明示的に Scala 2.13 に実装する
• [SPARK-37075] [SQL] UDAF 式の構築を sql/catalyst から sql/core に移動する
• [SPARK-37084] [SQL] spark.sql.files.openCostInBytes を bytesConf に設定する
• [SPARK-37088] [PYSPARK][SQL] タスク完了リスナーが返された後はライター スレッドを入力にアクセスさせない
• [SPARK-37069] [SQL] Hive.getWithoutRegisterFns が使用できない場合に適切にフォールバックする
• [SPARK-37050] [PYTHON] Conda のインストール手順を更新する
• [SPARK-37067] [SQL] ZoneId.of() を使用して DatetimeUtils 内のタイムゾーン文字列を処理する
• [SPARK-35925] [SQL] width-bucket 関数での DayTimeIntervalType をサポートする
• [SPARK-35926] [SQL] width_bucket 関数の YearMonthIntervalType をサポートする
• [SPARK-35973] [SQL] コマンド SHOW CATALOGS を追加する
• [SPARK-36922] [SQL] SIGN/SIGNUM 関数で ANSI 間隔をサポートする
• [SPARK-37078] [CORE] 古い 3 パラメーター シンク コンストラクターをサポートする
• [SPARK-37061] [SQL] 内部クラスを使用するときの CustomMetrics を修正する
• [SPARK-35918] [AVRO] 読み取り/書き込みのスキーマ不一致処理を統一し、エラー メッセージを強化する
• [SPARK-36871] [SQL] CreateViewStatement を v2 コマンドに移行する
• [SPARK-36898] [SQL] シャッフル ハッシュ結合係数を構成可能にする
• [SPARK-36921] [SQL] DIV で ANSI 間隔をサポートする
• [SPARK-36794] [SQL] SEMI/ANTI シャッフル ハッシュ結合の関係を構築するときに重複する結合キーを無視する
• [SPARK-36867] [SQL] GROUP BY の別名でエラー メッセージを修正する
• [SPARK-36914] [SQL] JDBC で dropIndex と listIndexes を実装する (MySQL 言語)
• [SPARK-35531] [SQL] getPartitions を呼び出すときに Hive テーブルを直接 HiveClient へ渡して HiveTable から > CatalogTable、> HiveTable への不要な変換を回避する
• [SPARK-36718] [SQL] 高コストの言語式を重複させない場合は、プロジェクトのみを折りたたむ
• [SPARK-37046] [SQL]: ビューを変更すると、列の大文字と小文字の区別は保持されない
• [SPARK-36978] [SQL] InferConstraints ルールでは、ルートの入れ子になった型ではなく、アクセスされた入れ子のフィールドに IsNotNull 制約を作成する必要がある
• [SPARK-37052] [CORE] SQL シェルの場合、Spark は –verbose 引数のみをメイン クラスに渡す必要がある
• [SPARK-37017] [SQL] 潜在的なデッドロックを防ぐために同期のスコープを削減する
• [SPARK-37032] [SQL] SQL 参照ページ内の破損した SQL構文リンクを修正する
• [SPARK-36905] [SQL] 列名が明示的に指定されていない Hive ビューの読み取りを修正する
• [SPARK-36678] SHOW TABLES を移行して既定で V2 コマンドを使用する
• [SPARK-36943] [SQL] 列の欠落エラー メッセージの読みやすさを向上させる
• [SPARK-36980] [SQL] CTE を使用してサポート クエリを挿入する
• [SPARK-37001] [SQL] 既定で最終的なハッシュ集計のために 2 レベルのマップを無効にする
• [SPARK-36970] [SQL] date_format 関数の 形式 B を手動で無効にして Java 8 との互換性を Java 17 に持たせる
• [SPARK-36546] [SQL] 名前による和集合に配列のサポートを追加する
• [SPARK-36979] [SQL] RewriteLateralSubquery ルールを nonExcludableRules に追加する
• [SPARK-36949] [SQL] ANSI 間隔で Hive プロバイダー テーブルを禁止する
• [SPARK-36849] [SQL] UseStatement を v2 コマンド フレームワークに移行する
• [SPARK-36868] [SQL] CreateFunctionStatement を v2 コマンド フレームワークに移行する
• [SPARK-36841] [SQL] ANSI 構文set catalog xxx を追加して現在のカタログを変更する
• [SPARK-36821] [SQL] クラス ColumnarBatch を拡張可能にする - 補遺
• [SPARK-36963] [SQL] smax_by/min_by を sql.functions に追加する
• [SPARK-36913] [SQL] DS V2 JDBC で createIndex と IndexExists を実装する (MySQL 言語)
• [SPARK-36848] [SQL] ShowCurrentNamespaceStatement を v2 コマンド フレームワークに移行する
• [SPARK-36526] [SQL] DSV2 インデックスのサポート: supportsIndex インターフェイスを追加する
• [SPARK-36960] [SQL] ANSI 間隔値が ORC に設定されたフィルターのプッシュダウン
• [SPARK-36929] [SQL] 使用されていないメソッド EliminateSubqueryAliasesSuite#assertEquivalent を削除する
• [SPARK-36931] [SQL] ORC データソースに対する ANSI 間隔の読み取りと書き込みをサポートする
• [SPARK-34980] [SQL] AQE で和集合を使用して coalesce partition をサポートする
• [SPARK-36809] [SQL] DPP で使用される InSubqueryExec のブロードキャストを削除する
• [SPARK-36813] [SQL][PYTHON] as-of join のインフラストラクチャを提案し、ps.merge_asof を実装する
• [SPARK-36918] [SQL] unionByName の構造体を比較するときに型を無視する
• [SPARK-36891] [SQL] SpecificParquetRecordReaderBase をリファクターし、ベクター化された Parquet デコードのカバレッジを追加する
• [SPARK-36920] [SQL] ABS() で ANSI 間隔をサポートする
• [SPARK-36888] [SQL] sha2 関数のテストケースを追加する
• [SPARK-36889] [SQL] v2 Parquet スキャン ビルダーで spark.sql.parquet.filterPushdown を優先する
• [SPARK-36830] [SQL] JSON データソースに対する ANSI 間隔の読み取りと書き込みをサポートする
• [SPARK-36870] [SQL] INTERNAL_ERROR エラークラスを導入する
• [SPARK-36831] [SQL] CSV データソースに対する ANSI 間隔の読み取りと書き込みをサポートする
• [SPARK-36550] [SQL] UDF リフレクションが失敗した場合の伝達の原因
• [SPARK-36866] [SQL] ANSI 間隔値が Parquetに設定されたフィルターのプッシュダウン
• [SPARK-33832] [SQL] スキュー結合コードの簡略化と改善を適用する
• [SPARK-36642] [SQL] df.withMetadata pyspark API を追加する
• [SPARK-35765] [SQL] 個別の集計は重複を認識しない
• [SPARK-36825] [SQL] Parquet ファイに対する ANSI 間隔を含むデータフレームの読み取り/書き込み
• [SPARK-36829] [SQL] collectionOperators の NULL チェックをリファクターする
• [SPARK-32712] [SQL] Hive バケット化テーブル (Hive ハッシュを使用した Hive ファイル形式) の書き込みをサポートする
• [SPARK-36797] [SQL] 和集合では、入れ子の列を上位列として解決する必要がある
• [SPARK-36838] [SQL] InSet 生成コードのパフォーマンスを向上させる
• [SPARK-36683] [SQL] 新しい組み込み SQL 関数を追加する: SEC と CSC
• [SPARK-36721] [SQL] 一方の側がリテラルの場合は、ブール等値を簡略化する
• [SPARK-36760] [SQL] インターフェイス SupportsPushDownV2Filters を追加する
• [SPARK-36652] [SQL] AQL の動的結合の選択は非当結合には適用しない
• [SPARK-36745] [SQL] ExtractEquiJoinKeys は、結合キーの元の述語を返す必要がある
• [SPARK-36107] [SQL] エラークラスを使用するために 20 個のクエリ実行エラーの最初のセットをリファクターする
• [SPARK-32709] [SQL] Hive バケット化テーブル (Hive ハッシュを使用した Parquet/ORC ファイル形式) の書き込みをサポートする
• [SPARK-36735] [SQL] DPP のキャッシュされた関係のオーバーヘッドを調整する
• [SPARK-33832] [SQL] 追加シャッフルを導入する場合でも、スキュー結合の最適化をサポートする
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec は、非等条件ではなく、すべての条件を使用する必要がある
• [SPARK-35221] [SQL] サポートされている結合ヒントの検査を追加する
• [SPARK-36814] [SQL] クラス ColumnarBatch を拡張可能にする
• [SPARK-36663] [SQL] ORC データ ソース内の数値のみの列名をサポートする
• [SPARK-36751] [SQL][PYTHON][R] bit/octet_length API を Scala、Python、R に追加する
• [SPARK-36733] [SQL] 構造体に多数のフィールドがある場合に SchemaPruning のパフォーマンスの問題を修正する
• [SPARK-36724] [SQL] SessionWindow の時間列の種類として timestamp_ntz をサポートする
• [SPARK-36556] [SQL] DSV2 フィルターを追加する
• [SPARK-36687] [SQL] [CORE] _ERROR サフィックスを持つエラークラスの名前を変更する
• [SPARK-35803] [SQL] DataSource V2 の CreateTempViewUsing をサポートする
• [SPARK-36642] [SQL] データフレームのメタデータを更新する糖衣構文である df. withmetadata を追加する

メンテナンスの更新

「Databricks Runtime 10.1メンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティング システム: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2021 年 10 月 26 日に Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)