Databricks Runtime 4.3 (サポート期間終了)

Databricks は、2018 年 8 月にこのバージョンをリリースしました。

次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 4.3 に関する情報が記載されています。

新機能

• Delta Lake
  • TRUNCATE TABLE コマンド: テーブルからすべての行を削除します。 Spark テーブルに対応するテーブルとは異なり、Delta テーブルでは、特定のパーティションの削除はサポートされていません。
  • ALTER TABLE REPLACE COLUMNS コマンド: Delta テーブルの列を置き換えます。 列のコメントの変更と複数の列の並べ替えをサポートしています。
  • FSCK REPAIR TABLE コマンド: 基になるファイル システムに見つからなくなったファイル エントリを Delta テーブルのトランザクション ログから削除します。 これは、これらのファイルが手動で削除された場合に行われる可能性があります。
  • 対話型クエリ エクスペリエンスを向上させるための、古い Delta テーブルに対するクエリのサポート。最新の結果が不要な場合に、古いバージョンのテーブルで Delta テーブルに対するクエリを実行できるようになりました。 この機能により、特に基になる Delta テーブルがストリームを介して継続的に更新される場合に、クエリの待機時間が短縮されます。
• 構造化ストリーミング
  • Azure Synapse Analytics コネクタのスケーラブルなストリーミング書き込みのサポート。
  • Python での foreachBatch() のサポート (Scala で既に利用可能)。 詳細については、foreach と foreachBatch に関するドキュメントを参照してください。
  • クエリに複数の入力ストリームがある場合に、最小または最大のウォーターマークを選択するためのサポート。 以前は、最小タイムスタンプが常に使用されていました。 詳細については、「複数のウォーターマーク ポリシー」を参照してください。
  • LIMIT および Append 出力モードでのストリームに対する Complete 演算子のサポート。 ドライバーの OOM エラーを最小限に抑えるために、アンバウンド ストリームで LIMIT を使用すると display() が自動的に適用されます。

機能強化

• Delta Lake

  • 10,000 行の挿入制限を持たない MERGE INTO コマンドの新しいスケーラブルな実装のプライベート プレビュー。 これを試す場合は、サポートにお問い合わせください。
  • 特に大規模なクラスターで OPTIMIZE コマンドのパフォーマンスとスケーラビリティが向上しました。
  • OPTIMIZE コマンドはテーブルに増分コミットするようになりました。つまり、コマンドが失敗した場合、再試行でデータ セット全体を処理する必要はありません。
  • Delta Lake をストリーミング ソースとして使用するときに新しいデータを検出するために必要なファイル システム RPC の数が減りました。
  • ストリームから Delta テーブルを作成するために Python での df.writeStream.table(table-name) のサポートが追加されました。

• 複数の結合、集計、またはウィンドウを使用したクエリのパフォーマンスが向上しました。

• ブロードキャスト ハッシュ結合を使用したクエリでパーティション レベルの排除の効率が向上しました。

• 重複する式を検出し、生成されるコードの量を減らし、特定の式の種類のパフォーマンスを向上させるために、ステージ コードの生成全体が改善されています。

• 同時実行性の高いクラスターでは、ノートブックでの %fs の実行がサポートされるようになりました。

• PySpark で使用される Py4J を 0.10.7 にアップグレードしました。

• Azure Ls シリーズ インスタンスでのディスク キャッシュのパフォーマンスが向上しました。 これらのインスタンスでキャッシュが既定で有効にされるようになり、Parquet ファイルを繰り返し読み取るワークロードが高速化されます。

非推奨の機能

• Databricks Delta 外部でのデータ スキップは非推奨となっています。 データ スキップの拡張バージョンは、Delta Lake の一部として引き続き使用できます。 この機能を引き続き利用するには、Delta Lake の使用に切り替えることをお勧めします。 詳細については、Databricks Delta のデータ スキップに関するページを参照してください。

バグの修正

• ターゲット テーブルのみを参照する述語が ON 条件にある場合の、Delta の不適切な述語プッシュダウン MERGE INTO ステートメントを修正しました。
• 状態が削除された場合のタイムアウト設定を妨げていた mapGroupsWithState と flatMapGroupsWithState のバグを修正しました (SPARK-22187)。
• ウォーターマークが Trigger.Once で正しく動作できないようにするバグを修正しました (SPARK-24699)。
• Update コマンドによって、SET 句の列が検証され、すべての列が実際に存在し、2 回以上設定されていないことが確認されるようになりました。
• ディレクトリ コミットのデッドロックを引き起こす可能性がある潜在的な競争状態を修正しました。

• マウントを更新するときに非推奨バージョンの DBFS クライアントが使用される原因となるバグを修正しました。

既知の問題

• テーブルの Delta Lake 構成オプションは、テーブルを読み込む最初のノートブックでのみ有効になります。

Apache Spark

Databricks Runtime 4.3 には、Apache Spark 2.3.1 が含まれています。 このリリースには、Databricks Runtime 4.2 (サポート期間終了) に含まれるすべての修正と機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

• [SPARK-24934][SQL] メモリ内パーティション排除の上限または下限でサポートされる型を明示的に許可する
  • キャッシュされたデータに対するクエリ フィルターで複合データ型を使用すると、Spark では常に空の結果セットを返します。 複合型の上限または下限に対して null 値が設定されるため、インメモリ統計ベースの排除で正しくない結果が生成されます。 修正方法は、複合型に対してインメモリ統計ベースの排除を使用しないようにすることです。
• [SPARK-24957][SQL] 10 進数を含む平均の後に集計が続くと、間違った結果が返される
  • AVERAGE の正しくない結果が返される場合があります。 Divide の結果がキャスト先と同じ型である場合、Average 演算子で追加された CAST がバイパスされます。
• [SPARK-24867][SQL] AnalysisBarrier を DataFrameWriter に追加する
  • DataFrameWriter を使用して UDF を含む DataFrame を記述する場合、SQL キャッシュは使用されません。 これは、一部の Analyzer ルールがべき等ではないために、AnalysisBarrier で行った変更によって発生する回帰です。
• [SPARK-24790][SQL] Pivot で複雑な集計式を許可する
  • 検査を緩和し、ceil(sum(col1)) や sum(col1) + 1 などの複雑な集計式を許可します。これは、pandas UDF を除く集計プランに出現する可能性がある集計式を大まかに意味します。
• [SPARK-24870][SQL] SQL に大文字と小文字が含まれている場合にキャッシュが正常に動作しない
  • プランの正規化の問題を修正します。
• [SPARK-24852] spark.ml トレーニングで更新された "インストルメンテーション" API が使用される。
• [SPARK-24891][SQL] HandleNullInputsForUDF ルールを修正する
  • HandleNullInputsForUDF ルールをべき等にし、プランが複数回分析される場合にキャッシュ マネージャーでプランの不一致を回避します。
• [SPARK-24878][SQL] null 値を含むプリミティブ型の配列型に対し reverse 関数を修正。
• [SPARK-24871][SQL] 行ごとに連結オブジェクトを作成することを回避するために Concat と MapConcat をリファクターする。
• [SPARK-24802][SQL] 最適化ルール除外の新しい構成を追加する
  • 一部のオプティマイザー ルールを除外するための構成をユーザーに提供します。
• [SPARK-24879][SQL] Hive パーティション排除のフィルター プッシュダウンで NPE を修正する
  • パーティション述語が col IN (1, null) などの場合、NPE がスローされます。 このパッチによって修正されます。
• [SPARK-23731][SQL] FileSourceScanExec を (逆) シリアル化後に正規化可能にする
• [SPARK-24755][CORE] Executor の損失が原因でタスクが再送信されない場合がある
  • Executor の損失によって失敗したタスクが Spark で再送信されない可能性があるバグを修正しました。 このバグは Spark 2.3 で確認されました。
• [SPARK-24677][CORE] MedianHeap から NoSuchElementException を回避する
  • タスク期間メトリックを収集するときに投機的タスク関連のバグを修正します。
• [SPARK-24868][PYTHON] Python で sequence 関数を追加する
• [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] 型の強制型変換と null 値の許容を修正する。
• [SPARK-24699][SS] 更新されたウォーターマークを保存してログをコミットすることで、ウォーターマークを Trigger.Once で動作させる
• [SPARK-24537][R] array_remove / array_zip / map_from_arrays / array_distinct を追加する
• [SPARK-22187][SS] flatMapGroupsWithState で保存された状態の unsaferow 形式を更新して、削除された状態でのタイムアウトを許可する (4.x)
• [SPARK-24681][SQL] Hive メタストアで入れ子になった列名を確認する
  • 入れ子になった列名では、Hive メタストアに ','、':'、';' が含まれないようにします
• [SPARK-23486]lookupFunctions の外部カタログから関数名をキャッシュする
  • 関数の検索を高速化するため。
• [SPARK-24781][SQL] フィルター/並べ替えでデータセットからの参照を使用できない場合がある
• [SPARK-24208][SQL] FlatMapGroupsInPandas の属性重複除去を修正する
  • 重複する属性のために FlatMapGroupsInPandas を含むデータセットでの自己結合エラーを修正します
• [SPARK-24530][PYTHON] 環境変数 SPHINXPYTHON を使用して Sphinx で Python バージョンを強制するコントロールを追加する
• [SPARK-24250] タスク内の SQLConf へのアクセスをサポートする
  • SQL 実行がトリガーされたときに、すべての SQL 構成をジョブ プロパティに保存します。 Executor 側で、ジョブ プロパティから SQLConf をリビルドします。
• [SPARK-23936][SQL] map_concat を実装する
• [SPARK-23914][SQL] array_union 関数を追加する
• [SPARK-24732][SQL] MapType 間の強制型変換。
  • キー型と値型の両方に互換性がある MapType 間の強制型変換のサポートを追加します。 たとえば、型 MapType(IntegerType, FloatType) と MapType(LongType, DoubleType) は、型 MapType(LongType, DoubleType) に強制変換できます
• [SPARK-24662][SQL][SS] 構造化ストリーミングで limit をサポートする
• [SPARK-24730][SS] ストリーミング クエリに複数のウォーターマークがある場合に、グローバル ウォーターマークとして max を選択するポリシーを追加する (branch-4.x)
• [SPARK-24596][SQL] 非カスケード キャッシュの無効化
  • 一時ビューをキャッシュ解除または削除する場合、基になるデータは変更されないので、ビューに依存するプランをすべてカスケード形式でキャッシュ解除する必要はありません。
• [SPARK-23927][SQL] "sequence" 式を追加する
• [SPARK-24636][SQL] array_join 関数の配列の強制型変換
• [SPARK-22384][SQL] 属性が Cast でラップされている場合のパーティション排除を調整する
  • 安全な型キャスト (long から int ではなく、int から long) を使用してパーティション述語をプッシュダウンできるように、パーティション排除を改善します。
• [SPARK-24385][SQL] EqualNullSafe の自己結合条件のあいまいさを解決する
  • 自己結合条件のあいまいさ解決のために EqualNullSafe を実装します。
• [SPARK-24696][SQL] ColumnPruning ルールで余分なプロジェクトの削除に失敗する
  • オプティマイザーで無限ループ エラーを引き起こしていた ColumnPruning ルールのバグを修正します。
• [SPARK-24603][SQL] コメント内の findTightestCommonType 参照を修正する
• [SPARK-24613][SQL] UDF を含むキャッシュを後続の依存キャッシュと一致させることができなかった
  • プランが再度分析されないようにするため、CacheManager での実行プランのコンパイル用に論理プランを AnalysisBarrier でラップします。 これは Spark 2.3 の回帰でもあります。
• [SPARK-24017][SQL] インターフェイスにする ExternalCatalog をリファクターする
• [SPARK-24324][PYTHON] pandas グループ化マップ UDF では名前で結果列を割り当てる必要がある
  • ユーザーに文字列がラベルとして付けられている場合はスキーマ名で結果列を割り当てて、それ以外の場合は位置を使用します。
• [SPARK-23778][CORE] 共用体で空の RDD を取得するときに不要なシャッフルを回避する
  • その他すべての RDD のパーティション分割が同じ場合に不要な余分のシャッフルを回避するには、union メソッドで受信した空の RDD を無視します。
• [SPARK-24552][CORE][SQL] 書き込みには試行回数ではなく一意の ID を使用する。
  • ステージの再試行時には試行回数が再利用されるため、試行回数ではなく一意のタスク試行 ID を v2 データ ソースに渡します。 これはデータ ソース V1 および V2 の API に影響しますが、DBR は異なるコミット プロトコルを使用しているので、ファイル形式 API は影響を受けません。
• [SPARK-24588][SS] ストリーミング参加では子からの HashClusteredPartitioning を要求する必要がある。
• [SPARK-24589][CORE] 出力コミット コーディネーター内のタスクを正しく識別する。
  • 出力をコミットするためのタスクが 1 つしか許可されないように、コーディネーターによって追跡されるステージ状態にさらに情報を追加します。 この修正により、SPARK-18113 によって導入された無駄なコード変更も削除されます。
• [SPARK-23933][SQL] map_from_arrays 関数を追加する
• [SPARK-24583][SQL] InsertIntoDataSourceCommand の正しくないスキーマ型
  • NOT NULL 制約を使用して Delta テーブルを作成する場合に、NULL 値の許容を削除し、違反を確認せずに NULL 値を挿入できました。
• [SPARK-24542][SQL] UDF シリーズ UDFXPathXXXX を使用すると、ユーザーは慎重に作成された XML を渡して任意のファイルにアクセスできる
  • これは、コミュニティから報告されたセキュリティ パッチです。 UDF シリーズ UDFXPathXXXX を使用すると、ユーザーは慎重に作成された XML を渡して任意のファイルにアクセスできます。 ユーザーは、外部アクセス制御ライブラリを使用する場合、それらをバイパスしてファイルの内容にアクセスする可能性があります。
• [SPARK-23934][SQL] map_from_entries 関数を追加する
• [SPARK-23912][SQL] array_distinct を追加する
• [SPARK-24574][SQL] array_contains、array_position、array_remove、element_at 関数では列の型を処理する

メンテナンスの更新

Databricks Runtime 4.3 メンテナンス更新プログラムに関するページを参照してください。

システム環境

• オペレーティング システム: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: Python 2 クラスターの場合は 2.7.12、Python 3 クラスターの場合は 3.5.2。
• R: R バージョン 3.4.4 (2018-03-15)
• GPU クラスター: 次の NVIDIA GPU ライブラリがインストールされます。
  • Tesla ドライバー 375.66
  • CUDA 9.0
  • cuDNN 7.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)