次の方法で共有

Databricks アセット バンドルのジョブ タスク設定をオーバーライドする

  • [アーティクル]

この記事では、"Databricks アセット バンドル" の Azure Databricks ジョブ タスク設定をオーバーライドする方法について説明します。 Databricks アセット バンドルとは何ですか？を参照してください。

Azure Databricks のバンドル構成ファイルでは、ジョブ定義内で task マッピングを使用して、たとえば最上位レベル resources マッピングのジョブ タスク設定と targets マッピングのジョブ タスク設定を結合できます (簡潔にするために、省略した内容を省略記号で示しています)。

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      tasks:
        - task_key: <some-unique-programmatic-identifier-for-this-task>
          # Task settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          tasks:
            - task_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more task settings to join with the settings from the
              # resources mapping for the matching top-level task_key.
          # ...

同じ resources に対して最上位レベルの targets マッピングと task マッピングを結合するには、task マッピングの task_key を同じ値に設定する必要があります。

最上位レベルの resources マッピングと、同じ targets の task マッピングの両方でジョブ タスク設定が定義されている場合、targets マッピングの設定は最上位レベルの resources マッピングの設定よりも優先されます。

例 1: 複数のリソース マッピングに定義されており、設定の競合がないジョブ タスク設定

この例では、spark_version という名前の resources の設定を定義するために、最上位レベルの node_type_id マッピングの num_workers が resources の targets マッピングの task_key と my-task に結合されます (簡潔にするために、省略した内容を省略記号で示しています)。

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-key
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

この例で databricks bundle validate を実行すると、結果のグラフは次のようになります (簡潔にするために、省略した内容を省略記号で示しています)。

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            },
            "task-key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}

例 2: 複数のリソース マッピングに定義されているジョブ タスク設定の競合

この例では、spark_version と num_workers が、最上位レベルの resources マッピングと resources の targets マッピングの両方に定義されています。 spark_version の num_workers マッピングの resources と targets は、最上位レベル spark_version マッピングの num_workers と resources よりも優先されます。 これにより、task_key という名称の my-task に関する設定が定義されます (簡潔にするために、省略記号は省略された内容を示します)。

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-task
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

この例で databricks bundle validate を実行すると、結果のグラフは次のようになります (簡潔にするために、省略した内容を省略記号で示しています)。

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            },
            "task_key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}