次の方法で共有

Databricks アセット バンドルのクラスター設定をオーバーライドする

  • [アーティクル]

この記事では、Databricks アセット バンドルの Azure Databricks クラスターの設定をオーバーライドする方法について説明します。 「Databricks アセット バンドルとは」をご覧ください。

Azure Databricks バンドル構成ファイルでは、次のように、最上位レベルの resources マッピングのクラスター設定と、targets マッピング内のクラスター設定を結合できます。

ジョブの場合は、ジョブ定義内の job_cluster_key マッピングを使用して、最上位レベルの resources マッピングのクラスター設定と targets マッピングのクラスター設定を結合します (簡潔にするために省略記号は省略記号は省略されたコンテンツを示します)。

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      job_clusters:
        - job_cluster_key: <some-unique-programmatic-identifier-for-this-key>
          new_cluster:
            # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          job_clusters:
            - job_cluster_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level job_cluster_key.
          # ...

最上位レベルの resources マッピングと同じ targetsの job_cluster_key マッピングの両方でクラスター設定が定義されている場合は、targets マッピングの設定が最上位 resources マッピングの設定よりも優先されます。

DLT パイプラインの場合は、パイプライン定義の label 内の cluster マッピングを使用して、最上位レベルの resources マッピング内のクラスター設定と、targets マッピング内のクラスター設定を結合します (簡潔にするために省略記号は省略されたコンテンツを示します)。

# ...
resources:
  pipelines:
    <some-unique-programmatic-identifier-for-this-pipeline>:
      # ...
      clusters:
        - label: default | maintenance
          # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      pipelines:
        <the-matching-programmatic-identifier-for-this-pipeline>:
          # ...
          clusters:
            - label: default | maintenance
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level label.
          # ...

最上位レベルの resources マッピングと同じ targetsの label マッピングの両方でクラスター設定が定義されている場合は、targets マッピングの設定が最上位 resources マッピングの設定よりも優先されます。

例 1: 複数のリソース マッピングで定義され、設定の競合がない新しいジョブ クラスター設定

この例では、最上位レベルの spark_version マッピングの resources を node_type_id と num_workers の resources マッピングの targets と組み合わせて、job_cluster_key という名前の my-cluster の設定を定義します (省略記号は簡潔にするために、省略記号は省略されたコンテンツを示します)。

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります (簡潔にするために省略記号は省略されたコンテンツを示します)。

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

例 2: 複数のリソース マッピングで定義された新しいジョブ クラスター設定の競合

この例では、spark_version、および num_workers は、最上位レベルの resources マッピングと、resourcesの targets マッピングの両方で定義されています。 この例では、spark_version の num_workers マッピングの resources と targets は、最上位レベルの spark_version マッピングの num_workers と resources よりも優先され、job_cluster_key という名前の my-cluster の設定を定義します (省略記号は簡潔にするために、省略記号は省略されたコンテンツを示します)。

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります (簡潔にするために省略記号は省略されたコンテンツを示します)。

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

例 3: 複数のリソース マッピングで定義され、設定の競合がないパイプライン クラスター設定

この例では、最上位レベルの node_type_id マッピングの resources を num_workers の resources マッピングの targets と組み合わせて、label という名前の default の設定を定義します (簡潔にするために省略記号は省略されたコンテンツを示します)。

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 1
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります (簡潔にするために省略記号は省略されたコンテンツを示します)。

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 1
          }
        ],
        "...": "..."
      }
    }
  }
}

例 4: 複数のリソース マッピングで定義されたパイプライン クラスター設定の競合

この例では、num_workers は最上位レベルの resources マッピングと resourcesの targets マッピングの両方で定義されています。 num_workers の resources マッピングの targets は、最上位レベルの num_workers マッピングの resources よりも優先され、label という名前の default の設定を定義します (簡潔にするために省略記号は省略されたコンテンツを示します)。

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2
          num_workers: 1

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 2
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります (簡潔にするために省略記号は省略されたコンテンツを示します)。

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 2
          }
        ],
        "...": "..."
      }
    }
  }
}