Databricks 자산 번들 프로젝트 템플릿

Databricks 자산 번들은 작업, 파이프라인 및 Notebook과 같은 Databricks 리소스를 원본 파일로 설명하고, 이러한 원본 파일과 함께 메타데이터를 포함하여 인프라 및 기타 리소스를 프로비전하고, 프로젝트의 엔드투엔드 정의를 제공할 수 있으며, 모두 배포 가능한 단일 프로젝트로 패키지됩니다. Databricks 자산 번들에 대해 알아보세요.을 참조하세요.

번들 템플릿을 사용하면 사용자가 배포 파이프라인에서 공통적인 폴더 구조, 빌드 단계 및 작업, 테스트 및 기타 DevOps IaC(Infrastructure-as-code) 특성을 설정하여 일관되고 반복 가능한 방식으로 번들을 만들 수 있습니다.

예를 들어 설치 시 시간이 많이 걸리는 컴파일 단계를 사용하여 사용자 지정 패키지가 필요한 Databricks 작업을 정기적으로 실행하는 경우 사용자 지정 컨테이너 환경을 지정하는 번들 템플릿을 만들어 개발 루프 속도를 높일 수 있습니다.

Databricks는 기본 번들 템플릿 집합을 제공하지만 사용자 지정 번들 템플릿을 만들 수도 있습니다. 그런 다음 사용자는 기본 템플릿 또는 사용자 지정 템플릿을 지정하는 번들 init 명령사용하여 번들을 초기화할 수 있습니다.

템플릿을 사용하여 번들 만들기

Azure Databricks 번들 템플릿을 사용하여 번들을 만들려면 Databricks CLIbundle init 명령을 사용하여 사용할 템플릿의 이름을 지정합니다. 예를 들어 다음 명령은 기본 Python 번들 템플릿을 사용하여 번들을 만듭니다.

databricks bundle init default-python

사용자 지정 번들 템플릿을 사용하려면 템플릿의 로컬 경로 또는 원격 URL을 Databricks CLIbundle init 명령에 전달합니다.

예를 들어 다음 명령은 dab-container-template에서 만든 템플릿을 사용합니다.

databricks bundle init /projects/my-custom-bundle-templates/dab-container-template

템플릿을 지정하지 않으면 bundle init 명령은 선택할 수 있는 사용 가능한 기본 템플릿 집합으로 프롬프트를 표시합니다.

기본 번들 템플릿

Azure Databricks는 다음과 같은 기본 번들 템플릿을 제공합니다.

사용자 지정 번들 템플릿

번들 템플릿은 만들 수 있는 사용자 지정 번들 템플릿에 유연성을 제공하는 Go 패키지 템플릿 구문을 사용합니다. Go 패키지 템플릿 설명서를 참조하세요.

템플릿 프로젝트 구조

최소한 번들 템플릿 프로젝트에는 다음이 있어야 합니다.

• 번들 프로젝트 이름에 대한 하나의 사용자 프롬프트 속성을 정의하는 프로젝트 루트의 databricks_template_schema.json 파일입니다. 템플릿 스키마참조하세요.
• databricks.yml.tmpl 파일은 템플릿으로 만든 번들의 구성을 정의하는 template 폴더에 위치합니다. databricks.yml.tmpl 파일이 추가 *.yml.tmpl 구성 템플릿을 참조하는 경우 include 매핑에서 이러한 템플릿의 위치를 지정합니다. 구성 템플릿참조하세요.

또한 번들 템플릿 프로젝트 template 폴더의 폴더 구조 및 포함된 파일은 템플릿으로 만든 번들에 의해 미러링됩니다. 예를 들어, 템플릿이 src 폴더에 간단한 노트북과 resources 폴더에서 노트북을 실행하는 작업 정의를 사용하여 번들을 생성하도록 하려면, 다음과 같이 템플릿 프로젝트를 구성하십시오.

basic-bundle-template
  ├── databricks_template_schema.json
  └── template
      └── {{.project_name}}
          ├── databricks.yml.tmpl
          ├── resources
          │   └── {{.project_name}}_job.yml.tmpl
          └── src
              └── simple_notebook.ipynb

템플릿 스키마

사용자 지정 번들 템플릿 프로젝트에는 프로젝트 루트의 databricks_template_schema.jsonJSON 파일 포함되어야 합니다. 이 파일은 프롬프트 텍스트와 같은 bundle init 명령을 실행할 때 Databricks CLI에서 사용하는 필드를 정의합니다.

다음 기본 databricks_template_schema.json 파일은 프롬프트 메시지와 기본값을 포함하는 번들 프로젝트에 대한 입력 변수 project_name 정의합니다. 그런 다음 메시지 내의 입력 변수 값을 사용하는 번들 프로젝트 초기화에 대한 성공 메시지를 정의합니다.

{
  "properties": {
    "project_name": {
      "type": "string",
      "default": "basic_bundle",
      "description": "What is the name of the bundle you want to create?",
      "order": 1
    }
  },
  "success_message": "\nYour bundle '{{.project_name}}' has been created."
}

템플릿 구조 필드

databricks_template_schema.json 파일은 properties 필드 내의 사용자로부터 번들 초기화 중에 정보를 수집하기 위한 입력 변수 정의와 초기화를 사용자 지정하기 위한 추가 필드를 지원합니다.

입력 변수는 템플릿 스키마의 properties 필드에 정의됩니다. 각 입력 변수는 번들 초기화 중에 사용자에게 프롬프트를 표시하는 데 필요한 메타데이터를 정의합니다. 그런 다음 {{.project_name}}같은 템플릿 변수 구문을 사용하여 변수 값에 액세스할 수 있습니다.

일부 필드의 값을 설정하여 번들 초기화 프로세스를 사용자 지정할 수도 있습니다.

지원되는 스키마 필드는 다음 표에 나와 있습니다.

구성 템플릿

사용자 지정 번들 템플릿은 번들 프로젝트 databricks.yml 구성 파일을 만드는 데 사용되는 번들 템플릿 프로젝트의 template 폴더에 databricks.yml.tmpl 파일을 포함해야 합니다. 리소스에 대한 구성 파일의 템플릿은 resources 폴더에 만들 수 있습니다. 이러한 템플릿 파일을 구성 템플릿 YAML로 채웁다.

databricks.yml 및 연결된 *_job.yml 대한 다음 간단한 구성 템플릿 예제에서는 번들 이름과 두 개의 대상 환경을 설정하고 이 템플릿을 사용하여 만든 번들에 대해 번들에서 Notebook을 실행하는 작업을 정의합니다. 이러한 구성 템플릿은 번들 대체과 번들 템플릿 도우미를 활용합니다.

template/{{.project_name}}/databricks.yml.tmpl:

# databricks.yml
# This is the configuration for the Databricks Asset Bundle {{.project_name}}.

bundle:
  name: {{.project_name}}

include:
  - resources/*.yml

targets:
  # The deployment targets. See https://docs.databricks.com/en/dev-tools/bundles/deployment-modes.html
  dev:
    mode: development
    default: true
    workspace:
      host: {{workspace_host}}

  prod:
    mode: production
    workspace:
      host: {{workspace_host}}
      root_path: /Shared/.bundle/prod/${bundle.name}
    {{- if not is_service_principal}}
    run_as:
      # This runs as {{user_name}} in production. Alternatively,
      # a service principal could be used here using service_principal_name
      user_name: {{user_name}}
    {{end -}}

template/{{.project_name}}/resources/{{.project_name}}_job.yml.tmpl:

# {{.project_name}}_job.yml
# The main job for {{.project_name}}

resources:
    jobs:
        {{.project_name}}_job:
        name: {{.project_name}}_job
        tasks:
            - task_key: notebook_task
            job_cluster_key: job_cluster
            notebook_task:
                notebook_path: ../src/simple_notebook.ipynb
        job_clusters:
            - job_cluster_key: job_cluster
            new_cluster:
                node_type_id: i3.xlarge
                spark_version: 13.3.x-scala2.12

템플릿 도우미 및 변수

템플릿 도우미는 Databricks에서 제공하는 함수로, 템플릿 파일 내에서 런타임에 사용자별 정보를 얻거나 템플릿 엔진과 상호 작용하는 데 사용할 수 있습니다. 사용자 고유의 템플릿 변수를 정의할 수도 있습니다.

Databricks 번들 템플릿 프로젝트에는 다음 템플릿 도우미를 사용할 수 있습니다. Go 템플릿 및 변수 사용에 대한 자세한 내용은 Go 템플릿을 참조하세요.

사용자 지정 템플릿 도우미

고유한 템플릿 도우미를 정의하려면 템플릿 프로젝트의 library 폴더에 템플릿 파일을 만들고 Go 템플릿 구문을 사용하여 도우미를 정의합니다. 예를 들어 library/variables.tmpl 파일의 다음 내용은 cli_version 및 model_name변수를 정의합니다. 이 템플릿을 사용하여 번들을 초기화하면 템플릿 스키마 파일에 정의된 model_name 필드를 사용하여 input_project_name 변수의 값이 생성됩니다. 이 필드 값의 값은 프롬프트 후의 사용자 입력입니다.

{{ define `cli_version` -}}
    v0.240.0
{{- end }}

{{ define `model_name` -}}
    {{ .input_project_name }}-model
{{- end }}

전체 예제를 보려면 mlops-stacks 템플릿 변수 파일참조하세요.

번들 템플릿 테스트

마지막으로 템플릿을 테스트해야 합니다. 예를 들어 Databricks CLI를 사용하여 이전 섹션에 정의된 템플릿을 사용하여 새 번들을 초기화합니다.

databricks bundle init basic-bundle-template

프롬프트 What is your bundle project name?의 경우, my_test_bundle을 입력합니다.

테스트 번들을 만들면 스키마 파일의 성공 메시지가 출력됩니다. my_test_bundle 폴더의 내용을 검사하는 경우 다음이 표시됩니다.

my_test_bundle
   ├── databricks.yml
   ├── resources
   │  └── my_test_bundle_job.yml
   └── src
      └── simple_notebook.ipynb

이제 databricks.yml 파일 및 작업이 사용자 지정됩니다.

# databricks.yml
# This is the configuration for the Databricks Asset Bundle my-test-bundle.

bundle:
  name: my_test_bundle

include:
  - resources/*.yml

targets:
  # The 'dev' target, used for development purposes. See [_](https://docs.databricks.com/en/dev-tools/bundles/deployment-modes.html#development-mode)
  dev:
    mode: development
    default: true
    workspace:
      host: https://my-host.cloud.databricks.com

  # The 'prod' target, used for production deployment. See [_](https://docs.databricks.com/en/dev-tools/bundles/deployment-modes.html#production-mode)
  prod:
    mode: production
    workspace:
      host: https://my-host.cloud.databricks.com
      root_path: /Shared/.bundle/prod/${bundle.name}
    run_as:
      # This runs as someone@example.com in production. Alternatively,
      # a service principal could be used here using service_principal_name
      user_name: someone@example.com

# my_test_bundle_job.yml
# The main job for my_test_bundle

resources:
    jobs:
        my_test_bundle_job:
        name: my_test_bundle_job
        tasks:
            - task_key: notebook_task
                job_cluster_key: job_cluster
                notebook_task:
                    notebook_path: ../src/simple_notebook.ipynb
        job_clusters:
            - job_cluster_key: job_cluster
                new_cluster:
                    node_type_id: i3.xlarge
                    spark_version: 13.3.x-scala2.12

템플릿 공유하기

이 번들 템플릿을 다른 사용자와 공유하려는 경우 Git에서 지원하고 사용자가 액세스할 수 있는 공급자와 버전 제어에 저장할 수 있습니다. Git URL을 사용하여 bundle init 명령을 실행하려면 databricks_template_schema.json 파일이 해당 Git URL을 기준으로 루트 위치에 있는지 확인합니다.

다음 단계

• Databricks에서 만들고 유지 관리하는 추가 템플릿을 찾아봅니다. GitHub 리포지토리의 번들 샘플을 참조하세요.
• Databricks 자산 번들 템플릿에서 MLOps 스택을 사용하려면 MLOps 스택에 대한 Databricks 자산 번들을 참조하세요.
• Go 패키지 템플릿에 대해 자세히 알아봅니다. Go 패키지 템플릿 설명서를 참조하세요.