Databricks Varlık Paketi proje şablonları

Databricks Varlık Paketleri işler, işlem hatları ve not defterleri gibi Databricks kaynaklarını kaynak dosya olarak açıklar, altyapı ve diğer kaynakları sağlamak için bu kaynak dosyaların yanı sıra meta verileri de eklemenize olanak tanır ve tümü tek bir dağıtılabilir proje olarak paketlenmiş bir projenin uçtan uca tanımını sağlar. Bkz . Databricks Varlık Paketleri nedir?.

Paket şablonları, kullanıcıların bir dağıtım işlem hattında ortak olan klasör yapıları, derleme adımları ve görevleri, testleri ve diğer DevOps kod olarak altyapı (IaC) özniteliklerini oluşturarak tutarlı ve yinelenebilir bir şekilde paket oluşturmasına olanak tanır.

Örneğin, yüklemeden sonra zaman alan bir derleme adımıyla özel paketler gerektiren Databricks işlerini düzenli olarak çalıştırırsanız, özel kapsayıcı ortamını belirten bir paket şablonu oluşturarak geliştirme döngünüzü hızlandırabilirsiniz.

Databricks, varsayılan paket şablonları kümesi sağlar, ancak özel paket şablonları da oluşturabilirsiniz. Kullanıcılar daha sonra bundle init komutunukullanarak varsayılan şablonu veya özel şablonunuzu belirterek paketleri başlatabilir.

Şablon kullanarak paket oluşturma

Paketinizi oluşturmak için Azure Databricks paket şablonu kullanmak için, kullanılacak şablonun adını belirterek Databricks CLIbundle init komutunu kullanın. Örneğin, aşağıdaki komut varsayılan Python paket şablonunu kullanarak bir paket oluşturur:

databricks bundle init default-python

Özel paket şablonu kullanmak için, şablonun yerel yolunu veya uzak URL'sini Databricks CLIbundle init komutuna geçirin.

Örneğin, aşağıdaki komut Özel Paket Şablonu Öğreticisi'nde dab-container-templateoluşturulan şablonu kullanır:

databricks bundle init /projects/my-custom-bundle-templates/dab-container-template

Bir şablon belirtmezseniz, bundle init komutu aralarından seçim yapabileceğiniz kullanılabilir varsayılan şablonlar kümesini ister.

Varsayılan paket şablonları

Azure Databricks aşağıdaki varsayılan paket şablonlarını sağlar:

özel paket şablonları

Paket şablonları, oluşturabileceğiniz özel paket şablonlarında esneklik sağlayan Go paketi şablon oluşturma söz dizimini kullanır. Go paket şablonu belgelerine bakın.

Proje yapısı şablonu

En azından bir paket şablonu projesinin şunları içermesi gerekir:

• Proje kökünde paket proje adı için bir kullanıcı istemi özelliği tanımlayan bir databricks_template_schema.json dosyası. Bkz. Şablon şeması.
• databricks.yml.tmpl Şablonla oluşturulan tüm paketler için yapılandırmayı tanımlayan bir template klasörde bulunan dosya. Dosyanız databricks.yml.tmpl ek *.yml.tmpl yapılandırma şablonlarına başvuruda bulunuyorsa bunların eşlemedeki include konumunu belirtin. Bkz. Yapılandırma şablonları.

Ayrıca, klasör yapısı ve paket şablonu projesi template klasörünün dahil edilen dosyaları, şablonla oluşturulan paketlerle yansıtılır. Örneğin, şablonun src klasöründe basit bir not defteri ve resources klasöründe not defterini çalıştıran bir iş tanımı içeren bir paket oluşturmasını istiyorsanız, şablon projenizi şu şekilde düzenleyebilirsiniz:

basic-bundle-template
  ├── databricks_template_schema.json
  └── template
      └── {{.project_name}}
          ├── databricks.yml.tmpl
          ├── resources
          │   └── {{.project_name}}_job.yml.tmpl
          └── src
              └── simple_notebook.ipynb

Şablon şeması

Özel paket şablonu projesi, proje kökündebir databricks_template_schema.json JSON dosyası içermelidir. Bu dosya, bundle init komutu çalıştırıldığında Databricks CLI tarafından kullanılan alanları (istem metni gibi) tanımlar.

Aşağıdaki temel databricks_template_schema.json dosyası, paket projesi için istem iletisini ve varsayılan değeri içeren bir giriş değişkeni project_name tanımlar. Ardından, ileti içindeki giriş değişkeni değerini kullanan bunde proje başlatması için bir başarı iletisi tanımlar.

{
  "properties": {
    "project_name": {
      "type": "string",
      "default": "basic_bundle",
      "description": "What is the name of the bundle you want to create?",
      "order": 1
    }
  },
  "success_message": "\nYour bundle '{{.project_name}}' has been created."
}

Şablon şeması alanları

databricks_template_schema.json dosyası, properties alanı içinde kullanıcınızdan paket başlatma sırasında bilgi toplamak için giriş değişkenleri tanımlamayı ve başlatmayı özelleştirmek için ek alanları destekler.

Giriş değişkenleri, şablon şemasının properties alanında tanımlanır. Her giriş değişkeni, paket başlatma sırasında kullanıcıya istem sunmak için gereken meta verileri tanımlar. Değişkenin değerine daha sonra {{.project_name}}gibi şablon değişkeni söz dizimi kullanılarak erişilebilir.

Paket başlatma işlemini özelleştirmek için bazı alanların değerlerini de ayarlayabilirsiniz.

Desteklenen şema alanları aşağıdaki tabloda listelenmiştir.

Yapılandırma şablonları

Özel paket şablonu, paket projesi databricks.yml yapılandırma dosyasını oluşturmak için kullanılan paket şablonu projesindeki bir template klasöründe databricks.yml.tmpl dosyası içermelidir. Kaynaklar için yapılandırma dosyaları için şablonlar resources klasöründe oluşturulabilir. Bu şablon dosyalarını yapılandırma şablonu YAML ile doldurun.

databricks.yml ve ilişkili *_job.yml için aşağıdaki basit örnek yapılandırma şablonları paket adını ve iki hedef ortamı oluşturur ve bu şablon kullanılarak oluşturulan paketler için pakette not defterini çalıştıran bir iş tanımlar. Bu yapılandırma şablonları, paket değişiklikleri ve paket şablonu yardımcıları'den yararlanıyor.

template/{{.project_name}}/databricks.yml.tmpl:

# databricks.yml
# This is the configuration for the Databricks Asset Bundle {{.project_name}}.

bundle:
  name: {{.project_name}}

include:
  - resources/*.yml

targets:
  # The deployment targets. See https://docs.databricks.com/en/dev-tools/bundles/deployment-modes.html
  dev:
    mode: development
    default: true
    workspace:
      host: {{workspace_host}}

  prod:
    mode: production
    workspace:
      host: {{workspace_host}}
      root_path: /Shared/.bundle/prod/${bundle.name}
    {{- if not is_service_principal}}
    run_as:
      # This runs as {{user_name}} in production. Alternatively,
      # a service principal could be used here using service_principal_name
      user_name: {{user_name}}
    {{end -}}

template/{{.project_name}}/resources/{{.project_name}}_job.yml.tmpl:

# {{.project_name}}_job.yml
# The main job for {{.project_name}}

resources:
    jobs:
        {{.project_name}}_job:
        name: {{.project_name}}_job
        tasks:
            - task_key: notebook_task
            job_cluster_key: job_cluster
            notebook_task:
                notebook_path: ../src/simple_notebook.ipynb
        job_clusters:
            - job_cluster_key: job_cluster
            new_cluster:
                node_type_id: i3.xlarge
                spark_version: 13.3.x-scala2.12

Şablonu yardımcıları ve değişkenleri

Şablon yardımcıları, Databricks tarafından sağlanan ve çalışma zamanında kullanıcıya özgü bilgileri almak veya şablon altyapısıyla etkileşime geçmek için şablon dosyalarınızda kullanabileceğiniz işlevlerdir. Kendi şablon değişkenlerinizi de tanımlayabilirsiniz.

Aşağıdaki şablon yardımcıları Databricks paket şablonu projelerinde kullanılabilir. Go şablonlarını ve değişkenlerini kullanma hakkında bilgi için bkz. Go şablonları.

Özel şablon yardımcıları

Kendi şablon yardımcılarınızı tanımlamak için, şablon projesinin library klasöründe bir şablon dosyası oluşturun ve yardımcıları tanımlamak için Go şablon söz dizimini kullanın. Örneğin, bir library/variables.tmpl dosyasının aşağıdaki içeriği cli_version ve model_namedeğişkenlerini tanımlar. Bu şablon bir paketi başlatmak için kullanıldığında, model_name değişkeninin değeri şablon şema dosyasında tanımlanan input_project_name alanı kullanılarak oluşturulur. Bu alan değerinin değeri, bir istemden sonra kullanıcı girişidir.

{{ define `cli_version` -}}
    v0.240.0
{{- end }}

{{ define `model_name` -}}
    {{ .input_project_name }}-model
{{- end }}

Tam bir örneği görmek için mlops-stacks şablon değişkenleri dosyasına bakın.

Paket şablonunu test edin

Son olarak, şablonunuzu test etmeye özen gösterin. Örneğin, önceki bölümlerde tanımlanan şablonu kullanarak yeni bir paket başlatmak için Databricks CLI kullanın:

databricks bundle init basic-bundle-template

Komut istemi için What is your bundle project name? değerini girin, my_test_bundle yazın.

Test paketi oluşturulduktan sonra şema dosyasından gelen başarı iletisi çıkar. Klasörün içeriğini my_test_bundle incelerseniz aşağıdakileri görmeniz gerekir:

my_test_bundle
   ├── databricks.yml
   ├── resources
   │  └── my_test_bundle_job.yml
   └── src
      └── simple_notebook.ipynb

databricks.yml dosyası ve işi artık özelleştirilmiştir:

# databricks.yml
# This is the configuration for the Databricks Asset Bundle my-test-bundle.

bundle:
  name: my_test_bundle

include:
  - resources/*.yml

targets:
  # The 'dev' target, used for development purposes. See [_](https://docs.databricks.com/en/dev-tools/bundles/deployment-modes.html#development-mode)
  dev:
    mode: development
    default: true
    workspace:
      host: https://my-host.cloud.databricks.com

  # The 'prod' target, used for production deployment. See [_](https://docs.databricks.com/en/dev-tools/bundles/deployment-modes.html#production-mode)
  prod:
    mode: production
    workspace:
      host: https://my-host.cloud.databricks.com
      root_path: /Shared/.bundle/prod/${bundle.name}
    run_as:
      # This runs as someone@example.com in production. Alternatively,
      # a service principal could be used here using service_principal_name
      user_name: someone@example.com

# my_test_bundle_job.yml
# The main job for my_test_bundle

resources:
    jobs:
        my_test_bundle_job:
        name: my_test_bundle_job
        tasks:
            - task_key: notebook_task
                job_cluster_key: job_cluster
                notebook_task:
                    notebook_path: ../src/simple_notebook.ipynb
        job_clusters:
            - job_cluster_key: job_cluster
                new_cluster:
                    node_type_id: i3.xlarge
                    spark_version: 13.3.x-scala2.12

Şablonu paylaşma

Bu paket şablonunu başkalarıyla paylaşmak istiyorsanız, Git'in desteklediği ve kullanıcılarınızın erişimi olan herhangi bir sağlayıcıyla sürüm denetiminde depolayabilirsiniz. Komutu bir Git URL'si bundle init ile çalıştırmak için, dosyanın bu databricks_template_schema.json Git URL'sine göre kök konumda olduğundan emin olun.

Sonraki adımlar

• Databricks tarafından oluşturulan ve bakımı yapılan ek şablonlara göz atın. GitHub'daki paket örnekleri deposuna bakın.
• MLOps Yığınlarını Databricks Varlık Paketi şablonlarıyla kullanmak için, MLOps Yığınları için Databricks Varlık Paketleri bölümüne bakın.
• Go paketi şablon oluşturma hakkında daha fazla bilgi edinin. Go paket şablonu belgelerine bakın.