Penyedia Databricks Terraform

Artikel
01/21/2025

HashiCorp Terraform adalah alat sumber terbuka populer untuk menciptakan infrastruktur cloud yang aman dan dapat diprediksi di beberapa providerscloud. Anda dapat menggunakan penyedia Databricks Terraform untuk mengelola ruang kerja Azure Databricks Anda dan infrastruktur cloud terkait menggunakan alat yang fleksibel dan kuat. Tujuan dari penyedia Databricks Terraform adalah untuk mendukung semua API Databricks REST, mendukung otomatisasi aspek yang paling rumit dalam menyebarkan dan mengelola platform data Anda. Pelanggan Databricks menggunakan penyedia Databricks Terraform untuk menyebarkan dan mengelola kluster dan pekerjaan serta untuk mengonfigurasi akses data. Anda menggunakan Penyedia Azure untuk memprovisikan ruang kerja Azure Databricks.

Memulai

Di bagian ini, Anda menginstal dan mengonfigurasi persyaratan untuk menggunakan Terraform dan penyedia Databricks Terraform di komputer pengembangan lokal Anda. Anda kemudian mengonfigurasi autentikasi Terraform. Mengikuti bagian ini, artikel ini menyediakan konfigurasi sampel yang dapat Anda eksperimen untuk memprovisikan notebook, kluster, dan pekerjaan Azure Databricks untuk menjalankan buku catatan pada kluster di ruang kerja Azure Databricks yang sudah ada.

Persyaratan

Anda harus memiliki Terraform CLI. Harap lihat Mengunduh Terraform di situs web Terraform.
Anda harus memiliki proyek Terraform. Di terminal Anda, buat direktori kosong lalu beralih ke sana. (Setiap file konfigurasi Terraform set harus berada di dalam direktori tersendiri, yang disebut proyek Terraform .) Misalnya: mkdir terraform_demo && cd terraform_demo.
```
mkdir terraform_demo && cd terraform_demo
```
Sertakan konfigurasi Terraform untuk proyek Anda dalam satu atau beberapa file konfigurasi di proyek Terraform Anda. Untuk informasi tentang sintaks file konfigurasi, lihat Dokumentasi Bahasa Terraform di situs web Terraform.
Anda harus menambahkan ke proyek Terraform Anda dependensi untuk penyedia Databricks Terraform. Tambahkan yang berikut ini ke salah satu file konfigurasi di proyek Terraform Anda:
```
terraform {
  required_providers {
    databricks = {
      source = "databricks/databricks"
    }
  }
}
```
Anda harus mengonfigurasi autentikasi untuk proyek Terraform Anda. Lihat Autentikasi dalam dokumentasi penyedia Databricks Terraform.

Konfigurasi sampel

Bagian ini menyediakan konfigurasi sampel yang dapat Anda eksperimen untuk menyediakan buku catatan Azure Databricks, kluster, dan pekerjaan untuk menjalankan buku catatan di kluster, di ruang kerja Azure Databricks yang sudah ada. Ini mengasumsikan bahwa Anda telah memenuhi set persyaratan , serta telah membuat proyek Terraform dan mengonfigurasi proyek tersebut dengan autentikasi Terraform seperti yang dijelaskan di bagian sebelumnya.

Buat file bernama me.tf di proyek Terraform Anda, dan tambahkan kode berikut. File ini mendapatkan informasi tentang pengguna saat ini (Anda):
```
# Retrieve information about the current user.
data "databricks_current_user" "me" {}
```

Buat file lain bernama notebook.tf, dan tambahkan kode berikut. File ini mewakili buku catatan.

variable "notebook_subdirectory" {
  description = "A name for the subdirectory to store the notebook."
  type        = string
  default     = "Terraform"
}

variable "notebook_filename" {
  description = "The notebook's filename."
  type        = string
}

variable "notebook_language" {
  description = "The language of the notebook."
  type        = string
}

resource "databricks_notebook" "this" {
  path     = "${data.databricks_current_user.me.home}/${var.notebook_subdirectory}/${var.notebook_filename}"
  language = var.notebook_language
  source   = "./${var.notebook_filename}"
}

output "notebook_url" {
 value = databricks_notebook.this.url
}

Buat file lain bernama notebook.auto.tfvars, dan tambahkan kode berikut. File ini menentukan properti buku catatan.

notebook_subdirectory = "Terraform"
notebook_filename     = "notebook-getting-started.py"
notebook_language     = "PYTHON"

Buat file lain bernama notebook-getting-started.py, dan tambahkan kode berikut. File ini mewakili isi buku catatan.
```
display(spark.range(10))
```

Buat file lain bernama cluster.tf, dan tambahkan kode berikut. File ini mewakili kluster.

variable "cluster_name" {
  description = "A name for the cluster."
  type        = string
  default     = "My Cluster"
}

variable "cluster_autotermination_minutes" {
  description = "How many minutes before automatically terminating due to inactivity."
  type        = number
  default     = 60
}

variable "cluster_num_workers" {
  description = "The number of workers."
  type        = number
  default     = 1
}

# Create the cluster with the "smallest" amount
# of resources allowed.
data "databricks_node_type" "smallest" {
  local_disk = true
}

# Use the latest Databricks Runtime
# Long Term Support (LTS) version.
data "databricks_spark_version" "latest_lts" {
  long_term_support = true
}

resource "databricks_cluster" "this" {
  cluster_name            = var.cluster_name
  node_type_id            = data.databricks_node_type.smallest.id
  spark_version           = data.databricks_spark_version.latest_lts.id
  autotermination_minutes = var.cluster_autotermination_minutes
  num_workers             = var.cluster_num_workers
}

output "cluster_url" {
 value = databricks_cluster.this.url
}

Buat file lain bernama cluster.auto.tfvars, dan tambahkan kode berikut. File ini menentukan properti kluster.

cluster_name                    = "My Cluster"
cluster_autotermination_minutes = 60
cluster_num_workers             = 1

Buat file lain bernama job.tf, dan tambahkan kode berikut. File ini mewakili pekerjaan yang menjalankan buku catatan pada kluster.

variable "job_name" {
  description = "A name for the job."
  type        = string
  default     = "My Job"
}

variable "task_key" {
  description = "A name for the task."
  type        = string
  default     = "my_task"
}

resource "databricks_job" "this" {
  name = var.job_name
  task {
    task_key = var.task_key
    existing_cluster_id = databricks_cluster.this.cluster_id
    notebook_task {
      notebook_path = databricks_notebook.this.path
    }
  }
  email_notifications {
    on_success = [ data.databricks_current_user.me.user_name ]
    on_failure = [ data.databricks_current_user.me.user_name ]
  }
}

output "job_url" {
  value = databricks_job.this.url
}

Buat file lain bernama job.auto.tfvars, dan tambahkan kode berikut. File ini menentukan properti pekerjaan.
```
job_name = "My Job"
task_key = "my_task"
```
Jalankan terraform plan. Jika ada kesalahan, perbaiki, lalu jalankan perintah lagi.
Jalankan terraform apply.
Verifikasi bahwa buku catatan, kluster, dan pekerjaan dibuat: dalam output terraform apply perintah, temukan URL untuk notebook_url, , cluster_urldan job_url, dan buka.
Jalankan pekerjaan: pada halaman Pekerjaan , klik Jalankan sekarang. Setelah pekerjaan selesai, periksa kotak masuk email Anda.
Setelah selesai dengan sampel ini, hapus buku catatan, kluster, dan pekerjaan dari ruang kerja Azure Databricks dengan menjalankan terraform destroy.

Catatan

Untuk informasi selengkapnya tentang terraform planperintah , terraform apply, dan terraform destroy , lihat Dokumentasi Terraform CLI dalam dokumentasi Terraform.
Verifikasi bahwa buku catatan, kluster, dan pekerjaan telah dihapus: buku catatan , kluster, dan halaman pekerjaan masing-masing menampilkan pesan bahwa sumber daya tidak dapat ditemukan.

Pengujian

Uji konfigurasi Terraform Anda sebelum atau sesudah Anda menyebarkannya. Anda dapat menjalankan pengujian yang dianalogikan ke pengujian unit sebelum menyebarkan sumber daya. Anda juga dapat menjalankan pengujian yang dianalogikan dengan pengujian integrasi setelah sumber daya disebarkan. Lihat Pengujian dalam dokumentasi Terraform.

Jalankan pengujian yang dianalogikan untuk pengujian integrasi terhadap konfigurasi sampel artikel ini dengan mengikuti proses ini:

Buat file bernama cluster.tftest.hcl, dan tambahkan kode berikut. File ini menguji apakah kluster yang disebarkan memiliki nama kluster yang diharapkan.

# Filename: cluster.tftest.hcl

run "cluster_name_test" {
  command = apply

  assert {
    condition     = databricks_cluster.this.cluster_name == var.cluster_name
    error_message = "Cluster name did not match expected name"
  }
}

Buat file bernama job.tftest.hcl, dan tambahkan kode berikut. File ini menguji apakah pekerjaan yang disebarkan memiliki nama pekerjaan yang diharapkan.

run "job_name_test" {
  command = apply

  assert {
    condition     = databricks_job.this.name == var.job_name
    error_message = "Job name did not match expected name"
  }
}

Buat file bernama notebook.tftest.hcl, dan tambahkan kode berikut. File ini menguji apakah notebook yang disebarkan memiliki jalur ruang kerja yang diharapkan.

run "notebook_path_test" {
  command = apply

  assert {
    condition     = databricks_notebook.this.path == "${data.databricks_current_user.me.home}/${var.notebook_subdirectory}/${var.notebook_filename}"
    error_message = "Notebook path did not match expected path"
  }
}

Jalankan terraform test. Terraform menyebarkan setiap sumber daya ke ruang kerja Azure Databricks, menjalankan setiap pengujian terkait dan melaporkan hasil pengujiannya, lalu merobek sumber daya yang disebarkan.

Jalankan pengujian yang dianalogikan ke pengujian unit terhadap konfigurasi sampel artikel ini dengan proses berikut:

Ubah baris command = apply di setiap pengujian sebelumnya menjadi command = plan, lalu jalankan terraform test. Terraform menjalankan setiap pengujian terkait dan melaporkan hasil pengujiannya tetapi tidak menyebarkan sumber daya apa pun.
Simulasikan provider Databricks Terraform, yang memungkinkan Anda menggunakan terraform test tanpa melakukan deployment sumber daya dan juga tanpa memerlukan autentikasi credentials. Lihat Tiruan dalam dokumentasi Terraform. Untuk melakukan pengujian tiruan, pendekatan yang dapat dilakukan adalah dengan menambahkan baris mock_provider "databricks" {} ke pengujian Anda dan meletakkan baris command = apply atau command = planke dalam remove, misalnya:

# Filename: cluster.tftest.hcl

mock_provider "databricks" {}

run "cluster_mock_name_test" {
  assert {
    condition     = databricks_cluster.this.cluster_name == var.cluster_name
    error_message = "Cluster name did not match expected name"
  }
}

# Filename: job.tftest.hcl

mock_provider "databricks" {}

run "job_mock_name_test" {
  assert {
    condition     = databricks_job.this.name == var.job_name
    error_message = "Job name did not match expected name"
  }
}

# Filename: notebook.tftest.hcl

mock_provider "databricks" {}

run "notebook_mock_path_test" {
  assert {
    condition     = databricks_notebook.this.path == "${data.databricks_current_user.me.home}/${var.notebook_subdirectory}/${var.notebook_filename}"
    error_message = "Notebook path did not match expected path"
  }
}

Langkah berikutnya

Sumber Daya Tambahan:

Dokumentasi Penyedia Databricks di situs web Terraform Registry
Dokumentasi Terraform di situs web Terraform
Databricks Terraform contoh repositori Github

Bagikan melalui

Penyedia Databricks Terraform

Memulai

Persyaratan

Konfigurasi sampel

Pengujian

Langkah berikutnya

Sumber Daya Tambahan:

Saran dan Komentar

Sumber Daya Tambahan: