Menjalankan perintah shell di terminal web Azure Databricks

Terminal web Azure Databricks menyediakan cara yang nyaman dan sangat interaktif untuk menjalankan perintah shell dalam antarmuka baris perintah (CLI), termasuk perintah Databricks CLI, untuk mengambil tindakan pada objek Databricks secara terprogram. Ini sangat berguna untuk kasus penggunaan tingkat lanjut, seperti operasi batch pada beberapa file, yang mungkin tidak didukung sepenuhnya oleh antarmuka pengguna (UI) yang ada.

Beberapa pengguna dapat menggunakan terminal web pada satu komputasi.

Anda dapat menggunakan terminal web untuk melakukan hal berikut:

• Lakukan pengeditan file cepat menggunakan Vim atau Emacs.
• Pantau penggunaan sumber daya dengan perintah seperti htop (penggunaan kluster) atau nvidia-smi (penggunaan GPU).
• Jalankan skrip Python non-Spark.
• Jalankan operasi file dengan perintah shell seperti mv dan mkdir.
• Instal dan kelola pustaka pada komputasi.
• Gunakan Databricks CLI untuk mengotomatiskan berbagai aspek Azure Databricks.

Persyaratan

• Terminal web dinonaktifkan secara default untuk semua pengguna ruang kerja. Untuk mengaktifkannya, lihat Mengaktifkan terminal web.
• DAPAT MELAMPIRKAN KE izin pada komputasi.
• Komputasi harus menggunakan mode akses Pengguna tunggal atau Tidak ada isolasi yang dibagikan. Untuk Databricks Runtime 15.1 ke atas, mode akses yang diatur ke Shared juga didukung.

Luncurkan terminal web

Anda dapat meluncurkan terminal web dari halaman detail komputasi atau dari buku catatan.

Dari buku catatan

Untuk meluncurkan terminal web dari notebook:

1. Sambungkan notebook ke komputasi.
2. Di bagian bawah bilah samping kanan buku catatan, klik Open bottom panel in notebookikon Buka panel bawah .
3. Atau, klik menu drop-down komputasi terlampir, arahkan mouse ke atas komputasi terpasang, lalu klik Terminal Web.

Terminal web terbuka di panel di bagian bawah layar. Tombol di kanan atas panel memungkinkan Anda untuk:

• Buka sesi terminal baru di tab baru .
• Muat ulang sesi terminal .
• Tutup panel bawah . Untuk membuka kembali panel, klik di bagian bawah bilah samping kanan.

Dari halaman detail komputasi

Untuk meluncurkan terminal web dari halaman detail komputasi:

1. Pada bilah samping ruang kerja, klik Komputasi.
2. Pada tab Komputasi tujuan semua, klik nama komputasi.
3. Klik Mulai untuk memulai komputasi.
4. Pada tab Aplikasi , klik Terminal Web.

Tab baru terbuka dengan UI terminal web dan perintah Bash.

Menggunakan terminal web

Di terminal web, Anda dapat menjalankan perintah dari akar di dalam kontainer simpul driver komputasi.

Setiap pengguna dapat membuka hingga 100 sesi terminal web aktif (tab). Sesi terminal web tidak aktif mungkin habis waktunya dan aplikasi web terminal web akan terhubung kembali, menghasilkan proses shell baru. Jika Anda ingin mempertahankan sesi Bash Anda, Databricks merekomendasikan untuk menggunakan tmux.

Menjalankan perintah Databricks CLI

Anda juga dapat menggunakan terminal web untuk menjalankan perintah Databricks CLI. CLI yang tersedia selalu merupakan versi terbaru, dan autentikasi didasarkan pada pengguna saat ini. Komputasi harus memenuhi persyaratan berikut:

• Kluster harus menginstal Databricks Runtime 15.0 atau yang lebih baru.
• Ruang kerja tidak boleh diaktifkan untuk Private Link.

Luncurkan terminal web dan jalankan perintah berikut untuk menghasilkan informasi tentang pengguna saat ini:

   databricks current-user me

Perintah bundel juga tersedia, yang memungkinkan Anda membuat dan mengelola Bundel Aset Databricks langsung dari terminal web dalam ruang kerja Databricks. Misalnya, untuk membuat, menyebarkan, dan menjalankan bundel sederhana menggunakan templat default:

1. Dari akar terminal web, navigasikan ke beranda ruang kerja Anda dan jalankan bundle init:

   cd /Workspace/Users/someone@example.com
   databricks bundle init
   

2. Terima perintah templat default, lalu ubah ke direktori bundel dan sebarkan:

   cd my_project
   databricks bundle deploy
   

   Anda dapat melihat bundel yang disebarkan my_project di antarmuka pengguna ruang kerja Databricks.

3. Terakhir, jalankan pekerjaan default di bundel:

   databricks bundle run my_project_job
   

   Navigasi ke Eksekusi Pekerjaan untuk melihat pekerjaan yang sedang berjalan.

Mengonfigurasi terminal web Anda

Anda dapat mengatur konfigurasi persisten untuk terminal web Anda menggunakan file konfigurasi .bashrc.

Databricks secara otomatis memuat file bernama .bashrc dari folder home sistem berkas ruang kerja Anda. Pengaturan dari file-file ini diaktifkan secara otomatis setiap kali Anda memulai sesi terminal baru.

Jika Anda ingin memuat file lainnya (seperti .zshrc) untuk pengalaman terminal web Anda, muatlah file-file tersebut dari dalam file .bashrc Anda untuk menyimpan konfigurasi secara permanen.

Simpan semua file konfigurasi di folder ruang kerja tempat Anda dapat mengonfigurasinya menggunakan editor teks.

Batasan

• Azure Databricks tidak mendukung menjalankan pekerjaan Spark dari terminal web.

• Terminal web Azure Databricks tidak tersedia dalam jenis komputasi berikut:

  • Komputasi pekerjaan
  • Komputasi tanpa server
  • Komputasi diluncurkan dengan set variabel lingkungan DISABLE_WEB_TERMINAL=true.
  • Komputasi diluncurkan dengan mode akses diatur ke Shared pada Databricks Runtime versi di bawah 15.1. Terminal web tersedia pada komputasi bersama untuk Databricks Runtime 15.1 ke atas.
  • Komputasi dimulai dengan konfigurasi Spark spark.databricks.pyspark.enableProcessIsolation dikonfigurasi menjadi true.

• Ada batas keras 12 jam sejak pemuatan halaman awal, setelah itu koneksi apa pun, bahkan jika aktif, akan dihentikan. Anda dapat memuat ulang terminal web untuk menyambungkan kembali. Databricks merekomendasikan menggunakan tmux untuk mempertahankan sesi shell Anda.

• Sumber daya komputasi ARM tidak dapat menggunakan terminal web untuk mengakses file ruang kerja, termasuk file di folder Git.

• Mengaktifkan Docker Container Services menonaktifkan terminal web.