Menjalankan perintah shell di terminal web Azure Databricks
Terminal web Azure Databricks menyediakan cara yang nyaman dan sangat interaktif untuk menjalankan perintah shell dalam antarmuka baris perintah (CLI), termasuk perintah Databricks CLI, untuk mengambil tindakan pada objek Databricks secara terprogram. Ini sangat berguna untuk kasus penggunaan tingkat lanjut, seperti operasi batch pada beberapa file, yang mungkin tidak didukung sepenuhnya oleh antarmuka pengguna (UI) yang ada.
Beberapa pengguna dapat menggunakan terminal web pada satu komputasi.
Anda dapat menggunakan terminal web untuk melakukan hal berikut:
- Lakukan pengeditan file cepat menggunakan Vim atau Emacs.
- Pantau penggunaan sumber daya dengan perintah seperti
htop
(penggunaan kluster) ataunvidia-smi
(penggunaan GPU). - Jalankan skrip Python non-Spark.
- Jalankan operasi file dengan perintah shell seperti
mv
danmkdir
. - Instal dan kelola pustaka pada komputasi.
- Gunakan Databricks CLI untuk mengotomatiskan berbagai aspek Azure Databricks.
Persyaratan
Peringatan
Azure Databricks menproksi layanan terminal web dari port 7681 pada driver Spark komputasi. Proksi web ini dimaksudkan untuk digunakan hanya dengan termial web. Jika port ditempati ketika komputasi dimulai atau ada semacam konflik, terminal web mungkin tidak berfungsi seperti yang diharapkan. Jika layanan web lain diluncurkan pada port 7681, pengguna komputasi mungkin terpapar potensi eksploitasi keamanan. Baik Databricks maupun Microsoft tidak bertanggung jawab atas masalah apa pun yang dihasilkan dari penginstalan perangkat lunak yang tidak didukung pada komputasi.
- Terminal web dinonaktifkan secara default untuk semua pengguna ruang kerja. Untuk mengaktifkannya, lihat Mengaktifkan terminal web.
- DAPAT MELAMPIRKAN KE izin pada komputasi.
- Komputasi harus menggunakan mode akses Pengguna tunggal atau Tidak ada isolasi yang dibagikan. Untuk Databricks Runtime 15.1 ke atas, mode akses yang diatur ke Shared juga didukung.
Luncurkan terminal web
Anda dapat meluncurkan terminal web dari halaman detail komputasi atau dari buku catatan.
Dari buku catatan
Untuk meluncurkan terminal web dari notebook:
- Sambungkan notebook ke komputasi.
- Di bagian bawah bilah samping kanan buku catatan, klik Open bottom panel in notebookikon Buka panel bawah .
- Atau, klik menu drop-down komputasi terlampir, arahkan mouse ke atas komputasi terpasang, lalu klik Terminal Web.
Terminal web terbuka di panel di bagian bawah layar. Tombol di kanan atas panel memungkinkan Anda untuk:
- Buka sesi terminal baru di tab
baru .
- Muat ulang sesi
terminal .
- Tutup panel
bawah . Untuk membuka kembali panel, klik
di bagian bawah bilah samping kanan.
Dari halaman detail komputasi
Untuk meluncurkan terminal web dari halaman detail komputasi:
- Pada bilah samping ruang kerja, klik Komputasi.
- Pada tab Komputasi tujuan semua, klik nama komputasi.
- Klik Mulai untuk memulai komputasi.
- Pada tab Aplikasi , klik Terminal Web.
Tab baru terbuka dengan UI terminal web dan perintah Bash.
Menggunakan terminal web
Di terminal web, Anda dapat menjalankan perintah dari akar di dalam kontainer simpul driver komputasi.
Setiap pengguna dapat membuka hingga 100 sesi terminal web aktif (tab). Sesi terminal web tidak aktif mungkin habis waktunya dan aplikasi web terminal web akan terhubung kembali, menghasilkan proses shell baru. Jika Anda ingin mempertahankan sesi Bash Anda, Databricks merekomendasikan untuk menggunakan tmux.
Menjalankan perintah Databricks CLI
Anda juga dapat menggunakan terminal web untuk menjalankan perintah Databricks CLI. CLI yang tersedia selalu merupakan versi terbaru, dan autentikasi didasarkan pada pengguna saat ini. Komputasi harus memenuhi persyaratan berikut:
- Kluster harus menginstal Databricks Runtime 15.0 atau yang lebih baru.
- Ruang kerja tidak boleh diaktifkan untuk Private Link.
Luncurkan terminal web dan jalankan perintah berikut untuk menghasilkan informasi tentang pengguna saat ini:
databricks current-user me
Perintah bundel juga tersedia, yang memungkinkan Anda membuat dan mengelola Bundel Aset Databricks langsung dari terminal web dalam ruang kerja Databricks. Misalnya, untuk membuat, menyebarkan, dan menjalankan bundel sederhana menggunakan templat default:
Dari akar terminal web, navigasikan ke beranda ruang kerja Anda dan jalankan
bundle init
:cd /Workspace/Users/someone@example.com databricks bundle init
Terima perintah templat default, lalu ubah ke direktori bundel dan sebarkan:
cd my_project databricks bundle deploy
Anda dapat melihat bundel yang disebarkan
my_project
di antarmuka pengguna ruang kerja Databricks.Terakhir, jalankan pekerjaan default di bundel:
databricks bundle run my_project_job
Navigasi ke Eksekusi Pekerjaan untuk melihat pekerjaan yang sedang berjalan.
Mengonfigurasi terminal web Anda
Anda dapat mengatur konfigurasi persisten untuk terminal web Anda menggunakan file konfigurasi .bashrc.
Databricks secara otomatis memuat file bernama .bashrc dari folder home sistem berkas ruang kerja Anda. Pengaturan dari file-file ini diaktifkan secara otomatis setiap kali Anda memulai sesi terminal baru.
Jika Anda ingin memuat file lainnya (seperti .zshrc) untuk pengalaman terminal web Anda, muatlah file-file tersebut dari dalam file .bashrc Anda untuk menyimpan konfigurasi secara permanen.
Simpan semua file konfigurasi di folder ruang kerja tempat Anda dapat mengonfigurasinya menggunakan editor teks.
Batasan
Azure Databricks tidak mendukung menjalankan pekerjaan Spark dari terminal web.
Terminal web Azure Databricks tidak tersedia dalam jenis komputasi berikut:
- Komputasi pekerjaan
- Komputasi tanpa server
- Komputasi diluncurkan dengan set variabel lingkungan
DISABLE_WEB_TERMINAL=true
. - Komputasi diluncurkan dengan mode akses diatur ke Shared pada Databricks Runtime versi di bawah 15.1. Terminal web tersedia pada komputasi bersama untuk Databricks Runtime 15.1 ke atas.
- Komputasi dimulai dengan konfigurasi Spark
spark.databricks.pyspark.enableProcessIsolation
dikonfigurasi menjaditrue
.
Ada batas keras 12 jam sejak pemuatan halaman awal, setelah itu koneksi apa pun, bahkan jika aktif, akan dihentikan. Anda dapat memuat ulang terminal web untuk menyambungkan kembali. Databricks merekomendasikan menggunakan tmux untuk mempertahankan sesi shell Anda.
Sumber daya komputasi ARM tidak dapat menggunakan terminal web untuk mengakses file ruang kerja, termasuk file di folder Git.
Mengaktifkan Docker Container Services menonaktifkan terminal web.