Pengaturan antrean dan konkurensi Pekerjaan Databricks

Artikel ini berisi instruksi dan rekomendasi untuk mengonfigurasi pengaturan tingkat lanjut di Pekerjaan Databricks.

Aktifkan antrean eksekusi pekerjaan

Untuk mencegah eksekusi pekerjaan dilewati karena batas konkurensi, Anda dapat mengaktifkan antrean untuk pekerjaan tersebut. Saat antrean diaktifkan, eksekusi diantrekan hingga 48 jam jika sumber daya tidak tersedia untuk pekerjaan yang dijalankan. Ketika kapasitas tersedia, pekerjaan yang dijalankan dilepas dan dijalankan. Eksekusi yang diantrekan ditampilkan dalam daftar eksekusi untuk pekerjaan dan dalam daftar eksekusi pekerjaan terbaru .

Eksekusi diantrekan saat salah satu batas berikut tercapai:

• Eksekusi aktif bersamaan maksimum di ruang kerja.
• Tugas serentak Run Job maksimum berjalan di ruang kerja.
• Eksekusi pekerjaan bersamaan maksimum.

Antrean adalah properti tingkat pekerjaan yang mengantre hanya berjalan untuk pekerjaan tersebut.

Untuk mengaktifkan atau menonaktifkan antrean, klik Pengaturan tingkat lanjut dan klik tombol pengalih Antrean di panel sisi Detail pekerjaan.

Mengonfigurasi eksekusi bersamaan maksimum

Secara default, eksekusi bersamaan maksimum untuk semua pekerjaan baru adalah 1.

Klik Sunting eksekusi bersamaan di bawah Pengaturan tingkat lanjut untuk mengatur jumlah maksimum eksekusi paralel untuk tugas ini.

Azure Databricks melewatkan eksekusi jika pekerjaan telah mencapai jumlah maksimum eksekusi aktif ketika mencoba untuk memulai eksekusi baru.

Atur nilai ini lebih tinggi dari 1 untuk memungkinkan beberapa eksekusi bersamaan dari pekerjaan yang sama. Ini berguna, misalnya, jika Anda memicu pekerjaan Anda pada jadwal yang sering dan ingin mengaktifkan eksekusi berurutan untuk bertepatan atau memicu beberapa eksekusi yang berbeda berdasarkan parameter masukannya.