Bagikan melalui

Menjalankan pekerjaan secara terus menerus

  • Artikel

Gunakan mode berkelanjutan untuk menjadwalkan beban kerja agar berjalan terus menerus. Databricks merekomendasikan penggunaan mode berkelanjutan untuk beban kerja streaming yang selalu aktif.

Mode berkelanjutan menggantikan rekomendasi lama untuk beban kerja Streaming Terstruktur untuk mengonfigurasi tugas dengan kebijakan percobaan ulang tanpa batas dan maksimum satu eksekusi yang berjalan bersamaan.

Penting

Komputasi tanpa server untuk pekerjaan tidak mendukung mode berkelanjutan.

Mengonfigurasi pekerjaan untuk dijalankan dalam mode berkelanjutan

Untuk mengonfigurasi pekerjaan yang akan dijalankan dalam mode berkelanjutan, lakukan hal berikut:

  1. Di bilah samping, klik Alur Kerja.
  2. Klik nama pekerjaan di kolom Nama pada tab Pekerjaan.
  3. Klik Tambah pemicu di panel Detail pekerjaan, pilih Berkelanjutan di Jenis pemicu, dan klik Simpan.

Untuk menghentikan pekerjaan berkelanjutan, klik tombol Jeda . Klik Lanjutkan untuk memulai ulang pekerjaan dalam mode berkelanjutan.

Catatan

  • Hanya ada satu instance tugas berkelanjutan yang berjalan.
  • Ada penundaan antara selesainya eksekusi dan dimulainya eksekusi baru. Penundaan ini harus kurang dari 60 detik.
  • Anda tidak dapat menggunakan dependensi tugas dengan tugas berkelanjutan.
  • Anda tidak dapat menggunakan kebijakan coba ulang dalam tugas berkelanjutan. Sebagai gantinya, pekerjaan berkelanjutan menggunakan backoff eksponensial untuk mengelola kegagalan eksekusi pekerjaan. Tugas yang gagal dalam pekerjaan berkelanjutan multi-tugas tidak dicoba kembali dan akan tetap dalam status Failed hingga pekerjaan dimulai ulang secara manual atau semua tugas lainnya dihentikan.
  • Pilih Jalankan sekarang untuk memicu eksekusi pekerjaan baru pada pekerjaan berkelanjutan yang dijeda.
  • Agar pekerjaan kontinyu Anda mengadopsi konfigurasi baru, batalkan proses yang sedang berjalan. Pemrosesan baru otomatis dimulai. Anda juga dapat mengklik Mulai ulang eksekusi untuk memulai ulang pekerjaan yang dijalankan dengan konfigurasi yang diperbarui.

Bagaimana kegagalan ditangani untuk pekerjaan berkelanjutan?

Kegagalan di tingkat pekerjaan dikelola menggunakan algoritma backoff eksponensial.

Kegagalan beruntun pada level pekerjaan dikelola menggunakan backoff eksponensial, yang memungkinkan pekerjaan berkelanjutan berjalan tanpa jeda dan kembali ke keadaan sehat saat terjadi kegagalan yang dapat dipulihkan.

Ketika pekerjaan berkelanjutan melebihi ambang batas yang diizinkan untuk kegagalan berturut-turut, berikut ini menjelaskan bagaimana eksekusi pekerjaan berikutnya dikelola:

  1. Pekerjaan dimulai ulang setelah periode pengulangan yang ditetapkan oleh sistem.
  2. Jika eksekusi pekerjaan berikutnya gagal, periode coba lagi diperpanjang, dan pekerjaan dijalankan kembali setelah periode coba lagi baru ini.
    1. Untuk setiap kegagalan pelaksanaan pekerjaan berikutnya, periode pengulangan ditingkatkan hingga periode pengulangan maksimum yang ditetapkan oleh sistem. Setelah mencapai periode coba lagi maksimum, pekerjaan terus dicoba kembali menggunakan periode coba lagi maksimum. Tidak ada batasan jumlah percobaan ulang untuk pekerjaan berkelanjutan.
    2. Jika eksekusi pekerjaan berhasil diselesaikan dan memulai eksekusi baru, atau jika eksekusi melebihi ambang batas tanpa kegagalan, pekerjaan dianggap dalam kondisi baik, dan urutan penundaan diatur ulang.

Anda dapat memulai ulang proses pekerjaan berkelanjutan pada status eksponensial backoff di antarmuka pengguna Jobs atau dengan meneruskan ID pekerjaan ke permintaan POST /api/2.1/jobs/run-now di API Jobs 2.1 atau POST /api/2.0/jobs/run-now di API Jobs 2.0.