Mulai Cepat: Membuat Pekerjaan Apache Airflow

Artikel
10/25/2024

Catatan

Pekerjaan Apache Airflow didukung oleh Apache Airflow.
Apache Airflow adalah platform sumber terbuka yang digunakan untuk membuat, menjadwalkan, dan memantau pekerjaan yang kompleks secara terprogram. Ini memungkinkan Anda untuk menentukan sekumpulan tugas, yang disebut operator, yang dapat digabungkan ke dalam grafik acyclic (DAG) yang diarahkan untuk mewakili alur data.

Apache Airflow Job menyediakan cara sederhana dan efisien untuk membuat dan mengelola lingkungan Apache Airflow, memungkinkan Anda menjalankan pekerjaan orkestrasi dalam skala besar dengan mudah. Dalam mulai cepat ini, mari kita buat pekerjaan Apache Airflow sederhana untuk membiasakan diri dengan lingkungan dan fungsionalitas Apache Airflow Job.

Prasyarat

Aktifkan Pekerjaan Apache Airflow di Penyewa Anda.

Catatan

Karena pekerjaan Apache Airflow dalam status pratinjau, Anda perlu mengaktifkannya melalui admin penyewa Anda. Jika Anda sudah melihat Apache Airflow Job, admin penyewa Anda mungkin telah mengaktifkannya.

Buka Portal Admin -> Pengaturan Penyewa -> Di bawah Microsoft Fabric -> Perluas bagian 'Pengguna dapat membuat dan menggunakan Apache Airflow Job (pratinjau)'.
Pilih Terapkan.

Membuat Pekerjaan Apache Airflow

Anda dapat menggunakan ruang kerja yang sudah ada atau Membuat ruang kerja baru.
Perluas + New dropdown -> Klik Opsi Lainnya -> Di bawah Data Factory bagian -> Pilih Pekerjaan Apache Airflow (pratinjau)
Beri nama yang sesuai untuk proyek Anda dan klik tombol "Buat".

Membuat File DAG

Klik kartu "File DAG baru" -> beri nama ke file dan Klik tombol "Buat".
Kode DAG boilerplate disajikan kepada Anda. Anda dapat mengedit file sesuai kebutuhan Anda.
Klik "Simpan ikon".

Menjalankan DAG

Mulailah dengan mengklik tombol "Jalankan DAG".
Setelah dimulai, pemberitahuan akan segera muncul yang menunjukkan DAG sedang berjalan.
Untuk memantau kemajuan eksekusi DAG, cukup klik "Lihat Detail" di dalam pusat pemberitahuan. Tindakan ini akan mengarahkan Anda ke UI Apache Airflow, tempat Anda dapat dengan mudah melacak status dan detail eksekusi DAG.