Apa itu LIVY API untuk Rekayasa Data? (Pratinjau)
Catatan
Livy API untuk Rekayasa Data Fabric sedang dalam pratinjau.
Berlaku untuk:✅ Rekayasa Data dan Ilmu Data di Microsoft Fabric
Microsoft Fabric Livy API memungkinkan pengguna mengirimkan dan menjalankan kode Spark pada komputasi Spark yang terhubung dengan Fabric Lakehouse, menghilangkan kebutuhan untuk membuat artefak Notebook atau Definisi Tugas Spark apa pun. Integrasi dengan Lakehouse ini memastikan akses langsung ke data yang disimpan di OneLake.
Fitur
Fabric Livy API memungkinkan pengiriman pekerjaan dalam dua mode berbeda:
- Pekerjaan Sesi
- Pekerjaan dengan sesi Livy melibatkan pembentukan sesi Spark yang tetap aktif selama interaksi dengan Livy API. Sesi Livy berguna untuk beban kerja interaktif.
- Sesi Spark dimulai ketika pekerjaan dikirimkan dan berlangsung hingga pengguna mengakhirinya atau sistem mengakhirinya setelah 20 menit tidak aktif. Sepanjang sesi, beberapa tugas dapat berjalan, berbagi status, dan data yang disimpan dalam cache antara setiap pelaksanaan.
- Pekerjaan Pemrosesan Batch
- Pekerjaan batch Livy memerlukan pengiriman aplikasi Spark untuk eksekusi satu pekerjaan. Berbeda dengan tugas session di Livy, pekerjaan batch tidak menjalankan sesi Spark secara berkelanjutan.
- Dengan pekerjaan batch Livy, setiap pekerjaan memulai sesi Spark yang baru dan berakhir ketika pekerjaan selesai. Pendekatan ini berfungsi dengan baik untuk tugas yang tidak bergantung pada komputasi sebelumnya atau memerlukan mempertahankan status antar pekerjaan.
Mulai menggunakan LIVY API
Pelajari cara membuat dan menjalankan pekerjaan Spark menggunakan Livy API di Fabric dengan memilih mengirim pekerjaan sesi Spark menggunakan Livy API atau mengirim pekerjaan batch Spark menggunakan Livy API.