Mode konkurensi tinggi di Apache Spark for Fabric
Mode konkurensi tinggi memungkinkan pengguna untuk berbagi sesi Spark yang sama di Spark for Fabric untuk rekayasa data dan beban kerja ilmu data. Item seperti notebook menggunakan sesi Spark standar untuk eksekusinya. Dalam mode konkurensi tinggi, sesi Spark dapat mendukung eksekusi independen beberapa item dalam inti loop baca-eval-cetak individu (REPL) yang ada dalam aplikasi Spark. Inti REPL ini menyediakan isolasi untuk setiap item, dan mencegah variabel notebook lokal ditimpa oleh variabel dengan nama yang sama dari buku catatan lain yang berbagi sesi yang sama.
Saat sesi sudah berjalan, ini memberi pengguna pengalaman eksekusi instan saat menggunakan kembali sesi di beberapa buku catatan.
Catatan
Dalam kasus kumpulan kustom dengan mode konkurensi tinggi, pengguna mendapatkan pengalaman mulai sesi 36X lebih cepat dibandingkan dengan sesi Spark standar.
Penting
Kondisi berbagi sesi meliputi:
- Sesi harus berada dalam satu batas pengguna.
- Sesi harus memiliki konfigurasi lakehouse default yang sama.
- Sesi harus memiliki properti komputasi Spark yang sama.
Sebagai bagian dari inisialisasi sesi Spark, inti REPL dibuat. Setiap kali item baru mulai berbagi sesi yang sama dan pelaksana dialokasikan dengan cara berbasis FAIR untuk notebook ini yang berjalan di inti REPL ini di dalam aplikasi Spark mencegah skenario kelaparan.
Konten terkait
- Untuk mulai menggunakan mode konkurensi tinggi di notebook, lihat Mengonfigurasi mode konkurensi tinggi untuk notebook Fabric.