Bagikan melalui

Cara membuat kumpulan Spark kustom di Microsoft Fabric

  • Artikel

Dalam dokumen ini, kami menjelaskan cara membuat kumpulan Apache Spark kustom di Microsoft Fabric untuk beban kerja analitik Anda. Kumpulan Apache Spark memungkinkan pengguna untuk membuat lingkungan komputasi yang disesuaikan berdasarkan persyaratan spesifik mereka, memastikan performa dan pemanfaatan sumber daya yang optimal.

Anda menentukan simpul minimum dan maksimum untuk penskalaan otomatis. Berdasarkan nilai-nilai tersebut, sistem secara dinamis memperoleh dan menghentikan simpul saat persyaratan komputasi pekerjaan berubah, yang menghasilkan penskalaan yang efisien dan meningkatkan performa. Alokasi dinamis pelaksana di kumpulan Spark juga meringankan kebutuhan akan konfigurasi pelaksana manual. Sebaliknya, sistem menyesuaikan jumlah pelaksana tergantung pada volume data dan kebutuhan komputasi tingkat pekerjaan. Proses ini memungkinkan Anda untuk fokus pada beban kerja Anda tanpa khawatir tentang pengoptimalan performa dan manajemen sumber daya.

Nota

Untuk membuat kumpulan Spark kustom, Anda memerlukan akses admin ke ruang kerja. Admin kapasitas harus mengaktifkan opsi kumpulan ruang kerja yang dikustomisasi di bagian Spark Compute dari pengaturan Admin Kapasitas. Untuk mempelajari lebih lanjut, lihat Pengaturan Komputasi Spark untuk Kapasitas Fabric.

Membuat kumpulan Spark kustom

Untuk membuat atau mengelola kumpulan Spark yang terkait dengan ruang kerja Anda:

  1. Buka ruang kerja Anda dan pilih pengaturan ruang kerja .

  2. Pilih opsi Data Engineering/Science untuk memperluas menu, lalu pilih pengaturan Spark.

    Cuplikan layar memperlihatkan tampilan detail Pengaturan Spark.

  3. Pilih opsi Kumpulan Baru. Di layar Buat kumpulan, beri nama kumpulan Spark Anda. Pilih jugakeluarga Simpul , dan pilih ukuran Simpul dari ukuran yang tersedia (Kecil , Sedang , Besar, X-Besar , dan XX-Large ) berdasarkan persyaratan komputasi untuk beban kerja Anda.

    Cuplikan layar memperlihatkan opsi pembuatan kumpulan kustom.

  4. Anda dapat mengatur konfigurasi simpul minimum untuk kumpulan kustom Anda ke 1. Karena Fabric Spark menyediakan ketersediaan yang dapat dipulihkan untuk kluster dengan simpul tunggal, Anda tidak perlu khawatir tentang kegagalan pekerjaan, kehilangan sesi selama kegagalan, atau membayar lebih pada komputasi untuk pekerjaan Spark yang lebih kecil.

  5. Anda dapat mengaktifkan atau menonaktifkan penskalaan otomatis untuk kumpulan Spark kustom Anda. Saat penskalaan otomatis diaktifkan, kumpulan akan secara dinamis memperoleh simpul baru hingga batas node maksimum yang ditentukan oleh pengguna, lalu menghentikannya setelah eksekusi pekerjaan. Fitur ini memastikan performa yang lebih baik dengan menyesuaikan sumber daya berdasarkan persyaratan pekerjaan. Anda dapat mengatur ukuran simpul, yang sesuai dengan satuan kapasitas yang dibeli sebagai bagian dari SKU kapasitas Fabric.

    Cuplikan layar memperlihatkan opsi pembuatan kumpulan kustom untuk penskalaan otomatis dan alokasi dinamis.

  6. Anda juga dapat memilih untuk mengaktifkan alokasi pelaksana dinamis untuk kumpulan Spark Anda, yang secara otomatis menentukan jumlah pelaksana optimal dalam batas maksimum yang ditentukan pengguna. Fitur ini menyesuaikan jumlah pelaksana berdasarkan volume data, menghasilkan peningkatan performa dan pemanfaatan sumber daya.

Kumpulan kustom ini memiliki durasi autopause default 2 menit. Setelah durasi jeda otomatis tercapai, sesi kedaluwarsa dan kluster tidak dialokasikan. Anda dikenakan biaya berdasarkan jumlah simpul dan durasi penggunaan kumpulan Spark kustom.

Konten terkait

  • Pelajari lebih lanjut dari dokumentasi publik Apache Spark .
  • Mulai menggunakan pengaturan administrasi ruang kerja Spark di Microsoft Fabric.