Bagikan melalui

Memigrasikan kumpulan Spark dari Azure Synapse Analytics ke Fabric

  • Artikel

Sementara Azure Synapse menyediakan kumpulan Spark, Fabric menawarkan kumpulan Starter dan kumpulan Kustom. Kumpulan Starter dapat menjadi pilihan yang baik jika Anda memiliki satu kumpulan tanpa konfigurasi atau pustaka kustom di Azure Synapse, dan jika ukuran simpul Sedang memenuhi kebutuhan Anda. Namun, jika Anda mencari lebih banyak fleksibilitas dengan konfigurasi kumpulan Spark Anda, sebaiknya gunakan Kumpulan kustom. Ada dua opsi di sini:

  • Opsi 1: Pindahkan kumpulan Spark Anda ke kumpulan default ruang kerja.
  • Opsi 2: Pindahkan kumpulan Spark Anda ke lingkungan kustom di Fabric.

Jika Anda memiliki lebih dari satu kumpulan Spark dan Anda berencana untuk memindahkannya ke ruang kerja Fabric yang sama, sebaiknya gunakan Opsi 2, membuat beberapa lingkungan dan kumpulan kustom.

Untuk pertimbangan kumpulan Spark, lihat perbedaan antara Azure Synapse Spark dan Fabric.

Prasyarat

Jika Anda belum memilikinya, buat ruang kerja Fabric di penyewa Anda.

Opsi 1: Dari kumpulan Spark ke kumpulan default ruang kerja

Anda dapat membuat kumpulan Spark kustom dari ruang kerja Fabric Anda dan menggunakannya sebagai kumpulan default di ruang kerja. Kumpulan default digunakan oleh semua notebook dan definisi pekerjaan Spark di ruang kerja yang sama.

Untuk berpindah dari kumpulan Spark yang ada dari Azure Synapse ke kumpulan default ruang kerja:

  1. Mengakses ruang kerja Azure Synapse: Masuk ke Azure. Navigasi ke ruang kerja Azure Synapse Anda, buka Kumpulan Analitik dan pilih kumpulan Apache Spark.
  2. Temukan kumpulan Spark: Dari kumpulan Apache Spark, temukan kumpulan Spark yang ingin Anda pindahkan ke Fabric dan periksa Properti kumpulan.
  3. Dapatkan properti: Dapatkan properti kumpulan Spark seperti versi Apache Spark, keluarga ukuran simpul, ukuran simpul, atau skala otomatis. Lihat pertimbangan kumpulan Spark untuk melihat perbedaan apa pun.
  4. Buat kumpulan Spark kustom di Fabric:
    • Buka ruang kerja Fabric Anda dan pilih Pengaturan ruang kerja.
    • Buka Rekayasa Data/Sains dan pilih Pengaturan Spark.
    • Dari tab Kumpulan dan di bagian Kumpulan default untuk ruang kerja, perluas menu dropdown dan pilih buat Kumpulan baru.
    • Buat kumpulan kustom Anda dengan nilai target yang sesuai. Isi nama, keluarga simpul, ukuran simpul, penskalaan otomatis, dan opsi alokasi pelaksana dinamis.
  5. Pilih versi runtime:
    • Buka tab Lingkungan, dan pilih Versi Runtime yang diperlukan. Lihat runtime yang tersedia di sini.
    • Nonaktifkan opsi Atur lingkungan default.

Cuplikan layar memperlihatkan kumpulan default.

Catatan

Dalam opsi ini, pustaka atau konfigurasi tingkat kumpulan tidak didukung. Namun, Anda dapat menyesuaikan konfigurasi komputasi untuk item individual seperti notebook dan definisi pekerjaan Spark, dan menambahkan pustaka sebaris. Jika Anda perlu menambahkan pustaka dan konfigurasi kustom ke lingkungan, pertimbangkan lingkungan kustom.

Opsi 2: Dari kumpulan Spark ke lingkungan kustom

Dengan lingkungan kustom, Anda dapat menyiapkan properti dan pustaka Spark kustom. Untuk membuat lingkungan kustom:

  1. Mengakses ruang kerja Azure Synapse: Masuk ke Azure. Navigasi ke ruang kerja Azure Synapse Anda, buka Kumpulan Analitik dan pilih kumpulan Apache Spark.
  2. Temukan kumpulan Spark: Dari kumpulan Apache Spark, temukan kumpulan Spark yang ingin Anda pindahkan ke Fabric dan periksa Properti kumpulan.
  3. Dapatkan properti: Dapatkan properti kumpulan Spark seperti versi Apache Spark, keluarga ukuran simpul, ukuran simpul, atau skala otomatis. Lihat pertimbangan kumpulan Spark untuk melihat perbedaan apa pun.
  4. Buat kumpulan Spark kustom:
    • Buka ruang kerja Fabric Anda dan pilih Pengaturan ruang kerja.
    • Buka Rekayasa Data/Sains dan pilih Pengaturan Spark.
    • Dari tab Kumpulan dan di bagian Kumpulan default untuk ruang kerja, perluas menu dropdown dan pilih buat Kumpulan baru.
    • Buat kumpulan kustom Anda dengan nilai target yang sesuai. Isi nama, keluarga simpul, ukuran simpul, penskalaan otomatis, dan opsi alokasi pelaksana dinamis.
  5. Buat item Lingkungan jika Anda tidak memilikinya.
  6. Mengonfigurasi komputasi Spark:
    • Dalam Lingkungan, buka > Spark.
    • Pilih kumpulan yang baru dibuat untuk lingkungan baru.
    • Anda dapat mengonfigurasi inti dan memori driver dan pelaksana.
  7. Pilih versi runtime untuk lingkungan. Lihat runtime yang tersedia di sini.
  8. Klik Simpan dan Terbitkan perubahan.

Pelajari selengkapnya tentang membuat dan menggunakan Lingkungan.

Cuplikan layar memperlihatkan lingkungan kustom.

Konten terkait