Bagikan melalui

Memigrasikan data dan alur dari Azure Synapse Analytics ke Microsoft Fabric

  • Artikel

Langkah pertama dalam migrasi data dan alur adalah mengidentifikasi data yang ingin Anda sediakan di OneLake, dan alur yang ingin Anda pindahkan.

Anda memiliki dua opsi untuk migrasi data:

  • Opsi 1: Azure Data Lake Storage (ADLS) Gen2 sebagai penyimpanan default. Jika saat ini Anda menggunakan ADLS Gen2 dan ingin menghindari penyalinan data, pertimbangkan untuk menggunakan pintasan OneLake.
  • Opsi 2: OneLake sebagai penyimpanan default. Jika Anda ingin berpindah dari ADLS Gen2 ke OneLake sebagai lapisan penyimpanan, pertimbangkan untuk membaca/menulis dari/ke OneLake dari notebook dan definisi pekerjaan Spark Anda.

Migrasi data

Opsi 1: ADLS Gen2 sebagai penyimpanan (pintasan)

Jika Berinteraksi dengan ADLS Gen2 dan ingin menghindari duplikasi data, Anda dapat membuat pintasan ke jalur sumber ADLS Gen2 di OneLake. Anda dapat membuat pintasan dalam bagian File dan Tabel lakehouse di Fabric dengan pertimbangan berikut:

  • Bagian File adalah area danau yang tidak dikelola. Jika data Anda dalam format CSV, JSON, atau Parquet, sebaiknya buat pintasan ke area ini.
  • Bagian Tabel adalah area terkelola danau. Semua tabel, baik tabel yang dikelola Spark maupun tidak terkelola, terdaftar di sini. Jika data Anda dalam format Delta, Anda dapat membuat pintasan di area ini dan proses penemuan otomatis secara otomatis mendaftarkan tabel Delta tersebut di metastore lakehouse.

Pelajari selengkapnya tentang membuat pintasan ADLS Gen2.

Opsi 2: OneLake sebagai penyimpanan

Untuk menggunakan OneLake sebagai lapisan penyimpanan dan memindahkan data dari ADLS Gen2, Anda awalnya harus mengarahkan item terkait Azure Synapse Spark ke OneLake lalu mentransfer data yang ada ke OneLake. Untuk yang pertama, lihat mengintegrasikan OneLake dengan Azure Synapse Spark.

Untuk memindahkan data yang sudah ada ke OneLake, Anda memiliki beberapa opsi:

  • mssparkutils fastcp: Pustaka mssparkutils menyediakan API fastcp yang memungkinkan Anda menyalin data antara dari ADLS Gen2 ke OneLake.
  • AzCopy: Anda dapat menggunakan utilitas baris perintah AzCopy untuk menyalin data dari ADLS Gen2 ke OneLake.
  • Azure Data Factory, Azure Synapse Analytics, dan Data Factory di Fabric: Gunakan aktivitas salin untuk menyalin data ke lakehouse.
  • Menggunakan pintasan: Anda dapat mengaktifkan data historis ADLS Gen2 di OneLake menggunakan pintasan. Tidak diperlukan salinan data.
  • Azure Storage Explorer: Anda dapat memindahkan file dari lokasi ADLS Gen2 ke OneLake menggunakan Azure Storage Explorer. Lihat cara mengintegrasikan OneLake dengan Azure Storage Explorer.

Jika alur data Azure Synapse Anda menyertakan notebook dan/atau aktivitas definisi kerja Spark, Anda harus memindahkan alur tersebut dari Azure Synapse ke alur data Data Factory di Fabric, dan mereferensikan notebook target. Aktivitas notebook tersedia di alur data Data Factory. Lihat semua aktivitas alur data yang didukung di Fabric di sini.

Konten terkait