Bagikan melalui

Mulai cepat: Memindahkan dan mengubah data dengan aliran data dan alur data

  • Artikel

Dalam tutorial ini, Anda menemukan bagaimana aliran data dan pengalaman alur data dapat menciptakan solusi Data Factory yang kuat dan komprehensif.

Prasyarat

Untuk memulai, Anda harus memiliki prasyarat berikut:

Aliran data dibandingkan dengan rangkaian proses

Aliran Data Gen2 memungkinkan Anda untuk menggunakan antarmuka kode rendah dan lebih dari 300 transformasi berbasis data dan AI sehingga Anda dapat dengan mudah membersihkan, menyiapkan, dan mengubah data dengan fleksibilitas lebih daripada alat lainnya. Alur Data memungkinkan kemampuan orkestrasi data bawaan yang kaya untuk menyusun jalur kerja data yang fleksibel dan memenuhi kebutuhan perusahaan Anda. Dalam pipeline, Anda dapat membuat pengelompokan aktivitas secara logis yang melakukan sebuah tugas, yang mungkin termasuk memanggil Dataflow untuk membersihkan dan menyiapkan data Anda. Meskipun ada beberapa fungsionalitas yang tumpang tindih antara keduanya, pilihan yang akan digunakan untuk skenario tertentu tergantung pada apakah Anda memerlukan kekayaan penuh alur atau dapat menggunakan kemampuan aliran data yang lebih sederhana tetapi lebih terbatas. Untuk informasi selengkapnya, lihat panduan keputusan Fabric

Mengubah data dengan aliran data

Ikuti langkah-langkah ini untuk menyiapkan aliran data Anda.

Langkah 1: Membuat aliran data

  1. Pilih ruang kerja yang sudah diaktifkan Fabric Anda, lalu pilih New. Lalu pilih Dataflow Gen2.

    Cuplikan layar memperlihatkan tempat untuk mulai membuat aliran data gen2.

  2. Jendela editor aliran data muncul. Pilih kartu Impor dari SQL Server.

    Cuplikan layar memperlihatkan jendela editor aliran data.

Langkah 2: Dapatkan data

  1. Pada dialog Sambungkan ke sumber data disajikan berikutnya, masukkan detail untuk menyambungkan ke database Azure SQL Anda, lalu pilih Berikutnya. Untuk contoh ini, Anda menggunakan database sampel AdventureWorksLT yang dikonfigurasi sebagai prasyarat ketika menyiapkan database Azure SQL.

    Cuplikan layar memperlihatkan cara menyambungkan ke database Azure SQL.

  2. Pilih data yang ingin Anda ubah lalu pilih Buat. Untuk panduan cepat ini, pilih SalesLT.Customer dari data sampel AdventureWorksLT yang disediakan untuk Azure SQL DB, lalu klik tombol Pilih tabel terkait untuk menyertakan dua tabel terkait lainnya secara otomatis.

    Cuplikan layar memperlihatkan tempat untuk memilih dari data yang tersedia.

Langkah 3: Mengubah data Anda

  1. Jika tidak dipilih, pilih tombol tampilan Diagram di sepanjang bilah status di bagian bawah halaman, atau pilih tampilan Diagram di bawah menu Tampilan di bagian atas editor Power Query. Salah satu opsi ini dapat mengalihkan tampilan diagram.

    Cuplikan layar memperlihatkan tempat untuk memilih tampilan diagram.

  2. Klik kanan kueri SalesLT Pelanggan Anda, atau pilih elipsis vertikal di sebelah kanan kueri tersebut, lalu pilih Gabungkan kueri .

    Cuplikan layar memperlihatkan tempat untuk menemukan opsi Gabungkan kueri.

  3. Konfigurasikan penggabungan dengan memilih tabel SalesLTOrderHeader sebagai tabel kanan untuk penggabungan, kolom CustomerID dari setiap tabel sebagai kolom gabungan, dan Left outer sebagai jenis gabungan. Lalu pilih OK untuk menambahkan kueri penggabungan.

    Cuplikan layar konfigurasi Penggabungan.

  4. Pilih tombol Tambahkan tujuan data, yang terlihat seperti simbol database dengan panah di atasnya, dari kueri penggabungan baru yang Anda buat. Lalu pilih database Azure SQL sebagai jenis tujuan.

    Cuplikan layar menyoroti tombol Tambahkan tujuan data pada kueri penggabungan yang baru dibuat.

  5. Berikan detail untuk koneksi database Azure SQL Anda di mana kueri penggabungan akan diterbitkan. Dalam contoh ini, Anda dapat menggunakan database AdventureWorksLT yang kami gunakan sebagai sumber data untuk tujuan juga.

    Cuplikan layar memperlihatkan dialog Sambungkan ke tujuan data dengan nilai sampel yang diisi.

  6. Pilih database untuk menyimpan data, dan berikan nama tabel, lalu pilih Berikutnya.

    Cuplikan layar memperlihatkan jendela Pilih target tujuan.

  7. Anda dapat membiarkan pengaturan default pada dialog Pilih pengaturan tujuan, dan cukup pilih Simpan pengaturan tanpa membuat perubahan apa pun di sini.

    Cuplikan layar memperlihatkan dialog Pilih pengaturan tujuan.

  8. Pilih Terbitkan kembali di halaman editor aliran data, untuk menerbitkan aliran data.

    Cuplikan layar menyoroti tombol Terbitkan pada editor aliran data gen2.

Memindahkan data dengan pipa data

Setelah membuat Dataflow Gen2, Anda dapat mengoperasikannya dalam alur pemrosesan. Dalam contoh ini, Anda menyalin data yang dihasilkan dari aliran data ke dalam format teks di akun Azure Blob Storage.

Langkah 1: Membuat alur data baru

  1. Dari ruang kerja Anda, pilih New, lalu pilih Pipa Data.

    Cuplikan layar memperlihatkan tempat memulai alur data baru.

  2. Beri nama alur Anda lalu pilih Buat.

    Cuplikan layar memperlihatkan perintah pembuatan alur baru dengan contoh nama alur.

Langkah 2: Mengonfigurasi aliran data Anda

  1. Tambahkan aktivitas aliran data baru ke alur data Anda dengan memilih Aliran Data di tab Aktivitas.

    Cuplikan layar memperlihatkan tempat untuk memilih opsi Aliran Data.

  2. Pilih aliran data pada kanvas alur kerja, lalu tab Pengaturan. Pilih aliran data yang Anda buat sebelumnya dari daftar drop-down.

    Cuplikan layar memperlihatkan cara memilih aliran data yang Anda buat.

  3. Pilih Simpan, lalu Jalankan untuk menjalankan aliran data untuk mengisi tabel kueri gabungan yang Anda rancang di langkah sebelumnya.

    Cuplikan layar memperlihatkan tempat untuk memilih Jalankan.

Langkah 3: Gunakan asisten salinan untuk menambahkan aktivitas salin

  1. Pilih Salin data di kanvas untuk membuka alat Asisten Penyalinan untuk memulai. Atau pilih Gunakan asisten salin dari daftar drop-down Salin data di bawah tab Aktivitas pada pita (Ribbon).

    Cuplikan layar memperlihatkan dua cara untuk mengakses asisten salin.

  2. Pilih sumber data Anda dengan memilih jenis sumber data. Dalam tutorial ini, Anda menggunakan Azure SQL Database yang digunakan sebelumnya saat membuat aliran data untuk menghasilkan kueri penggabungan baru. Gulir ke bawah di bawah penawaran data sampel dan pilih tab Azure, lalu Azure SQL Database. Lalu pilih Berikutnya untuk melanjutkan.

    Cuplikan layar memperlihatkan tempat memilih sumber data.

  3. Buat koneksi ke sumber data Anda dengan memilih Buat koneksi baru. Isi informasi koneksi yang diperlukan di panel, dan masukkan AdventureWorksLT untuk database, tempat kami membuat kueri penggabungan dalam aliran data. Lalu pilih Berikutnya.

    Cuplikan layar memperlihatkan tempat untuk membuat koneksi baru.

  4. Pilih tabel yang Anda buat di langkah aliran data sebelumnya, lalu pilih Berikutnya.

    Cuplikan layar memperlihatkan cara memilih dari tabel yang tersedia.

  5. Untuk tujuan Anda, pilih Azure Blob Storage lalu pilih Berikutnya.

    Cuplikan layar memperlihatkan tujuan data Azure Blob Storage.

  6. Buat koneksi ke tujuan Anda dengan memilih Buat koneksi baru. Berikan detail untuk koneksi Anda, lalu pilih Berikutnya.

    Cuplikan layar memperlihatkan cara membuat koneksi.

  7. Pilih jalur Folder Anda dan berikan nama File , lalu pilih Berikutnya.

    Cuplikan layar memperlihatkan cara memilih jalur folder dan nama file.

  8. Pilih Berikutnya lagi untuk menerima format file default, pemisah kolom, pemisah baris, dan jenis kompresi, secara opsional termasuk header.

    Cuplikan layar memperlihatkan opsi konfigurasi untuk file di Azure Blob Storage.

  9. Selesaikan pengaturan Anda. Kemudian, tinjau dan pilih Simpan + Jalankan untuk menyelesaikan proses.

    Cuplikan layar memperlihatkan cara meninjau pengaturan salin data.

Langkah 5: Desain alur data Anda dan simpan untuk menjalankan dan memuat data

  1. Untuk menjalankan aktivitas Salin setelah aktivitas Aliran Data, seret dari Berhasil pada aktivitas Aliran Data ke aktivitas Salin. Aktivitas Salin hanya berjalan setelah aktivitas Aliran Data berhasil.

    Cuplikan layar memperlihatkan cara membuat aliran data berjalan setelah aktivitas salin.

  2. Pilih Simpan untuk menyimpan alur data Anda. Lalu pilih Jalankan untuk menjalankan alur data Anda dan memuat data Anda.

    Cuplikan layar memperlihatkan tempat untuk memilih Simpan dan Jalankan.

Merencanakan eksekusi pipa

Setelah selesai mengembangkan dan menguji alur, Anda dapat menjadwalkannya untuk dijalankan secara otomatis.

  1. Pada tab Beranda dari jendela editor alur, pilih Jadwalkan.

    Cuplikan layar tombol Jadwal pada menu tab Beranda di editor alur.

  2. Konfigurasikan jadwal sesuai kebutuhan. Contoh di sini menjadwalkan alur kerja untuk dijalankan setiap hari pada pukul 20.00 hingga akhir tahun.

    Cuplikan layar memperlihatkan konfigurasi jadwal agar alur berjalan setiap hari pada pukul 20.00 hingga akhir tahun.

Konten terkait

Sampel ini memperlihatkan kepada Anda cara membuat dan mengonfigurasi Dataflow Gen2 untuk membuat kueri gabungan dan menyimpannya di database Azure SQL, lalu menyalin data dari database ke dalam file teks di Azure Blob Storage. Anda mempelajari cara:

  • Membuat aliran data.
  • Mengubah data dengan aliran data.
  • Buat alur data menggunakan aliran data.
  • Atur urutan pelaksanaan langkah-langkah dalam tahapan.
  • Salin data dengan Asisten Salin.
  • Jalankan dan jadwalkan alur data Anda.

Selanjutnya, beralih untuk memahami lebih lanjut mengenai pemantauan jalannya alur kerja Anda.

Cara memantau jalannya pipeline di Microsoft Fabric