Menyalin data dari database SQL Server ke penyimpanan Azure Blob dengan menggunakan alat Salin Data

Artikel
10/03/2024

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Dalam tutorial ini, Anda menggunakan portal Microsoft Azure untuk membuat pabrik data. Kemudian, Anda menggunakan alat Copy Data untuk membuat alur yang menyalin data dari database SQL Server ke penyimpanan Azure Blob.

Catatan

Jika Anda baru menggunakan Azure Data Factory, lihat Pengantar Azure Data Factory.

Di tutorial ini, Anda melakukan langkah-langkah berikuti:

Membuat pabrik data.
Menggunakan alat Salin Data untuk membuat alur.
Pantau eksekusi alur dan aktivitas.

Prasyarat

Langganan Azure

Sebelum memulai, jika Anda belum memiliki langganan Azure, buat akun gratis.

Peran Azure

Untuk membuat instans pabrik data, akun pengguna yang Anda gunakan untuk masuk ke Azure harus ditetapkan peran Kontributor atau Pemilik atau admin langganan Azure.

Untuk menampilkan izin yang Anda miliki dalam langganan, masuk ke portal Microsoft Azure. Pilih nama pengguna Anda, di sudut kanan atas, lalu pilih Izin. Jika Anda memiliki akses ke beberapa langganan, pilih langganan yang sesuai. Untuk sampel instruksi tentang cara menambahkan pengguna ke peran, lihat Tetapkan peran Azure menggunakan portal Microsoft Azure.

SQL Server 2014, 2016, dan 2017

Dalam tutorial ini, Anda menggunakan database Microsoft SQL Server sebagai penyimpanan data sumber. Alur di pabrik data yang Anda buat dalam tutorial ini menyalin data dari database Microsoft SQL Server ini (sumber) ke penyimpanan Blob (sink). Anda kemudian membuat tabel bernama emp di database SQL Server Anda dan menyisipkan beberapa sampel entri ke dalam tabel.

Mulailah SQL Server Management Studio. Jika belum terpasang di komputer Anda, buka Mengunduh Microsoft SQL Server Management Studio.
Sambungkan ke instans SQL Server Anda dengan menggunakan kredensial Anda.
Buat sampel database. Dalam tampilan pohon, klik kanan Database, lalu pilih Database Baru.
Di jendela Database Baru, masukkan nama untuk database, lalu pilih OK.

Untuk membuat tabel emp dan menyisipkan beberapa sampel data ke dalamnya, jalankan skrip kueri berikut ini terhadap database. Dalam tampilan pohon, klik kanan database yang Anda buat, lalu pilih Kueri Baru.

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
GO

Akun penyimpanan Azure

Dalam tutorial ini, Anda menggunakan akun penyimpanan Azure tujuan umum (khususnya, penyimpanan Blob) sebagai penyimpanan data tujuan/sink. Jika Anda tidak memiliki akun penyimpanan tujuan umum, lihat Membuat akun penyimpanan untuk instruksi untuk membuatnya. Alur di pabrik data yang Anda buat di tutorial ini menyalin data dari database SQL Server (sumber) ke penyimpanan Blob Azure (sink).

Dapatkan nama akun penyimpanan dan kunci akun

Anda menggunakan nama dan kunci akun penyimpanan Anda dalam tutorial ini. Untuk mendapatkan nama dan kunci akun penyimpanan Anda, ikuti langkah-langkah berikut:

Masuk ke portal Microsoft Azure dengan nama pengguna dan kata sandi Azure Anda.
Di panel sebelah kiri, pilih Semua layanan. Filter dengan menggunakan kata kunci Penyimpanan, lalu pilih Akun penyimpanan.
Dalam daftar akun penyimpanan, filter untuk akun penyimpanan Anda jika diperlukan. Pilih akun penyimpanan Anda.
Di jendela Akun penyimpanan, pilih Tombol akses.
Dalam kotak Nama akun penyimpanan dan kotak kunci1, lalu tempelkan nilai, lalu tempelkan ke Notepad atau editor lain untuk digunakan nanti dalam tutorial.

Membuat pabrik data

Di menu sebelah kiri, pilih Buat sumber daya>Integrasi>Data Factory.
Di halaman Pabrik data baru, di bawah Nama, masukkan ADFTutorialDataFactory.

Nama pabrik data harus unik secara global. Jika Anda melihat pesan kesalahan bidang nama berikut, ubah nama pabrik data (contohnya, yournameADFTutorialDataFactory). Untuk aturan penamaan artefak Data Factory, lihat artikel aturan penamaan Data Factory.
Pilih langganan Azure Anda tempat Anda ingin membuat pabrik datanya.
Untuk Grup Sumber Daya, lakukan salah satu langkah berikut:
- Pilih Gunakan yang ada, lalu pilih grup sumber daya yang ada dari menu drop-down.
- Pilih Buat baru, lalu masukkan nama grup sumber daya.
  
  Untuk mempelajari grup sumber daya, lihat Menggunakan grup sumber daya untuk mengelola sumber daya Azure Anda.
Di bawah Versi, pilih V2.
Di bawah Lokasi, pilih lokasi untuk pabrik data. Hanya lokasi yang didukung yang ditampilkan di daftar drop-down. Penyimpanan data (misalnya, Microsoft Azure Storage dan Microsoft Azure SQL Database) dan komputasi (misalnya, Microsoft Azure HDInsight) yang digunakan oleh Data Factory dapat berada di lokasi/wilayah lain.
Pilih Buat.
Setelah pembuatan selesai, Anda akan melihat halaman Azure Data Factory seperti yang ditunjukkan pada gambar.
Pilih Buka pada petak peta Buka Azure Data Factory Studio untuk meluncurkan antarmuka pengguna Azure Data Factory pada tab browser terpisah.

Menggunakan alat Salin Data untuk membuat alur

Di beranda Azure Data Factory, pilih Serap untuk meluncurkan alat Salin Data.
Di halaman Properti alat Salin Data, pilih Tugas salin bawaan di bawah Jenis tugas, dan pilih Jalankan sekali sekarang pada Tempo tugas atau jadwal tugas, lalu pilih Berikutnya.
Pada halaman Penyimpanan data sumber, pilih +Buat koneksi baru.
Di bawah Sambungan baru, cari SQL Server, lalu pilih Lanjutkan.
Dalam kotak dialog Sambungan (SQL Server), di bawah Nama, masukkan SqlServerLinkedService. Pilih +Baru di bawah Sambungkan melalui runtime integrasi. Anda harus membuat runtime integrasi yang dihost sendiri, mengunduhnya ke mesin Anda, dan mendaftarkannya ke Data Factory. Runtime integrasi yang dihost sendiri menyalin data antara lingkungan lokal Anda dan cloud.
Dalam kotak dialog Penyetelan runtime integrasi, Pilih Dihost Sendiri. Lalu Pilih Lanjutkan.
Dalam kotak dialog Penyetelan runtime integrasi, di bawahNama, masukkan TutorialIntegrationRuntime. Lalu pilih Buat.
Dalam kotak dialog Penyetelan runtime integrasi, pilih Klik di sini untuk meluncurkan penyetelan ekspres untuk komputer ini. Tindakan ini memasang runtime integrasi pada mesin Anda dan mendaftarkannya dengan Azure Data Factory. Atau, Anda dapat menggunakan opsi pengaturan manual untuk mengunduh file instalasi, menjalankannya, dan menggunakan kunci untuk mendaftarkan runtime integrasi.
Jalankan aplikasi yang diunduh. Anda melihat status penyetelan ekspres di jendela.
Dalam kotak dialog Sambungan baru (Microsoft SQL Server), konfirmasikan bahwa TutorialIntegrationRuntime dipilih di bawah Sambungkan melalui runtime integrasi. Lalu, ambil langkah-langkah berikut:

a. Di bawah Nama, masukkan SqlServerLinkedService.

b. Di bawah Nama server, masukkan nama instans SQL Server Anda.

c. Di bawah Nama database, masukkan nama database lokal Anda.

d. Di bawah Jenis autentikasi, pilih autentikasi yang sesuai.

e. Di bawah Nama pengguna, masukkan nama pengguna dengan akses ke SQL Server.

f. Masukkan Kata Sandiuntuk pengguna.

g. Uji sambungan dan pilih Buat.
Di halaman Penyimpanan data sumber, pastikan bahwa sambungan SQL Server yang baru dibuat dipilih di blok Sambungan. Kemudian di bagian Tabel sumber, pilih TABEL YANG ADA dan pilih tabel dbo.emp dalam daftar, lalu pilih Berikutnya. Anda bisa memilih tabel lain berdasarkan database Anda.
Pada laman Terapkan filter, Anda dapat melihat pratinjau data dan melihat skema data masukan dengan memilih tombol Pratinjau data. Kemudian pilih Berikutnya.
Pada halaman Penyimpanan data tujuan, pilih + Buat sambungan baru
Di Sambungan baru, telusuri dan pilih Azure Blob Storage, lalu pilih Lanjutkan.
Pada dialog Sambungan baru (Azure Blob Storage), lakukan langkah-langkah berikut:

a. Di bawah Nama, masukkan AzureStorageLinkedService.

b. Di bawah Sambungan melalui runtime integrasi, pilih TutorialIntegrationRuntime, dan pilih Kunci akun pada Metode autentikasi.

c. Di Langganan Azure, Pilih langganan Azure Anda dari daftar tarik turun.

d. Di bawah Nama akun penyimpanan, pilih akun penyimpanan Anda dari daftar drop-down.

e. Uji sambungan dan pilih Buat.
Di Penyimpanan data tujuan, pastikan sambungan Azure Blob Storage yang baru dibuat dipilih di blok Sambungan. Lalu, di Jalur folder, masukkan adftutorial/fromonprem. Anda membuat kontainer adftutorial sebagai bagian dari prasyarat. Jika folder output tidak ada (dalam kasus ini fromonprem), Data Factory secara otomatis membuatnya. Anda juga dapat menggunakan tombol Telusuri untuk menelusuri penyimpanan blob dan kontainer/foldernya. Jika Anda tidak menentukan nilai apa pun di bawah Nama file, secara default nama dari sumber akan digunakan (dalam kasus ini dbo.emp).
Pada dialog Pengaturan format file, pilih Berikutnya.
Di dialog Pengaturan, pada Nama tugas, masukkan CopyFromOnPremSqlToAzureBlobPipeline, lalu pilih Berikutnya. Alat Salin Data membuat alur dengan nama yang Anda tentukan untuk bidang ini.
Pada dialog Ringkasan, tinjau nilai untuk semua pengaturan, dan pilih Berikutnya.
Pada Halaman penyebaran, pilih Monitor untuk memantau alur (tugas).
Saat alur berjalan selesai, Anda dapat melihat status alur yang Anda buat.
Pada halaman eksekusi Alur, pilih Refresh untuk me-refresh daftar. Pilih tautan di bagian Nama alur untuk melihat detail eksekusi aktivitas atau menjalankan kembali alur.
Pada halaman eksekusi Aktivitas, pilih tautan Detail (ikon kacamata) di bawah kolom Nama aktivitas untuk detail selengkapnya tentang operasi penyalinan. Untuk kembali ke halaman "Eksekusi alur", pilih tautan Semua eksekusi alur di menu breadcrumb. Untuk me-refresh tampilan, pilih Refresh.
Pastikan Anda melihat file output di folder fromonprem dalam kontainer adftutorial.
Pilih tab Pembuat di sebelah kiri untuk beralih ke mode editor. Anda dapat memperbarui layanan, himpunan data, dan alur yang ditautkan yang dibuat oleh alat dengan menggunakan editor. Pilih Kode untuk melihat kode JSON yang terkait dengan entitas yang dibuka di editor. Untuk detail tentang cara mengedit entitas ini di antarmuka pengguna Data Factory, lihat versi portal Microsoft Azure dari tutorial ini.