Menyalin data dari dan ke penyimpanan data ODBC menggunakan Azure Data Factory atau Synapse Analytics
BERLAKU UNTUK: Azure Data Factory
Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Artikel ini menguraikan cara menggunakan Aktivitas Salin di Azure Data Factory untuk menyalin data dari dan ke penyimpanan data Konektivitas Database Terbuka. Artikel tersebut dibuat berdasarkan artikel gambaran umum aktivitas salin yang menyajikan gambaran umum aktivitas salin.
Kemampuan yang didukung
Konektor ODBC ini didukung untuk kemampuan berikut:
Kemampuan yang didukung | IR |
---|---|
Salin aktivitas (sumber/sink) | (2) |
Aktivitas pencarian | (2) |
① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri
Untuk daftar penyimpanan data yang didukung sebagai sumber/sink, lihat tabel Penyimpanan data yang didukung.
Secara khusus, konektor ODBC ini mendukung penyalinan data dari/ke penyimpanan data yang kompatibel dengan ODBC menggunakan autentikasi Dasar atau Anonim. Diperlukan pengandar ODBC 64-bit. Untuk sink ODBC, dukungan layanan ODBC versi 2.0 standar.
Prasyarat
Untuk menggunakan konektor ODBC ini, Anda perlu:
- Menyiapkan IR yang dihost sendiri. Lihat Artikel Integration Runtime yang dihost sendiri untuk detailnya.
- Instal pengandar ODBC 64-bit untuk penyimpanan data pada komputer Integration Runtime.
Memulai
Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:
- Alat Penyalinan Data
- Portal Microsoft Azure
- SDK .NET
- SDK Python
- Azure PowerShell
- REST API
- Templat Azure Resource Manager
Membuat layanan tertaut ke penyimpanan data ODBC menggunakan UI
Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke penyimpanan data ODBC di UI portal Microsoft Azure.
Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:
Cari ODBC dan pilih konektor ODBC.
Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.
Detail konfigurasi konektor
Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas Data Factory khusus untuk konektor ODBC.
Properti layanan tertaut
Berikut ini properti yang didukung untuk layanan tertaut ODBC:
Properti | Deskripsi | Wajib |
---|---|---|
jenis | Properti jenis harus diatur ke: Odbc | Ya |
connectionString | String koneksi tidak termasuk bagian informasi masuk. Anda dapat menentukan string koneksi dengan pola seperti Driver={SQL Server};Server=Server.database.windows.net; Database=TestDatabase; , atau menggunakan DSN (Nama Sumber Data) sistem yang Anda siapkan di Integration Runtime dengan DSN=<name of the DSN on IR machine>; (Anda masih perlu menentukan bagian informasi masuk dalam layanan tertaut yang sesuai).Anda juga dapat meletakkan kata sandi di Azure Key Vault dan menarik konfigurasi password dari string koneksi. Lihat Menyimpan informasi masuk di Azure Key Vault dengan detail selengkapnya. |
Ya |
authenticationType | Jenis autentikasi yang digunakan untuk menyambungkan ke database DB2. Nilai yang diperbolehkan adalah: Dasar dan Anonim. |
Ya |
userName | Tentukan nama pengguna jika Anda menggunakan autentikasi Dasar. | No |
kata sandi | Tentukan kata sandi untuk akun pengguna yang Anda tentukan untuk userName. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau mereferensikan rahasia yang disimpan di Azure Key Vault. | No |
kredensial | Bagian kredensial akses dari string koneksi yang ditentukan dalam format nilai properti khusus driver. Contoh: "RefreshToken=<secret refresh token>;" . Tandai bidang ini sebagai SecureString. |
No |
connectVia | Runtime integrasi yang akan digunakan untuk menyambungkan ke penyimpanan data. Runtime integrasi yang dihost sendiri diperlukan seperti yang disebutkan dalam Prasyarat. | Ya |
Contoh 1: Menggunakan autentikasi Dasar
{
"name": "ODBCLinkedService",
"properties": {
"type": "Odbc",
"typeProperties": {
"connectionString": "<connection string>",
"authenticationType": "Basic",
"userName": "<username>",
"password": {
"type": "SecureString",
"value": "<password>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Contoh 2: menggunakan autentikasi Anonim
{
"name": "ODBCLinkedService",
"properties": {
"type": "Odbc",
"typeProperties": {
"connectionString": "<connection string>",
"authenticationType": "Anonymous",
"credential": {
"type": "SecureString",
"value": "RefreshToken=<secret refresh token>;"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Properti himpunan data
Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel himpunan data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data ODBC.
Untuk menyalin data dari/ke penyimpanan data yang kompatibel dengan ODBC, berikut properti yang didukung:
Properti | Deskripsi | Wajib |
---|---|---|
jenis | Properti jenis himpunan data harus diatur ke: OdbcTable | Ya |
tableName | Nama tabel di penyimpanan data ODBC. | Tidak untuk sumber (jika "kueri" di sumber aktivitas ditentukan); Ya untuk sink |
Contoh
{
"name": "ODBCDataset",
"properties": {
"type": "OdbcTable",
"schema": [],
"linkedServiceName": {
"referenceName": "<ODBC linked service name>",
"type": "LinkedServiceReference"
},
"typeProperties": {
"tableName": "<table name>"
}
}
}
Jika Anda menggunakan himpunan data berjenis RelationalTable
, himpunan data tersebut masih didukung apa adanya, sementara Anda disarankan untuk menggunakan yang baru ke depannya.
Properti aktivitas salin
Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data ODBC.
ODBC sebagai sumber
Untuk menyalin data dari penyimpanan data yang kompatibel dengan ODBC, berikut properti yang didukung di bagiansumberaktivitas salin:
Properti | Deskripsi | Wajib |
---|---|---|
jenis | Properti jenis sumber aktivitas salinan harus diatur ke: OdbcSource | Ya |
pertanyaan | Gunakan kueri SQL kustom untuk membaca data. Misalnya: "SELECT * FROM MyTable" . |
Tidak (jika "tableName" di himpunan data ditentukan) |
Contoh:
"activities":[
{
"name": "CopyFromODBC",
"type": "Copy",
"inputs": [
{
"referenceName": "<ODBC input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "OdbcSource",
"query": "SELECT * FROM MyTable"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Jika Anda menggunakan sumber berjenis RelationalSource
, sumber ini masih didukung apa adanya, sementara Anda disarankan untuk menggunakan yang baru ke depannya.
ODBC sebagai sink
Untuk menyalin data ke penyimpanan data yang kompatibel dengan ODBC, atur jenis sink dalam aktivitas salin ke OdbcSink. Berikut adalah properti yang didukung di bagian sink aktivitas salin:
Properti | Deskripsi | Wajib |
---|---|---|
jenis | Properti jenis sink aktivitas salin harus diatur ke OdbcSink | Ya |
writeBatchTimeout | Waktu tunggu hingga operasi penyisipan batch selesai sebelum waktu habis. Nilai yang diizinkan adalah: rentang waktu. Contoh: "00:30:00" (30 menit). |
No |
writeBatchSize | Menyisipkan data ke dalam tabel SQL saat ukuran buffer mencapai writeBatchSize. Nilai yang diizinkan adalah: bilangan bulat (jumlah baris). |
Tidak (default adalah 0 - terdeteksi otomatis) |
preCopyScript | Tentukan kueri SQL untuk Aktivitas Salin yang akan dijalankan sebelum menulis data ke penyimpanan data di setiap eksekusi. Anda dapat menggunakan properti ini untuk membersihkan data yang telah dimuat sebelumnya. | No |
Catatan
Untuk "writeBatchSize", jika tidak diatur (terdeteksi otomatis), aktivitas salin terlebih dahulu mendeteksi apakah driver mendukung operasi batch, dan mengaturnya ke 10000 jika ya, atau mengaturnya ke 1 jika tidak. Jika Anda secara eksplisit mengatur nilai selain 0, aktivitas salin akan mematuhi nilai dan gagal saat runtime jika driver tidak mendukung operasi batch.
Contoh:
"activities":[
{
"name": "CopyToODBC",
"type": "Copy",
"inputs": [
{
"referenceName": "<input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<ODBC output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "<source type>"
},
"sink": {
"type": "OdbcSink",
"writeBatchSize": 100000
}
}
}
]
Properti aktivitas pencarian
Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.
Memecahkan masalah konektivitas
Untuk memecahkan masalah koneksi, gunakan tab DiagnostikIntegration Runtime Configuration Manager..
- Luncurkan Integration Runtime Configuration Manager.
- Beralih ke tab Diagnostik.
- Di bagian "Koneksi Uji", pilih jenis penyimpanan data (layanan tertaut).
- Tentukan string koneksi yang digunakan untuk menyambungkan ke penyimpanan data, pilih autentikasi dan masukkan nama pengguna, kata sandi,dan/atau informasi masuk.
- Klik Uji koneksi untuk menguji koneksi ke penyimpanan data.
Konten terkait
Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat penyimpanan data yang didukung.