Menyalin data dari tabel Web menggunakan Azure Data Factory atau Synapse Analytics
BERLAKU UNTUK: Azure Data Factory
Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Artikel ini menguraikan cara menggunakan Aktivitas Salin di alur Azure Data Factory atau Synapse Analytics untuk menyalin data dari database tabel Web. Artikel tersebut dibuat berdasarkan artikel gambaran umum aktivitas salin yang menyajikan gambaran umum aktivitas salin.
Perbedaan antara konektor tabel Web ini, konektor REST dan konektor HTTP adalah:
- Konektor tabel web mengekstrak konten tabel dari halaman web HTML.
- Konektor REST secara khusus mendukung penyalinan data dari API RESTful.
- Konektor HTTP bersifat umum untuk mengambil data dari titik akhir HTTP apa pun, misalnya untuk mengunduh file.
Kemampuan yang didukung
Konektor tabel Web ini didukung untuk kemampuan berikut:
Kemampuan yang didukung | IR |
---|---|
Aktivitas penyalinan (sumber/-) | (2) |
Aktivitas pencarian | (2) |
① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri
Untuk daftar penyimpanan data yang didukung sebagai sumber/sink, lihat tabel Penyimpanan data yang didukung.
Secara khusus, konektor tabel Web ini mendukung ekstraksi konten tabel dari halaman HTML.
Prasyarat
Untuk menggunakan konektor tabel Web ini, Anda harus menyiapkan Runtime Integrasi yang Dihost Sendiri. Lihat Artikel Integration Runtime yang dihost sendiri untuk detailnya.
Memulai
Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:
- Alat Penyalinan Data
- Portal Microsoft Azure
- SDK .NET
- SDK Python
- Azure PowerShell
- REST API
- Templat Azure Resource Manager
Membuat layanan tertaut ke Tabel Web menggunakan antarmuka pengguna
Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Tabel Web dalam antarmuka pengguna portal Microsoft Azure.
Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:
Cari Web dan pilih konektor Tabel Web.
Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.
Detail konfigurasi konektor
Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas Data Factory khusus untuk konektor tabel Web.
Properti layanan tertaut
Berikut properti yang didukung untuk layanan tertaut tabel Web:
Properti | Deskripsi | Wajib |
---|---|---|
jenis | Properti jenis harus disetel ke: Web | Ya |
url | URL ke sumber Web | Ya |
authenticationType | Nilai yang diizinkan adalah: Anonim. | Ya |
connectVia | Runtime integrasi yang akan digunakan untuk menyambungkan ke penyimpanan data. Runtime integrasi yang dihost sendiri diperlukan seperti yang disebutkan dalam Prasyarat. | Ya |
Contoh:
{
"name": "WebLinkedService",
"properties": {
"type": "Web",
"typeProperties": {
"url" : "https://en.wikipedia.org/wiki/",
"authenticationType": "Anonymous"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Properti himpunan data
Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel himpunan data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data tabel Web.
Untuk menyalin data dari tabel Web, atur properti jenis himpunan data ke WebTable. Berikut adalah properti yang didukung:
Properti | Deskripsi | Wajib |
---|---|---|
jenis | Properti jenis himpunan data harus diatur ke: WebTable | Ya |
jalan | URL relatif terhadap sumber daya yang berisi tabel. | Tidak. Ketika jalur tidak ditentukan, hanya URL yang ditentukan dalam definisi layanan tertaut yang digunakan. |
index | Indeks tabel dalam sumber daya. Lihat Mendapatkan indeks tabel di bagian halaman HTML untuk langkah-langkah mendapatkan indeks tabel di halaman HTML. | Ya |
Contoh:
{
"name": "WebTableInput",
"properties": {
"type": "WebTable",
"typeProperties": {
"index": 1,
"path": "AFI's_100_Years...100_Movies"
},
"schema": [],
"linkedServiceName": {
"referenceName": "<Web linked service name>",
"type": "LinkedServiceReference"
}
}
}
Properti aktivitas salin
Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung oleh sumber tabel Web.
Tabel Web sebagai sumber
Untuk menyalin data dari tabel Web, atur jenis sumber dalam aktivitas penyalinan ke WebSource, tidak ada properti tambahan yang didukung.
Contoh:
"activities":[
{
"name": "CopyFromWebTable",
"type": "Copy",
"inputs": [
{
"referenceName": "<Web table input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "WebSource"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Mendapatkan indeks tabel dalam halaman HTML
Untuk mendapatkan indeks tabel yang perlu dikonfigurasi di properti himpunan data, Anda dapat menggunakan misalnya Excel 2016 sebagai alat sebagai berikut:
Luncurkan Excel 2016 dan beralih ke tab Data.
Klik Kueri Baru pada toolbar, arahkan ke Dari Sumber Lain dan klik Dari Web.
Di kotak dialog Dari Web, masukkan URL yang akan Anda gunakan di layanan tertaut JSON (misalnya: https://en.wikipedia.org/wiki/) bersama dengan jalur yang akan Anda tentukan untuk himpunan data (misalnya: AFI%27s_100_Years...100_Movies), dan klik Oke.
URL yang digunakan dalam contoh ini: https://en.wikipedia.org/wiki/AFI%27s_100_Years...100_Movies
Jika Anda melihat kotak dialog Konten Access Web, pilih URLyang tepat, autentikasi, dan klik Sambungkan.
Klik item tabel dalam tampilan pohon untuk melihat konten dari tabel lalu klik tombol Edit di bagian bawah.
Di jendela Editor Kueri, klik tombol Editor Lanjutan pada toolbar.
Dalam kotak dialog Editor Lanjutan, angka di samping "Sumber" adalah indeks.
Jika Anda menggunakan Excel 2013, gunakan Microsoft Power Query for Excel untuk mendapatkan indeks. Lihat Menyambungkan ke artikel halaman web untuk detailnya. Langkah-langkahnya mirip jika Anda menggunakan Microsoft Power BI for Desktop.
Properti aktivitas pencarian
Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.
Konten terkait
Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat penyimpanan data yang didukung.