Salin data ke atau dari Azure Data Explorer menggunakan Azure Data Factory atau Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Artikel ini menjelaskan cara menggunakan aktivitas penyalinan di alur Azure Data Factory dan Synapse Analytics untuk menyalin data ke atau dari Azure Data Explorer. Ini dibangun pada artikel Gambaran umum aktivitas salin yang menyajikan gambaran umum aktivitas salin.

Kemampuan yang didukung

Konektor Azure Data Explorer ini didukung untuk kemampuan berikut:

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Anda juga dapat menyalin data dari penyimpanan data sumber yang didukung ke Azure Data Explorer. Anda juga dapat menyalin data dari Azure Data Explorer ke penyimpanan data sink yang didukung. Untuk daftar penyimpanan data yang didukung aktivitas salin sebagai sumber atau sink, lihat tabel Penyimpanan data yang didukung.

Dengan konektor Azure Data Explorer, Anda dapat melakukan hal-hal berikut ini:

• Salin data dengan menggunakan autentikasi token aplikasi Microsoft Entra dengan perwakilan layanan.
• Sebagai sumber, ambil data dengan menggunakan kueri KQL (Kusto).
• Sebagai sink, tambahkan data ke tabel tujuan.

Memulai

Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

• Alat Penyalinan Data
• Portal Microsoft Azure
• SDK .NET
• SDK Python
• Azure PowerShell
• REST API
• Templat Azure Resource Manager

Membuat layanan tertaut ke Azure Data Explorer menggunakan UI

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Azure Data Explorer di UI portal Azure.

1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

   • Azure Data Factory
   • Azure Synapse

   

2. Cari Explorer dan pilih konektor Azure Data Explorer (Kusto).

   

3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

   

Detail konfigurasi konektor

Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas khusus untuk konektor Azure Data Explorer.

Properti layanan tertaut

Konektor Azure Data Explorer mendukung jenis autentikasi berikut ini. Lihat bagian terkait untuk detailnya:

• Autentikasi perwakilan layanan
• Autentikasi identitas terkelola yang ditetapkan sistem
• Autentikasi identitas terkelola yang ditetapkan pengguna

Autentikasi perwakilan layanan

Untuk menggunakan autentikasi perwakilan layanan, ikuti langkah-langkah ini untuk mendapatkan perwakilan layanan dan memberikan izin:

1. Mendaftarkan aplikasi di platform identitas Microsoft. Untuk mempelajari caranya, lihat Mulai Cepat: Mendaftarkan aplikasi dengan platform identitas Microsoft. Catat nilai berikut, yang Anda gunakan untuk menentukan layanan tertaut:

   • ID aplikasi
   • Kunci Aplikasi
   • ID Penyewa

2. Beri perwakilan layanan izin yang benar di Azure Data Explorer. Lihat Mengelola izin database Azure Data Explorer untuk informasi mendetail tentang peran dan izin serta tentang mengelola izin. Secara umum, Anda harus:

   • Sebagai sumber, beri setidaknya peran Penampil database ke database Anda
   • Sebagai sink, berikan setidaknya peran pengguna Database ke database Anda

Properti berikut ini didukung untuk layanan tertaut Azure Data Explorer:

Contoh: menggunakan autentikasi kunci perwakilan layanan

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Autentikasi identitas terkelola yang ditetapkan sistem

Untuk mempelajari selengkapnya tentang identitas terkelola untuk sumber daya Azure, lihat Identitas terkelola untuk sumber daya Azure.

Untuk menggunakan autentikasi identitas terkelola yang ditetapkan sistem, ikuti langkah-langkah berikut untuk memberikan izin:

1. Ambil informasi identitas terkelola dengan menyalin nilai ID objek identitas terkelola yang dihasilkan bersama dengan pabrik atau ruang kerja Synapse Anda.

2. Beri identitas terkelola izin yang benar di Azure Data Explorer. Lihat Mengelola izin database Azure Data Explorer untuk informasi mendetail tentang peran dan izin serta tentang mengelola izin. Secara umum, Anda harus:

   • Sebagai sumber, berikan peran penampil Database ke database Anda.
   • Sebagai sink, berikan peran database ingestor dan penampil Database ke database Anda.

Properti berikut ini didukung untuk layanan tertaut Azure Data Explorer:

Contoh: menggunakan autentikasi identitas terkelola yang ditetapkan sistem

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Autentikasi identitas terkelola yang ditetapkan pengguna

Untuk mempelajari lebih lanjut tentang identitas terkelola untuk sumber daya Azure, lihat Identitas terkelola untuk sumber daya Azure

Untuk menggunakan autentikasi identitas terkelola yang ditetapkan pengguna, ikuti langkah-langkah berikut:

1. Buat satu atau beberapa identitas terkelola yang ditetapkan pengguna dan berikan izin di Azure Data Explorer. Lihat Mengelola izin database Azure Data Explorer untuk informasi mendetail tentang peran dan izin serta tentang mengelola izin. Secara umum, Anda harus:

   • Sebagai sumber, beri setidaknya peran Penampil database ke database Anda
   • Sebagai sink, beri setidaknya peran Ingestor database ke database Anda

2. Tetapkan satu atau beberapa identitas terkelola yang ditetapkan pengguna ke pabrik data atau ruang kerja Synapse Anda, dan buat informasi masuk untuk setiap identitas terkelola yang ditetapkan pengguna.

Properti berikut ini didukung untuk layanan tertaut Azure Data Explorer:

Contoh: menggunakan autentikasi identitas terkelola yang ditetapkan pengguna

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat Himpunan data. Bagian ini mencantumkan properti yang didukung oleh himpunan data Azure Data Explorer.

Untuk menyalin data ke Azure Data Explorer, atur properti jenis himpunan data ke AzureDataExplorerTable.

Berikut adalah properti yang didukung:

Contoh properti himpunan data:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat Alur dan aktivitas. Bagian ini menyediakan daftar properti yang didukung oleh sumber dan sink Azure Data Explorer.

Azure Data Explorer sebagai sumber

Untuk menyalin data dari Azure Data Explorer, atur properti jenis di sumber aktivitas Salin ke AzureDataExplorerSource. Berikut ini properti yang didukung di bagian sumber aktivitas salin:

Contoh:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Azure Data Explorer sebagai sink

Untuk menyalin data ke Azure Data Explorer, atur properti jenis di sink aktivitas salin ke AzureDataExplorerSink. Berikut adalah properti yang didukung di bagian sink aktivitas salin:

Contoh:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Properti pemetaan aliran data

Saat mengubah data dalam aliran data pemetaan, Anda dapat membaca dari dan menulis ke tabel di Azure Data Explorer. Untuk informasi selengkapnya, lihat transformasi sumber dan transformasi sink dalam aliran data pemetaan. Anda dapat memilih untuk menggunakan himpunan data Azure Data Explorer atau himpunan data sebaris sebagai jenis sumber dan sink.

Transformasi sumber

Tabel di bawah mencantumkan properti yang didukung oleh sumber Azure Data Explorer. Anda bisa mengedit properti ini di tab opsi Sumber.

Contoh skrip sumber Azure Data Explorer

Saat Anda menggunakan himpunan data Azure Data Explorer sebagai jenis sumber, skrip aliran data terkaitnya adalah:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Jika menggunakan himpunan data sebaris, skrip aliran data terkait adalah:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Transformasi sink

Tabel di bawah mencantumkan properti yang didukung oleh sink Azure Data Explorer. Anda bisa mengedit properti ini ditab Pengaturan. Saat menggunakan himpunan data sebaris, Anda akan melihat pengaturan tambahan, yang sama dengan properti yang dijelaskan di bagian properti himpunan data.

Contoh skrip sink Azure Data Explorer

Saat Anda menggunakan himpunan data Azure Data Explorer sebagai jenis sink, skrip aliran data terkaitnya adalah:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Jika menggunakan himpunan data sebaris, skrip aliran data terkait adalah:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Properti aktivitas pencarian

Selengkapnya tentang properti, lihat Aktivitas pencarian.

Konten terkait

• Untuk daftar penyimpanan data yang didukung oleh aktivitas penyalinan sebagai sumber dan sink, lihat penyimpanan data yang didukung.

• Pelajari selengkapnya tentang cara menyalin data dari Azure Data Factory dan Synapse Analytics ke Azure Data Explorer.