Menyalin data dari Netezza menggunakan Azure Data Factory atau Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Artikel ini menguraikan cara menggunakan Aktivitas Penyalinan di alur Azure Data Factory atau Synapse Analytics untuk menyalin data dari Netezza. Artikel ini dibuat berdasarkan Aktivitas Salin, yang menyajikan ikhtisar umum tentang Aktivitas Salin.

Kemampuan yang didukung

Konektor Netezza ini didukung untuk kemampuan berikut:

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Untuk daftar penyimpanan data yang didukung Aktivitas Salin sebagai sumber dan sink, lihat Penyimpanan dan format data yang didukung.

Konektor Netezza ini mendukung:

• Penyalinan paralel dari sumber. Lihat bagian Penyalinan paralel dari Netezza untuk detailnya.
• Netezza Performance Server versi 11.
• Versi Windows dalam artikel ini.

Layanan ini menyediakan driver bawaan untuk mengaktifkan konektivitas. Anda tidak perlu menginstal driver apa pun secara manual untuk menggunakan konektor ini.

Prasyarat

Jika penyimpanan data Anda terletak di dalam jaringan lokal, jaringan virtual Azure, atau Amazon Virtual Private Cloud, Anda harus mengonfigurasi runtime integrasi yang dihosting sendiri untuk menghubungkannya.

Jika penyimpanan data Anda adalah layanan data cloud terkelola, Anda dapat menggunakan Azure Integration Runtime. Jika akses dibatasi untuk IP yang disetujui dalam aturan firewall, Anda dapat menambahkan IP Azure Integration Runtime ke daftar izinkan.

Anda juga dapat menggunakan fitur runtime integrasi jaringan virtual terkelola di Azure Data Factory untuk mengakses jaringan lokal tanpa menginstal dan mengonfigurasi runtime integrasi yang dihosting sendiri.

Untuk informasi selengkapnya tentang mekanisme dan opsi keamanan jaringan yang didukung oleh Data Factory, lihat Strategi akses data.

Memulai

Anda dapat membuat alur yang menggunakan aktivitas penyalinan dengan menggunakan .NET SDK, Python SDK, Azure PowerShell, REST API, atau templat Azure Resource Manager. Lihat tutorial Aktivitas Salin untuk petunjuk langkah demi langkah untuk membuat alur dengan aktivitas penyalinan.

Membuat layanan tertaut ke Netezza menggunakan antarmuka pengguna

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Netezza di antarmuka pengguna portal Microsoft Azure.

1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

   • Azure Data Factory
   • Azure Synapse

   

2. Cari Netezza dan pilih konektor Netezza.

   

3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

   

Detail konfigurasi konektor

Bagian berikut ini menyediakan detail tentang properti yang dapat Anda gunakan untuk menentukan entitas Data Factory khusus untuk konektor Netezza.

Properti layanan tertaut

Properti berikut didukung untuk layanan tertaut Netezza:

String koneksi biasanya adalah Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>. Tabel berikut ini menjelaskan lebih banyak properti yang dapat Anda atur:

Contoh

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Contoh: simpan kata sandi di Azure Key Vault

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properti himpunan data

Bagian ini menyediakan daftar properti yang didukung kumpulan data Netezza.

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat Himpunan Data.

Untuk menyalin data dari Netezza, atur properti jenis himpunan data ke NetezzaTable. Berikut adalah properti yang didukung:

Contoh

{
    "name": "NetezzaDataset",
    "properties": {
        "type": "NetezzaTable",
        "linkedServiceName": {
            "referenceName": "<Netezza linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Properti Aktivitas Salin

Bagian ini menyediakan daftar properti yang didukung sumber data Netezza.

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat Alur.

Netezza sebagai sumber

Untuk menyalin data dari Netezza, atur jenis sumber di Aktivitas Penyalinan ke NetezzaSource. Properti berikut ini didukung di bagian sumber Aktivitas Penyalinan:

Contoh:

"activities":[
    {
        "name": "CopyFromNetezza",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Netezza input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "NetezzaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Penyalinan paralel dari Netezza

Konektor Netezza Data Factory menyediakan partisi data bawaan untuk menyalin data dari Netezza secara paralel. Anda dapat menemukan opsi pemartisian data pada tabel Sumber aktivitas salin.

Saat Anda mengaktifkan penyalinan terpartisi, Data Factory menjalankan kueri paralel terhadap sumber Netezza Anda untuk memuat data menurut partisi. Derajat paralel dikendalikan oleh pengaturan parallelCopies pada aktivitas salin. Misalnya, jika Anda mengatur parallelCopies ke empat, Data Factory secara bersamaan membuat dan menjalankan empat kueri berdasarkan opsi dan pengaturan partisi yang ditentukan, dan setiap kueri mengambil sebagian data dari database Netezza Anda.

Sebaiknya Anda mengaktifkan penyalinan paralel dengan partisi data terutama ketika Anda memuat sejumlah besar data dari database Netezza Anda. Berikut ini adalah konfigurasi yang disarankan untuk skenario yang berbeda. Saat menyalin data ke penyimpanan data berbasis file, disarankan untuk menulis ke folder sebagai beberapa file (hanya tentukan nama folder), dalam hal ini performanya lebih baik daripada menulis ke satu file.

Contoh: kueri dengan partisi potongan data

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>",
    "partitionOption": "DataSlice"
}

Contoh: kueri dengan partisi rentang dinamis

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Properti aktivitas pencarian

Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.

Konten terkait

Untuk daftar penyimpanan data yang didukung Aktivitas Salin sebagai sumber dan sink, lihat Penyimpanan dan format data yang didukung.