Menyalin data dari dan ke Oracle dengan menggunakan Azure Data Factory atau Azure Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Artikel ini menguraikan cara menggunakan aktivitas salin di Azure Data Factory untuk menyalin data dari dan ke database Oracle. Ini dibuat berdasarkan gambaran umum aktivitas salin.

Kemampuan yang didukung

Konektor Oracle ini didukung untuk kemampuan berikut:

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Untuk daftar penyimpanan data yang didukung sebagai sumber atau sink oleh aktivitas salin, lihat tabel Penyimpanan data yang didukung.

Secara khusus, konektor Oracle ini mendukung:

• Versi database Oracle berikut:
  • Oracle 19c R1 (19.1) dan yang lebih tinggi
  • Oracle 18c R1 (18.1) dan yang lebih tinggi
  • Oracle 12c R1 (12.1) dan yang lebih tinggi
  • Oracle 11g R1 (11.1) dan yang lebih tinggi
  • Oracle 10g R1 (10.1) dan yang lebih tinggi
  • Oracle 9i R2 (9.2) dan yang lebih tinggi
  • Oracle 8i R3 (8.1.7) dan yang lebih tinggi
  • Layanan Exadata Cloud Oracle Database
• Penyalinan paralel dari sumber Oracle. Lihat bagian Penyalinan paralel dari Oracle untuk detailnya.

Prasyarat

Jika penyimpanan data Anda terletak di dalam jaringan lokal, jaringan virtual Azure, atau Amazon Virtual Private Cloud, Anda harus mengonfigurasi runtime integrasi yang dihosting sendiri untuk menghubungkannya.

Jika penyimpanan data Anda adalah layanan data cloud terkelola, Anda dapat menggunakan Azure Integration Runtime. Jika akses dibatasi untuk IP yang disetujui dalam aturan firewall, Anda dapat menambahkan IP Azure Integration Runtime ke daftar izinkan.

Anda juga dapat menggunakan fitur runtime integrasi jaringan virtual terkelola di Azure Data Factory untuk mengakses jaringan lokal tanpa menginstal dan mengonfigurasi runtime integrasi yang dihosting sendiri.

Untuk informasi selengkapnya tentang mekanisme dan opsi keamanan jaringan yang didukung oleh Data Factory, lihat Strategi akses data.

Runtime integrasi menyediakan driver Oracle bawaan. Oleh karena itu, Anda tidak perlu menginstal driver secara manual saat menyalin data dari dan ke Oracle.

Memulai

Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

• Alat Penyalinan Data
• Portal Microsoft Azure
• SDK .NET
• SDK Python
• Azure PowerShell
• REST API
• Templat Azure Resource Manager

Membuat layanan tertaut ke Oracle menggunakan UI

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Oracle di UI portal Azure.

1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

   • Azure Data Factory
   • Azure Synapse

   

2. Cari Oracle dan pilih konektor Oracle.

   

3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

   

Detail konfigurasi konektor

Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas khusus untuk konektor Oracle.

Properti layanan tertaut

Layanan tertaut Oracle mendukung properti berikut ini:

Jika Anda memiliki beberapa instance Oracle untuk skenario failover, Anda dapat membuat layanan tertaut oracle dan mengisi host utama, port, nama pengguna, kata sandi, dll., serta menambahkan "Properti koneksi tambahan" baru dengan nama properti sebagai AlternateServers dan nilai sebagai (HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>) - jangan lewatkan tanda kurung dan perhatikan titik dua (:) sebagai pemisah. Sebagai contoh, nilai server alternatif berikut ini menentukan dua server database alternatif untuk failover koneksi: (HostName=AccountingOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany).

Properti koneksi lainnya yang dapat Anda atur dalam string koneksi per kasus Anda:

Untuk mengaktifkan enkripsi pada koneksi Oracle, Anda memiliki dua opsi:

• Untuk menggunakan Enkripsi Triple-DES (3DES) dan Standar Enkripsi Lanjutan (AES),di sisi server Oracle, buka Keamanan Tingkat Lanjut Oracle (OAS) dan konfigurasikan pengaturan enkripsi. Untuk detailnya, lihat dokumentasi Oracle ini. Konektor Kerangka Kerja Pengembangan Aplikasi (ADF) Oracle secara otomatis menegosiasikan metode enkripsi untuk menggunakan metode yang Anda konfigurasi di OAS saat membuat koneksi ke Oracle.

• Untuk menggunakan TLS, siapkan truststore untuk autentikasi server SSL dengan menerapkan salah satu dari tiga metode berikut:

  • Metode 1 (disarankan):

    1. Instal sertifikat TLS/SSL dengan mengimpornya ke penyimpanan sertifikat lokal. Driver Oracle bawaan dapat memuat sertifikat yang diperlukan dari penyimpanan sertifikat.

    2. Dalam layanan, konfigurasikan oracle string koneksi dengan EncryptionMethod=1.

  • Metode 2:

    1. Dapatkan informasi sertifikat TLS/SSL. Dapatkan informasi sertifikat yang dikodekan Dengan Aturan Pengodean Khusus (DER) atau Email yang Ditingkatkan Privasi (PEM) dari sertifikasi TLS/SSL Anda.

       openssl x509 -inform (DER|PEM) -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -text
       

    2. Dalam layanan, konfigurasikan oracle string koneksi dengan EncryptionMethod=1 dan nilai yang TrustStore sesuai. Misalnya: Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore= data:// -----BEGIN CERTIFICATE-----<certificate content>-----END CERTIFICATE-----

       Catatan

       • Nilai TrustStore bidang harus diawali dengan data://.
       • Saat menentukan konten untuk beberapa sertifikat, tentukan konten setiap sertifikat antara -----BEGIN CERTIFICATE----- dan -----END CERTIFICATE-----. Jumlah tanda hubung (-----) harus sama sebelum dan sesudah dan BEGIN CERTIFICATEEND CERTIFICATE. Contohnya:
         -----BEGIN CERTIFICATE-----<certificate content 1>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 2>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 3>-----END CERTIFICATE-----
       • Bidang ini TrustStore mendukung konten hingga 8192 karakter.

  • Metode 3:

    1. truststore Buat file dengan cipher yang kuat seperti AES256.

       openssl pkcs12 -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -keypbe AES-256-CBC -certpbe AES-256-CBC -nokeys -export
       

    2. Tempatkan truststore file pada mesin runtime integrasi yang dihost sendiri. Misalnya, tempatkan file di C:\MyTrustStoreFile.

    3. Dalam layanan, konfigurasikan oracle string koneksi dengan EncryptionMethod=1 dan nilai yang TrustStore/TrustStorePassword sesuai. Contohnya:Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password>

Contoh:

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Contoh: simpan kata sandi di Azure Key Vault

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properti himpunan data

Bagian ini menyediakan daftar properti yang didukung oleh himpunan data Oracle. Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat Himpunan data.

Untuk menyalin data dari dan ke Oracle, atur properti jenis himpunan data ke OracleTable. Properti berikut ini didukung.

Contoh:

{
    "name": "OracleDataset",
    "properties":
    {
        "type": "OracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Properti aktivitas salin

Bagian ini menyediakan daftar properti yang didukung oleh sumber dan sink Oracle. Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat Alur.

Oracle sebagai sumber

Untuk menyalin data dari Oracle, atur jenis sumber dalam aktivitas penyalinan ke OracleSource. Properti berikut ini didukung di bagian sumber aktivitas salin.

Contoh: menyalin data dengan menggunakan kueri dasar tanpa partisi

"activities":[
    {
        "name": "CopyFromOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OracleSource",
                "convertDecimalToInteger": false,
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Oracle sebagai sink

Untuk menyalin data ke Oracle, atur jenis sink dalam aktivitas penyalinan ke OracleSink. Properti berikut ini didukung di bagian sink aktivitas salin.

Contoh:

"activities":[
    {
        "name": "CopyToOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Oracle output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OracleSink"
            }
        }
    }
]

Penyalinan paralel dari Oracle

Konektor Oracle menyediakan partisi data bawaan untuk menyalin data dari Oracle secara paralel. Anda dapat menemukan opsi pemartisian data pada tab Sumber aktivitas salin.

Saat Anda mengaktifkan penyalinan berpartisi, layanan menjalankan kueri paralel terhadap sumber Oracle Anda untuk memuat data menurut partisi. Derajat paralel dikendalikan oleh pengaturan parallelCopies pada aktivitas salin. Misalnya, jika Anda mengatur parallelCopies ke empat, layanan secara bersamaan akan membuat dan menjalankan empat kueri berdasarkan opsi dan pengaturan partisi yang ditentukan, dan setiap kueri akan mengambil sebagian data dari database Oracle Anda.

Sebaiknya Anda mengaktifkan penyalinan paralel dengan partisi data terutama ketika memuat data dalam jumlah besar dari database Oracle Anda. Berikut ini adalah konfigurasi yang disarankan untuk skenario yang berbeda. Saat menyalin data ke penyimpanan data berbasis file, disarankan untuk menulis ke folder sebagai beberapa file (hanya tentukan nama folder), dalam hal ini performanya lebih baik daripada menulis ke satu file.

Contoh: kueri dengan partisi fisik

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

Contoh: kueri dengan partisi rentang dinamis

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Pemetaan jenis data untuk Oracle

Saat Anda menyalin data dari dan ke Oracle, pemetaan jenis data interim berikut digunakan dalam layanan. Untuk mempelajari bagaimana aktivitas salin memetakan skema sumber dan jenis data ke sink, lihat Pemetaan skema dan jenis data.

Properti aktivitas pencarian

Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.

Konten terkait

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat Penyimpanan data yang didukung.