Menyalin data dari dan ke Salesforce V1 menggunakan Azure Data Factory atau Azure Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Artikel ini menguraikan cara menggunakan Aktivitas Salin di Azure Data Factory dan alur Azure Synapse untuk menyalin data dari dan ke Salesforce. Artikel tersebut dibuat berdasarkan artikel Gambaran umum Salin Aktivitas yang menyajikan gambaran umum aktivitas salin.

Kemampuan yang didukung

Konektor Salesforce ini didukung untuk kemampuan berikut:

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink, lihat tabel penyimpanan data yang didukung.

Secara khusus, konektor Salesforce ini mendukung:

• Pengembang Salesforce, Profesional, Enterprise, atau edisi Unlimited.
• Menyalin data dari dan ke produksi Salesforce, kotak pasir, dan domain kustom.

Konektor Salesforce dibangun di atas Salesforce REST/Bulk API. Saat menyalin data dari Salesforce, konektor secara otomatis memilih antara REST dan API Massal berdasarkan ukuran data - ketika kumpulan hasil besar, API Massal digunakan untuk performa yang lebih baik; Anda dapat secara eksplisit mengatur versi API yang digunakan untuk membaca/menulis data melalui apiVersion properti di layanan tertaut. Saat menyalin data ke Salesforce, konektor menggunakan BULK API v1.

Prasyarat

Izin API harus diaktifkan di Salesforce.

Batas permintaan Salesforce

Salesforce memiliki batasan untuk permintaan API total dan permintaan API bersamaan. Perhatikan poin berikut:

• Jika jumlah permintaan bersama melebihi batas, pembatasan terjadi dan Anda melihat kegagalan acak.
• Jika jumlah total permintaan melebihi batas, akun Salesforce diblokir selama 24 jam.

Anda mungkin juga menerima pesan kesalahan "REQUEST_LIMIT_EXCEEDED" di kedua skenario. Untuk informasi selengkapnya, lihat bagian “API request limits” di Salesforce developer limits.

Memulai

Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

• Alat Penyalinan Data
• Portal Microsoft Azure
• SDK .NET
• SDK Python
• Azure PowerShell
• REST API
• Templat Azure Resource Manager

Membuat layanan tertaut ke Salesforce menggunakan antarmuka pengguna

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Salesforce di antarmuka pengguna portal Microsoft Azure.

1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

   • Azure Data Factory
   • Azure Synapse

   

2. Cari Salesforce dan pilih konektor Salesforce.

   

3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

   

Detail konfigurasi konektor

Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas khusus untuk konektor Salesforce.

Properti layanan tertaut

Properti berikut ini didukung untuk layanan tertaut Salesforce.

Contoh: Info masuk Microsoft Store

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "securityToken": {
                "type": "SecureString",
                "value": "<security token>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Menyimpan info masuk di Key Vault

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "username": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of password in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "securityToken": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of security token in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Contoh: Menyimpan kredensial di Key Vault, serta environmentUrl dan nama pengguna

Perhatikan bahwa dengan melakukannya, Anda tidak akan lagi dapat menggunakan UI untuk mengedit pengaturan. Kotak centang Tentukan konten dinamis dalam format JSON akan dicentang, dan Anda harus mengedit konfigurasi ini sepenuhnya dengan tangan. Keuntungannya adalah Anda dapat memperoleh semua pengaturan konfigurasi dari Key Vault alih-alih membuat parameter apa pun di sini.

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "environmentUrl": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of environment URL in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "username": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of username in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "password": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of password in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "securityToken": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of security token in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel Himpunan Data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data Salesforce.

Untuk menyalin data dari dan ke Salesforce, setel properti jenis himpunan data ke SalesforceObject. Properti berikut ini didukung.

Contoh:

{
    "name": "SalesforceDataset",
    "properties": {
        "type": "SalesforceObject",
        "typeProperties": {
            "objectApiName": "MyTable__c"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Salesforce linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung oleh sumber dan sink Salesforce.

Salesforce sebagai jenis sumber

Untuk menyalin data dari Salesforce, atur jenis sumber dalam aktivitas penyalinan ke SalesforceSource. Properti berikut ini didukung di bagian sumber aktivitas salin.

Contoh:

"activities":[
    {
        "name": "CopyFromSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Salesforce input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SalesforceSource",
                "query": "SELECT Col_Currency__c, Col_Date__c, Col_Email__c FROM AllDataType__c"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Salesforce sebagai jenis sink

Untuk menyalin data ke Salesforce, atur jenis sink dalam aktivitas penyalinan ke SalesforceSink. Properti berikut ini didukung di bagian sink aktivitas salin.

Contoh: Sink Salesforce dalam aktivitas salin

"activities":[
    {
        "name": "CopyToSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Salesforce output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SalesforceSink",
                "writeBehavior": "Upsert",
                "externalIdFieldName": "CustomerId__c",
                "writeBatchSize": 10000,
                "ignoreNullValues": true
            }
        }
    }
]

Tips kueri

Mengambil data dari laporan Salesforce

Anda dapat mengambil data dari laporan Salesforce dengan menentukan kueri sebagai {call "<report name>"}. Contohnya "query": "{call \"TestReport\"}".

Mengambil rekaman yang dihapus dari Keranjang Sampah Salesforce

Untuk mengkueri rekaman yang dihapus sementara dari Keranjang Sampah Salesforce, Anda bisa menentukan readBehavior sebagai queryAll.

Perbedaan antara SOQL dan SQL sintaks kueri

Saat menyalin data dari Salesforce, Anda dapat menggunakan kueri SOQL atau kueri SQL. Perhatikan bahwa keduanya memiliki dukungan sintaks dan fungsionalitas yang berbeda, jangan mencampurnya. Anda disarankan untuk menggunakan kueri SOQL, yang secara asli didukung oleh Salesforce. Tabel berikut ini mencantumkan perbedaan utama:

Mengambil data dengan menggunakan klausul di kolom TanggalWaktu

Saat Anda menentukan kueri SOQL atau SQL, perhatikan perbedaan format TanggalWaktu. Contohnya:

• Sampel SOQL: SELECT Id, Name, BillingCity FROM Account WHERE LastModifiedDate >= @{formatDateTime(pipeline().parameters.StartTime,'yyyy-MM-ddTHH:mm:ssZ')} AND LastModifiedDate < @{formatDateTime(pipeline().parameters.EndTime,'yyyy-MM-ddTHH:mm:ssZ')}
• Sampel SQL: SELECT * FROM Account WHERE LastModifiedDate >= {ts'@{formatDateTime(pipeline().parameters.StartTime,'yyyy-MM-dd HH:mm:ss')}'} AND LastModifiedDate < {ts'@{formatDateTime(pipeline().parameters.EndTime,'yyyy-MM-dd HH:mm:ss')}'}

Kesalahan MALFORMED_QUERY: Truncated

Jika Anda menekan kesalahan "MALFORMED_QUERY: Truncated", biasanya karena Anda memiliki kolom jenis JunctionIdList dalam data dan Salesforce memiliki batasan untuk mendukung data tersebut dengan jumlah baris yang besar. Untuk mengurangi, coba kecualikan kolom JunctionIdList atau batasi jumlah baris yang akan disalin (Anda dapat mempartisi ke beberapa aktivitas salin yang dijalankan).

Pemetaan jenis data untuk Salesforce

Saat Anda menyalin data dari Salesforce, pemetaan berikut digunakan dari jenis data Salesforce ke jenis data sementara dalam layanan secara internal. Untuk mempelajari bagaimana aktivitas salin memetakan skema sumber dan jenis data ke sink, lihat Pemetaan skema dan jenis data.

Properti aktivitas pencarian

Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.

Langkah berikutnya

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat Penyimpanan data yang didukung.