Kopiera data från och till Salesforce V1 med Azure Data Factory eller Azure Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur du använder kopieringsaktivitet i Azure Data Factory och Azure Synapse-pipelines för att kopiera data från och till Salesforce. Den bygger på översiktsartikeln Kopieringsaktivitet som visar en allmän översikt över kopieringsaktiviteten.

Funktioner som stöds

Den här Salesforce-anslutningsappen stöds för följande funktioner:

(1) Azure Integration Runtime (2) Lokalt installerad integrationskörning

En lista över datalager som stöds som källor eller mottagare finns i tabellen Datalager som stöds.

Mer specifikt stöder den här Salesforce-anslutningsappen:

• Salesforce Developer-, Professional-, Enterprise- eller Unlimited-utgåvor.
• Kopiera data från och till Salesforce-produktion, sandbox-miljö och anpassad domän.

Salesforce-anslutningsappen bygger på Salesforce REST/Bulk API. När du kopierar data från Salesforce väljer anslutningsappen automatiskt mellan REST- och Mass-API:er baserat på datastorleken – när resultatuppsättningen är stor används bulk-API:et för bättre prestanda. Du kan uttryckligen ange den API-version som används för att läsa/skriva data via apiVersion egenskapen i den länkade tjänsten. När du kopierar data till Salesforce använder anslutningsappen BULK API v1.

Förutsättningar

API-behörigheten måste vara aktiverad i Salesforce.

Gränser för Salesforce-begäranden

Salesforce har gränser för både totala API-begäranden och samtidiga API-begäranden. Observera följande:

• Om antalet samtidiga begäranden överskrider gränsen sker begränsning och du ser slumpmässiga fel.
• Om det totala antalet begäranden överskrider gränsen blockeras Salesforce-kontot i 24 timmar.

Du kan också få felmeddelandet "REQUEST_LIMIT_EXCEEDED" i båda scenarierna. Mer information finns i avsnittet "API-begärandensgränser" i Salesforce-utvecklargränser.

Kom igång

Om du vill utföra aktiviteten Kopiera med en pipeline kan du använda något av följande verktyg eller SDK:er:

• Verktyget Kopiera data
• Azure-portalen
• The .NET SDK
• The Python SDK
• Azure PowerShell
• REST-API:et
• Azure Resource Manager-mallen

Skapa en länkad tjänst till Salesforce med hjälp av användargränssnittet

Använd följande steg för att skapa en länkad tjänst till Salesforce i Azure Portal användargränssnittet.

1. Bläddra till fliken Hantera i Din Azure Data Factory- eller Synapse-arbetsyta och välj Länkade tjänster och klicka sedan på Ny:

   • Azure Data Factory
   • Azure Synapse

   

2. Sök efter Salesforce och välj Salesforce-anslutningsappen.

   

3. Konfigurera tjänstinformationen, testa anslutningen och skapa den nya länkade tjänsten.

   

Konfigurationsinformation för anslutningsprogram

Följande avsnitt innehåller information om egenskaper som används för att definiera entiteter som är specifika för Salesforce-anslutningsappen.

Länkade tjänstegenskaper

Följande egenskaper stöds för den länkade Salesforce-tjänsten.

Exempel: Lagra autentiseringsuppgifter

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "securityToken": {
                "type": "SecureString",
                "value": "<security token>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exempel: Lagra autentiseringsuppgifter i Key Vault

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "username": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of password in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "securityToken": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of security token in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exempel: Lagra autentiseringsuppgifter i Key Vault, samt miljöUrl och användarnamn

Observera att du inte längre kan använda användargränssnittet för att redigera inställningar genom att göra det. Kryssrutan Ange dynamiskt innehåll i JSON-format markeras och du måste redigera den här konfigurationen helt för hand. Fördelen är att du kan härleda ALLA konfigurationsinställningar från Key Vault i stället för att parametrisera något här.

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "environmentUrl": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of environment URL in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "username": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of username in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "password": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of password in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "securityToken": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of security token in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Egenskaper för datauppsättning

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i artikeln Datauppsättningar . Det här avsnittet innehåller en lista över egenskaper som stöds av Salesforce-datauppsättningen.

Om du vill kopiera data från och till Salesforce anger du datauppsättningens typegenskap till SalesforceObject. Följande egenskaper stöds.

Exempel:

{
    "name": "SalesforceDataset",
    "properties": {
        "type": "SalesforceObject",
        "typeProperties": {
            "objectApiName": "MyTable__c"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Salesforce linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopiera egenskaper för aktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i artikeln Pipelines . Det här avsnittet innehåller en lista över egenskaper som stöds av Salesforce-källa och mottagare.

Salesforce som källtyp

Om du vill kopiera data från Salesforce anger du källtypen i kopieringsaktiviteten till SalesforceSource. Följande egenskaper stöds i avsnittet kopieringsaktivitetskälla.

Exempel:

"activities":[
    {
        "name": "CopyFromSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Salesforce input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SalesforceSource",
                "query": "SELECT Col_Currency__c, Col_Date__c, Col_Email__c FROM AllDataType__c"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Salesforce som mottagartyp

Om du vill kopiera data till Salesforce anger du mottagartypen i kopieringsaktiviteten till SalesforceSink. Följande egenskaper stöds i avsnittet kopieringsaktivitetsmottagare.

Exempel: Salesforce-mottagare i en kopieringsaktivitet

"activities":[
    {
        "name": "CopyToSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Salesforce output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SalesforceSink",
                "writeBehavior": "Upsert",
                "externalIdFieldName": "CustomerId__c",
                "writeBatchSize": 10000,
                "ignoreNullValues": true
            }
        }
    }
]

Frågetips

Hämta data från en Salesforce-rapport

Du kan hämta data från Salesforce-rapporter genom att ange en fråga som {call "<report name>"}. Ett exempel är "query": "{call \"TestReport\"}".

Hämta borttagna poster från Salesforce-papperskorgen

Om du vill köra frågor mot de mjukt borttagna posterna från Salesforce-papperskorgen kan du ange readBehavior som queryAll.

Skillnad mellan SOQL- och SQL-frågesyntax

När du kopierar data från Salesforce kan du använda antingen SOQL-fråga eller SQL-fråga. Observera att dessa två har olika stöd för syntax och funktioner, blanda inte den. Du rekommenderas att använda SOQL-frågan, som stöds internt av Salesforce. I följande tabell visas de största skillnaderna:

Hämta data med hjälp av en where-sats i kolumnen DateTime

När du anger SOQL- eller SQL-frågan bör du vara uppmärksam på skillnaden i DateTime-format. Till exempel:

• SOQL-exempel: SELECT Id, Name, BillingCity FROM Account WHERE LastModifiedDate >= @{formatDateTime(pipeline().parameters.StartTime,'yyyy-MM-ddTHH:mm:ssZ')} AND LastModifiedDate < @{formatDateTime(pipeline().parameters.EndTime,'yyyy-MM-ddTHH:mm:ssZ')}
• SQL-exempel: SELECT * FROM Account WHERE LastModifiedDate >= {ts'@{formatDateTime(pipeline().parameters.StartTime,'yyyy-MM-dd HH:mm:ss')}'} AND LastModifiedDate < {ts'@{formatDateTime(pipeline().parameters.EndTime,'yyyy-MM-dd HH:mm:ss')}'}

Fel för MALFORMED_QUERY: Trunkerad

Om du stöter på felet "MALFORMED_QUERY: Trunkerad" beror det normalt på att du har kolumnen JunctionIdList-typ i data och Salesforce har begränsningar för att stödja sådana data med ett stort antal rader. Du kan undvika detta genom att försöka exkludera kolumnen JunctionIdList eller begränsa antalet rader som ska kopieras (du kan partitionera till flera kopieringsaktivitetskörningar).

Datatypsmappning för Salesforce

När du kopierar data från Salesforce används följande mappningar från Salesforce-datatyper till mellanliggande datatyper inom tjänsten internt. Information om hur kopieringsaktiviteten mappar källschemat och datatypen till mottagaren finns i Mappningar av schema- och datatyper.

Egenskaper för uppslagsaktivitet

Mer information om egenskaperna finns i Sökningsaktivitet.

Nästa steg

En lista över datalager som stöds som källor och mottagare av kopieringsaktiviteten finns i Datalager som stöds.