Azure Data Factory veya Azure Synapse Analytics kullanarak Salesforce V1'den ve'ye veri kopyalama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bu makalede, Salesforce'tan ve Salesforce'a veri kopyalamak için Azure Data Factory ve Azure Synapse işlem hatlarında Kopyalama Etkinliği'nin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir genel bakış sunan Kopyalama Etkinliğine genel bakış makalesini oluşturur.

Desteklenen özellikler

Bu Salesforce bağlayıcısı aşağıdaki özellikler için desteklenir:

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kaynak veya havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Bu Salesforce bağlayıcısı özellikle şunları destekler:

• Salesforce Developer, Professional, Enterprise veya Unlimited sürümleri.
• Salesforce üretim, korumalı alan ve özel etki alanından veri kopyalama.

Salesforce bağlayıcısı, Salesforce REST/Bulk API'sinin üzerine kurulmuştur. Salesforce'tan veri kopyalarken bağlayıcı, veri boyutuna göre REST ve Toplu API'ler arasında otomatik olarak seçim gerçekleştirir. Sonuç kümesi büyük olduğunda, daha iyi performans için Toplu API kullanılır; Bağlı hizmetteki özellik aracılığıyla apiVersion verileri okumak/yazmak için kullanılan API sürümünü açıkça ayarlayabilirsiniz. Bağlayıcı, Salesforce'a veri kopyalarken BULK API v1 kullanır.

Önkoşullar

API izni Salesforce'ta etkinleştirilmelidir.

Salesforce istek sınırları

Salesforce'un hem toplam API istekleri hem de eşzamanlı API istekleri için sınırları vardır. Aaşağıdaki noktaları unutmayın:

• Eşzamanlı istek sayısı sınırı aşarsa azaltma gerçekleşir ve rastgele hatalar görürsünüz.
• Toplam istek sayısı sınırı aşarsa Salesforce hesabı 24 saat boyunca engellenir.

Ayrıca her iki senaryoda da "REQUEST_LIMIT_EXCEEDED" hata iletisini alabilirsiniz. Daha fazla bilgi için Salesforce geliştirici sınırları bölümündeki "API istek sınırları" bölümüne bakın.

Kullanmaya başlayın

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK'sı
• Python SDK'sı
• Azure PowerShell
• The REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak Salesforce'a bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Salesforce'a bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

   • Azure Data Factory
   • Azure Synapse

   

2. Salesforce için arama yapın ve Salesforce bağlayıcısını seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde Salesforce bağlayıcısına özgü varlıkları tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Salesforce bağlı hizmeti için aşağıdaki özellikler desteklenir.

Örnek: Kimlik bilgilerini depolama

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "securityToken": {
                "type": "SecureString",
                "value": "<security token>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Kimlik bilgilerini Key Vault'ta depolama

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "username": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of password in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "securityToken": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of security token in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Kimlik bilgilerini Key Vault'ta, ayrıca environmentUrl ve kullanıcı adı'nda depolama

Bunu yaptığınızda artık ayarları düzenlemek için kullanıcı arabirimini kullanamayacağınızı unutmayın. JSON biçiminde dinamik içerik belirt onay kutusu işaretlenir ve bu yapılandırmayı tamamen el ile düzenlemeniz gerekir. Bunun avantajı, burada herhangi bir parametreyi parametreleştirmek yerine Key Vault'tan TÜM yapılandırma ayarlarını türetmenizdir.

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "environmentUrl": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of environment URL in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "username": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of username in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "password": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of password in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "securityToken": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of security token in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde Salesforce veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

ve'den Salesforce'a veri kopyalamak için veri kümesinin tür özelliğini SalesforceObject olarak ayarlayın. Aşağıdaki özellikler desteklenir.

Örnek:

{
    "name": "SalesforceDataset",
    "properties": {
        "type": "SalesforceObject",
        "typeProperties": {
            "objectApiName": "MyTable__c"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Salesforce linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde Salesforce kaynağı ve havuzu tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak türü olarak Salesforce

Salesforce'tan veri kopyalamak için kopyalama etkinliğindeki kaynak türünü SalesforceSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir.

Örnek:

"activities":[
    {
        "name": "CopyFromSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Salesforce input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SalesforceSource",
                "query": "SELECT Col_Currency__c, Col_Date__c, Col_Email__c FROM AllDataType__c"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Havuz türü olarak Salesforce

Verileri Salesforce'a kopyalamak için kopyalama etkinliğindeki havuz türünü SalesforceSink olarak ayarlayın. Kopyalama etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir.

Örnek: Kopyalama etkinliğinde Salesforce havuzu

"activities":[
    {
        "name": "CopyToSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Salesforce output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SalesforceSink",
                "writeBehavior": "Upsert",
                "externalIdFieldName": "CustomerId__c",
                "writeBatchSize": 10000,
                "ignoreNullValues": true
            }
        }
    }
]

Sorgu ipuçları

Salesforce raporundan veri alma

Olarak {call "<report name>"}bir sorgu belirterek Salesforce raporlarından veri alabilirsiniz. "query": "{call \"TestReport\"}" bunun bir örneğidir.

Salesforce Geri Dönüşüm Kutusu'ndan silinen kayıtları alma

Salesforce Geri Dönüşüm Kutusu'ndan geçici olarak silinen kayıtları sorgulamak için olarak queryAllbelirtebilirsinizreadBehavior.

SOQL ile SQL sorgu söz dizimi arasındaki fark

Salesforce'tan veri kopyalarken SOQL sorgusu veya SQL sorgusu kullanabilirsiniz. Bu ikisinin farklı söz dizimi ve işlevsellik desteğine sahip olduğunu unutmayın, karıştırmayın. Salesforce tarafından yerel olarak desteklenen SOQL sorgusunu kullanmanız önerilir. Aşağıdaki tabloda ana farklar listelemektedir:

DateTime sütununda where yan tümcesi kullanarak verileri alma

SOQL veya SQL sorgusunu belirttiğinizde DateTime biçim farkına dikkat edin. Örneğin:

• SOQL örneği: SELECT Id, Name, BillingCity FROM Account WHERE LastModifiedDate >= @{formatDateTime(pipeline().parameters.StartTime,'yyyy-MM-ddTHH:mm:ssZ')} AND LastModifiedDate < @{formatDateTime(pipeline().parameters.EndTime,'yyyy-MM-ddTHH:mm:ssZ')}
• SQL örneği: SELECT * FROM Account WHERE LastModifiedDate >= {ts'@{formatDateTime(pipeline().parameters.StartTime,'yyyy-MM-dd HH:mm:ss')}'} AND LastModifiedDate < {ts'@{formatDateTime(pipeline().parameters.EndTime,'yyyy-MM-dd HH:mm:ss')}'}

MALFORMED_QUERY Hatası: Kesilmiş

"MALFORMED_QUERY: Kesilmiş" hatasıyla karşılaşırsanız, bunun nedeni normalde verilerde JunctionIdList türü sütununa sahip olmanız ve Salesforce'un bu tür verileri çok sayıda satırla destekleme sınırlaması olmasıdır. Azaltmak için JunctionIdList sütununu hariç tutmaya veya kopyalanacak satır sayısını sınırlamaya çalışın (birden çok kopyalama etkinliği çalıştırmasına bölümleyebilirsiniz).

Salesforce için veri türü eşlemesi

Salesforce'tan veri kopyaladığınızda, aşağıdaki eşlemeler Salesforce veri türlerinden hizmet içindeki ara veri türlerine dahili olarak kullanılır. Kopyalama etkinliğinin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . Şema ve veri türü eşlemeleri.

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

Sonraki adımlar

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.