نسخ البيانات من وإلى Salesforce V1 باستخدام Azure Data Factory أو Azure Synapse Analytics

ينطبق على: Azure Data Factory Azure Synapse Analytics

توضح هذه المقالة كيفية استخدام نشاط النسخ في Azure Data Factory ومسارات Azure Synapse لنسخ البيانات من وإلى Salesforce. وهو يستند إلى مقالة نظرة عامة حول نشاط النسخ التي تعرض نظرة عامة حول نشاط النسخ.

القدرات المدعومة

موصل Salesforce هذا مدعوم للإمكانيات التالية:

① وقت تشغيل تكامل Azure ② وقت تشغيل التكامل المستضاف ذاتيًا

للحصول على قائمة مخازن البيانات المدعومة من نشاط النسخ كمصادر ومتلقين، راجع جدول مخازن البيانات المدعومة.

وبشكل خاص، يدعم موصل Salesforce هذا:

• إصدارات مطور Salesforce Developer أو المحترفة أو المؤسسات أو الإصدارات غير المحدودة.
• نسخ البيانات من وإلى Salesforce production وبيئة الاختبار المعزولة والمجال المُخصص.

تم تصميم موصل Salesforce على قمة واجهة برمجة تطبيقات Salesforce REST/Bulk. عند نسخ البيانات من Salesforce، يختار الموصل تلقائيا بين REST وواجهات برمجة التطبيقات المجمعة استنادا إلى حجم البيانات - عندما تكون مجموعة النتائج كبيرة، يتم استخدام واجهة برمجة التطبيقات المجمعة لأداء أفضل؛ يمكنك تعيين إصدار واجهة برمجة التطبيقات المستخدم لقراءة/كتابة البيانات بشكل صريح عبر apiVersion خاصية في الخدمة المرتبطة. عند نسخ البيانات إلى Salesforce، يستخدم الموصل BULK API v1.

المتطلبات الأساسية

يجب تمكين إذن API في Salesforce.

حدود طلب Salesforce

لدى Salesforce حدود لكل من إجمالي طلبات API وطلبات API المتزامنة. لاحظ النقاط التالية:

• في حال تجاوز عدد الطلبات المتزامنة الحد، يحدث تقييد وسترى فشلاً عشوائيًا.
• في حال تجاوز العدد الإجمالي للطلبات الحد، يُمنع حساب Salesforce من العمل لمدة 24 ساعة.

من الممكن أن تتلقى أيضًا رسالة الخطأ "REQUEST_LIMIT_EXCEEDED" في كلا السيناريوهين. لمزيدٍ من المعلومات، انظر قسم "حدود طلبات API" في حدود مطور Salesforce.

الشروع في العمل

لتنفيذ نشاط النسخ باستخدام أحد المسارات، يمكنك استخدام إحدى الأدوات أو عدد تطوير البرامج التالية:

• أداة نسخ البيانات
• مدخل Azure
• The .NET SDK
• عدة تطوير برامج Python
• Azure PowerShell
• واجهة برمجة تطبيقات REST
• قالب Azure Resource Manager

إنشاء خدمة مرتبطة بـ Salesforce باستخدام واجهة المستخدم

استخدم الخطوات التالية لإنشاء خدمة مرتبطة بـ Salesforce في واجهة مستخدم مدخل Azure.

1. استعرض للوصول إلى علامة التبويب "Manage" في مصنع بيانات Azure أو مساحة عمل Synapse، وحدد "Linked Services"، ثم انقر فوق "New":

   • Azure Data Factory
   • Azure Synapse

   

2. ابحث عن Salesforce وحدد موصل Salesforce.

   

3. قم بتكوين تفاصيل الخدمة، واختبر الاتصال، وأنشئ الخدمة المرتبطة الجديدة.

   

تفاصيل تكوين الموصل

توفر الأقسام التالية تفاصيل حول الخصائص المستخدمة لتعريف الكيانات الخاصة بموصل Salesforce.

خصائص الخدمة المرتبطة

يتم اعتماد الخصائص التالية للخدمة المرتبطة لـ Salesforce.

مثال: تخزين معلومات تسجيل الدخول

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "securityToken": {
                "type": "SecureString",
                "value": "<security token>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

مثال: تخزين بيانات الاعتماد في Azure Key Vault

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "username": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of password in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "securityToken": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of security token in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

مثال: تخزين بيانات الاعتماد في Key Vault، بالإضافة إلى environmentUrl واسم المستخدم

لاحظ أنه من خلال القيام بذلك، لن تتمكن من استخدام واجهة المستخدم لتحرير الإعدادات. سيتم تحديد خانة الاختيار تحديد المحتويات الديناميكية بتنسيق JSON، وسيتعين عليك تحرير هذا التكوين بالكامل يدويا. الميزة هي أنه يمكنك اشتقاق جميع إعدادات التكوين من Key Vault بدلا من تحديد معلمات لأي شيء هنا.

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "Salesforce",
        "typeProperties": {
            "environmentUrl": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of environment URL in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "username": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of username in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "password": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of password in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "securityToken": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of security token in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

خصائص مجموعة البيانات

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف مجموعات البيانات، راجع مقالة مجموعات البيانات. يوفر هذا القسم قائمة بالخصائص المدعومة من قِبل مجموعة بيانات Salesforce.

لنسخ البيانات من وإلى Salesforce، قم بتعيين خاصية نوع مجموعة البيانات إلى SalesforceObject. تدعم الخصائص التالية.

مثال:

{
    "name": "SalesforceDataset",
    "properties": {
        "type": "SalesforceObject",
        "typeProperties": {
            "objectApiName": "MyTable__c"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Salesforce linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

انسخ خصائص النشاط

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف الأنشطة، راجع مقالة التدفقات. يوفر هذا القسم قائمة بالخصائص التي يدعمها مصدر Salesforce والملتقي.

Salesforce كنوع مصدر

لنسخ البيانات من Salesforce، قم بتعيين نوع المصدر في نشاط النسخ إلى SalesforceSource. يتم دعم الخصائص التالية في قسم المصدر لنشاط النسخ.

مثال:

"activities":[
    {
        "name": "CopyFromSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Salesforce input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SalesforceSource",
                "query": "SELECT Col_Currency__c, Col_Date__c, Col_Email__c FROM AllDataType__c"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Salesforce كنوع متلقي

لنسخ البيانات إلى Salesforce، قم بتعيين نوع المتلقي في نشاط النسخ إلى SalesforceSink. تُدعم الخصائص التالية في قسم متلقي نشاط النسخ.

مثال: متلقي Salesforce في نشاط النسخ

"activities":[
    {
        "name": "CopyToSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Salesforce output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SalesforceSink",
                "writeBehavior": "Upsert",
                "externalIdFieldName": "CustomerId__c",
                "writeBatchSize": 10000,
                "ignoreNullValues": true
            }
        }
    }
]

التلميحات المتعلقة بالاستعلام

استرداد البيانات من تقرير Salesforce

يمكنك استرداد البيانات من تقارير Salesforce عن طريق تحديد استعلام مثل {call "<report name>"}. مثال على ذلك "query": "{call \"TestReport\"}" .

استرداد السجلات المحذوفة من سلة محذوفات Salesforce

للاستعلام عن السجلات المحذوفة مبدئياً من سلة المحذوفات Salesforce، يمكنك تحديد readBehavior كـ queryAll.

الاختلاف بين SOQL وبناء جملة استعلام SQL

عند نسخ البيانات من Salesforce، يمكنك استخدام استعلام SOQL أو استعلام SQL. لاحظ أن هذين الاثنين لديهما بناء جملة مختلف ودعم وظائف، لا تخلطهما. يتم اقتراح استخدام استعلام SOQL، الذي يتم دعمه من قِبل Salesforce. ترد الاختلافات الرئيسية في الجدول التالي:

قم باسترداد البيانات باستخدام عبارة على العمود التاريخ والوقت

عند تحديد استعلام SOQL أو استعلام SQL، لاحظ اختلافات تنسيق التاريخ والوقت. على سبيل المثال:

• عينة SOQL: SELECT Id, Name, BillingCity FROM Account WHERE LastModifiedDate >= @{formatDateTime(pipeline().parameters.StartTime,'yyyy-MM-ddTHH:mm:ssZ')} AND LastModifiedDate < @{formatDateTime(pipeline().parameters.EndTime,'yyyy-MM-ddTHH:mm:ssZ')}
• عينة SQL: SELECT * FROM Account WHERE LastModifiedDate >= {ts'@{formatDateTime(pipeline().parameters.StartTime,'yyyy-MM-dd HH:mm:ss')}'} AND LastModifiedDate < {ts'@{formatDateTime(pipeline().parameters.EndTime,'yyyy-MM-dd HH:mm:ss')}'}

الخطأ في MALFORMED_QUERY: تم اقتطاعه

إذا تلقيت خطأ من "MALFORMED_QUERY: تم اقتطاعه"، عادةً ما يكون بسبب أن لديك عمودًا من نوع JunctionIdList في البيانات ويكون لدى Salesforce قيود على دعم مثل هذه البيانات مع عدد كبير من الصفوف. للتخفيف، حاول استثناء عمود JunctionIdList أو تحديد عدد الصفوف المراد نسخها (يمكنك التقسيم إلى عدة عمليات تشغيل نشاط النسخ).

تعيين نوع البيانات لـ Salesforce

عند نسخ البيانات من Salesforce، يتم استخدام التعيينات التالية من أنواع بيانات Salesforce إلى أنواع البيانات المؤقتة داخل الخدمة داخلياً. لمعرفة كيفية تعيين نشاط النسخ للمخطط المصدر ونوع البيانات إلى المتلقي، راجع تعيينات المخطط ونوع البيانات.

بحث عن خصائص النشاط

لمعرفة تفاصيل حول الخصائص، تحقق من نشاط البحث.

الخطوات التالية

للحصول على قائمة بمخازن البيانات المدعومة كمصادر ومتلقين من خلال نشاط النسخ، انظر مخازن البيانات المدعومة .