نسخ البيانات من MySQL باستخدام Azure Data Factory أو Synapse Analytics

ينطبق على: Azure Data Factory Azure Synapse Analytics

توضح هذه المقالة كيفية استخدام نسخ النشاط في Azure Data Factory وخطوط تدفق Synapse Analytics لنسخ البيانات من قاعدة بيانات MySQL. تعتمد هذه المقالة على مقالة نظرة عامة على نشاط النسخ التي تقدم نظرة عامة على نشاط النسخ.

القدرات المدعومة

يعتمد موصل MySQL في الإمكانيات التالية:

① وقت تشغيل تكامل Azure ② وقت تشغيل التكامل المستضاف ذاتيًا

للحصول على قائمة بمخازن البيانات المدعومة كمصادر/متلقيات بواسطة نشاط النسخ، راجع جدول مخازن البيانات المدعومة.

يدعم هذا الموصل إصدار MySQL 5.5 و5.6 و5.7 و8.0 و8.1 و8.2 ضمن إصدار موصل MySQL 2.0 و5.6 و5.7 و8.0 للإصدار 1.0.

المتطلبات الأساسية

إذا كان مخزن البيانات الخاص بك موجوداً داخل شبكة محلية، أو شبكة Azure ظاهرية، أو Amazon Virtual Private Cloud، فأنت بحاجة إلى تكوين وقت تشغيل تكامل مستضاف ذاتياً للاتصال به.

إذا كان مخزن البيانات الخاص بك عبارة عن خدمة بيانات سحابية مُدارة، يمكنك استخدام Azure Integration Runtime. إذا كان الوصول مقتصراً على عناوين IP التي تمت الموافقة عليها في قواعد جدار الحماية، يمكنك إضافة عناوين IP لـ Azure Integration Runtime إلى قائمة السماح.

يمكنك أيضاً استخدام ميزة وقت تشغيل تكامل الشبكة الظاهرية المُدارة في Azure Data Factory للوصول إلى الشبكة المحلية دون تثبيت وقت تشغيل تكامل مستضاف ذاتياً وتكوينه.

لمزيد من المعلومات حول آليات وخيارات أمان الشبكة التي يدعمها Data Factory، راجع إستراتيجيات الوصول إلى البيانات.

يوفر Integration Runtime برنامج تشغيل MySQL مدمجاً بدءاً من الإصدار 3.7، وبالتالي لا تحتاج إلى تثبيت أي برنامج تشغيل يدوياً.

الشروع في العمل

لتنفيذ نشاط النسخ باستخدام أحد المسارات، يمكنك استخدام إحدى الأدوات أو عدد تطوير البرامج التالية:

• أداة نسخ البيانات
• مدخل Azure
• The .NET SDK
• عدة تطوير برامج Python
• Azure PowerShell
• واجهة برمجة تطبيقات REST
• قالب Azure Resource Manager

إنشاء خدمة مرتبطة بـ MySQL باستخدام واجهة المستخدم

استخدم الخطوات التالية لإنشاء خدمة مرتبطة بـ MySQL في واجهة مستخدم مدخل Microsoft Azure.

1. استعرض للوصول إلى علامة التبويب "Manage" في مصنع بيانات Azure أو مساحة عمل Synapse، وحدد "Linked Services"، ثم انقر فوق "New":

   • Azure Data Factory
   • Azure Synapse

   

2. ابحث عن MySQL وحدد موصل MySQL.

   

3. قم بتكوين تفاصيل الخدمة، واختبر الاتصال، وأنشئ الخدمة المرتبطة الجديدة.

   

تفاصيل تكوين الموصل

توفر الأقسام التالية تفاصيل حول الخصائص المستخدمة لتحديد كيانات Data Factory الخاصة بموصل MySQL.

خصائص الخدمة المرتبطة

إذا كنت تستخدم الإصدار 2.0، يتم دعم الخصائص التالية لخدمة MySQL المرتبطة:

مثال:

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
             "server": "<server>",
             "port": 3306,
             "database": "<database>",
             "username": "<username>",
             "password": {
                "type": "SecureString",
                "value": "<password>"
             },
             "sslmode": <sslmode>,
             "usesystemtruststore": <UseSystemTrustStore>,
             "driverVersion": "v2"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

مثال: تخزين كلمة المرور في Azure Key Vault

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
            "server": "<server>",
            "port": 3306,
            "database": "<database>",
            "username": "<username>",
            "sslmode": <sslmode>,
            "usesystemtruststore": <UseSystemTrustStore>,
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            },
            "driverVersion": "v2"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

إذا كنت تستخدم الإصدار 1.0، يتم دعم الخصائص التالية:

سلسلة الاتصال النموذجية هي Server=<server>;Port=<port>;Database=<database>;UID=<username>;PWD=<password>. المزيد من الخصائص التي يمكنك تعيينها حسب حالتك:

مثال:

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<username>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

خصائص مجموعة البيانات

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف مجموعات البيانات، راجع مقالة مجموعات البيانات. يقدم هذا القسم قائمة بالخصائص التي تدعمها مجموعة بيانات MySQL.

لنسخ البيانات من MySQL، يتم دعم الخصائص التالية:

مثال

{
    "name": "MySQLDataset",
    "properties":
    {
        "type": "MySqlTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MySQL linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

إذا كنت تستخدم RelationalTable مجموعة بيانات مُصنفة حسب النوع، فإنها لا تزال مدعومة كما هي، بينما نقترح عليك استخدام مجموعة البيانات الجديدة للمضي قدماً.

انسخ خصائص النشاط

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف الأنشطة، راجع مقالة التدفقات. يقدم هذا القسم قائمة بالخصائص التي يدعمها مصدر MySQL.

MySQL كمصدر

لنسخ البيانات من MySQL، يتم دعم الخصائص التالية في قسم المصدر لنشاط النسخ:

مثال:

"activities":[
    {
        "name": "CopyFromMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MySQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MySqlSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

إذا كنت تستخدم المصدر المصنف حسب النوع RelationalSource، فلا يزال هذا المصدر مدعوماً كما هو، بينما نقترح عليك استخدام المصدر الجديد للمضي قدماً.

تعيين نوع البيانات لـ MySQL

عند نسخ البيانات من MySQL، يتم استخدام التعيينات التالية من أنواع بيانات MySQL إلى أنواع البيانات المؤقتة التي تستخدمها الخدمة داخلياً. راجع تعيينات المخططات ونوع البيانات لمعرفة كيفية تعيين نشاط النسخ للمخطط المصدر ونوع البيانات إلى المتلقي.

بحث عن خصائص النشاط

لمعرفة تفاصيل حول الخصائص، تحقق من نشاط البحث.

ترقية موصل MySQL

فيما يلي الخطوات التي تساعدك على ترقية موصل MySQL:

1. في صفحة تحرير الخدمة المرتبطة، حدد 2.0 ضمن الإصدار وقم بتكوين الخدمة المرتبطة بالإشارة إلى خصائص الخدمة المرتبطة.

2. يختلف تعيين نوع البيانات للإصدار 2.0 عن تعيين الإصدار 1.0. لمعرفة تعيين نوع البيانات الإصدار 2.0، راجع تعيين نوع البيانات ل MySQL.

3. يدعم الإصدار 2.0 المزيد من إصدارات MySQL. لمزيد من المعلومات، راجع القدرات المدعومة.

أفضل الممارسات لإصدار موصل MySQL 2.0

يقدم هذا القسم أفضل الممارسات لإصدار موصل MySQL 2.0.

يتعذر تحميل مفتاح SSL

• الأعراض: إذا كنت تستخدم الإصدار 2.0 من موصل MySQL مع مفتاح SSL كخاصية اتصال، فقد تفي برسالة الخطأ التالية: Could not load the client key from your_pem_file: Unrecognized PEM header: -----BEGIN PRIVATE KEY-----

• السبب: يتعذر على الإصدار 2.0 فك تشفير تنسيق PCKS#8.

• التوصية: تحويل تنسيق PEM إلى PCKS#1.

الاختلافات بين الإصدار 2.0 من MySQL والإصدار 1.0

يوضح الجدول أدناه اختلافات تعيين نوع البيانات بين MySQL باستخدام الإصدار 2.0 والإصدار 1.0.

المحتوى ذو الصلة

للحصول على قائمة بمخازن البيانات المدعومة من نشاط النسخ كمصادر ومواضع تلقي، راجع مخازن البيانات المدعومة.