نسخ البيانات من Azure Blob storage إلى SQL Database باستخدام أداة نسخ البيانات

مقالة
10/03/2024

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

يمكنك في هذا التشغيل السريع استخدام مدخل Azure لإنشاء مصنع بيانات. ثم يمكنك استخدام أداة نسخ البيانات إنشاء بنية أساسية تقوم بنسخ البيانات من Azure Blob storage إلىSQL Database.

إشعار

إذا كنت جديداً في استخدام Azure Data Factory، فراجع مقدمة لـ Azure Data Factory.

في هذا البرنامج التعليمي، يمكنك تنفيذ الخطوات التالية:

إنشاء data factory.
استخدام أداة Copy Data لإنشاء مسار.
مراقبة تشغيل التدفق والنشاط.

المتطلبات الأساسية

اشتراك Azure: إذا لم يكن لديك اشتراك Azure، فأنشئ حسابمجاني قبل أن تبدأ.
حساب Azure Storage : استخدام Azure Storage كمخزن بيانات المصدر. إذا لم يكن لديك حسابAzure Storage، فراجع الإرشادات الموجودة في إنشاء حساب تخزين.
Azure SQL Database: استخدم Azure SQL Database كمخزن بيانات المصدر. إذا لم يكن لديك Azure SQL Database، فراجع الإرشادات الموجودة في إنشاء Azure SQL Database.

إعداد قاعدة بيانات SQL

السماح لخدمات Azure بالوصول إلى SQL Server المنطقي لقاعدة بيانات Azure SQL.

تحقق من تمكين الإعداد السماح لـAzure services and resources بالوصول إلى هذا الخادم الخادم الخاص بك الذي يقوم بتشغيل قاعدة بيانات SQL. يتيح هذا الإعداد لـData Factory بكتابة بيانات لمثيل قاعدة البيانات الخاصة بك. للتحقق من هذا الإعداد وتشغيله، انتقل إلى خادم SQL المنطقي > Security > Firewalls and virtual networks > واضبط الخيار Allow Azure services and resources to access this server على ON.

إشعار

يتيح خيار السماح لAzure services and resources بالوصول إلى هذا الخادم يمكن وصول الشبكة إلى SQL Server الخاص بك من أيAzure resource، وليس فقط تلك الموجودة في اشتراكك. قد لا يكون مناسبا لجميع البيئات، ولكنه مناسب لهذا البرنامج التعليمي المحدود. لمزيد من المعلومات، راجع قواعد جدار حماية azure SQL Server. بدلاً من ذلك، يمكنك استخدام نقاط النهاية الخاصة للاتصال بAzure PaaS services دون استخدام IPs عامة.

إنشاء كائن ثنائي كبير الحجم وجدول SQL

قم بإعدادBlob storage وSQL Database الخاصة بك من أجل البرنامج التعليمي من خلال تنفيذ هذه الخطوات.

قم بإنشاء نقطة مصدر

قم بإطلاق Notepad. قم بنسخ النص التالي وحفظه في ملف اسمه inputEmp.txt على القرص:
```
FirstName|LastName
John|Doe
Jane|Doe
```
قم بإنشاء حاوية تسمى adfv2tutorial وحمل ملف inputEmp.txt إلى الحاوية. يمكنك استخدام مدخل Microsoft Azure أو أدوات مختلفة مثل Azure Storage Explorer لتنفيذ هذه المهام.

إنشاء جدولsink SQL

استخدم البرنامج النصي SQL التالي لإنشاء جدول مسمى dbo.emp في قاعدة بيانات SQL:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

إنشاء مصدرًا للبيانات

في القائمة اليسرى، حدد Create a resource >Integration>Data Factory:
في صفحة New data factory، أدخِل ADFTutorialDataFactory في خانة Name.

يجب أن يكون اسم مصنع البيانات الخاص بك فريداً عالمياً. قد تتلقى رسالة الخطأ التالية:

إذا تلقيت رسالة خطأ حول قيمة الاسم، فأدخل اسماً مختلفاً لمصنع البيانات. على سبيل المثال، استخدم الاسم yournameADFTutorialDataFactory. للحصول على قواعد التسمية لData Factory artifacts، راجع قواعد تسمية مصنع البيانات.
حدد اشتراك Azure لإنشاء مصنع بيانات جديد.
بالنسبة إلى مجموعة الموارد، نفِّذ إحدى الخطوات التالية:

أ. حدد Use existing واختر مجموعة موارد موجودة من القائمة المنسدلة.

ب. حدد Create new وأدخل اسم مجموعة الموارد.

للتعرف على مجموعات الموارد، راجع استخدام مجموعات الموارد لإدارة موارد Azure التابعة لك.
ضمن الإصدار، حدد V2 للإصدار.
ضمن location، حدد موقع مصنع البيانات. يتم عرض المواقع المعتمدة فقط في القائمة المنسدلة. يمكن أن تكون مخازن البيانات (على سبيل المثال،Azure Storage وSQL Database) والحسابات (على سبيل المثال، Azure HDInsight) التي يستخدمها مصنع البيانات الخاص بك في مواقع ومناطق أخرى.
حدد إنشاء.
بعد الانتهاء من الإنشاء، يتم عرض الصفحة الرئيسية لData Factory.
لبدء تشغيل واجهة مستخدم مصنع بيانات Azure (UI) في علامة تبويب منفصلة، حدد Open على الإطار المتجانب لـOpen Azure Data Factory Studio.

استخدام أداة Copy Data لإنشاء مسار

في الصفحة الرئيسية لAzure Data Factory حدد الإطار المتجانب Ingest لبدء تشغيل أداة نسخ البيانات.
في صفحة Properties أداة Copy Data، اختر Built-in copy task الموجودة أسفل Task typeثم حدد Next.
في صفحة Source data store، أكمل الخطوات التالية:

أ. انقر فوق + Create new connection لإضافة اتصال.

ب. حدد Azure Blob Storage من المعرض، ثم حدد Continue.

جـ. في صفحة New connection (Azure Blob Storage)، حدد اشتراك Azure من قائمة Azure subscription، وحدد حساب التخزين الخاص بك من قائمة Storage account name. اختبر الاتصال ثم حدد إنشاء.

د. حدد الخدمة المرتبطة المنشأة حديثا كمصدر في كتلة الاتصال.

هـ. في قسم File or folder، حدد Browse للانتقال إلى مجلد adfv2tutorial وحدد ملف inputEmp.txt ثم انقر فوق OK.

و. حدد Next للانتقال إلى الخطوة التالية.
في صفحة File format settings، قم بتمكين خانة الاختيار للصف الأول كرأس. قم بملاحظة أن الأداة تقوم تلقائياً بالكشف عن محددات الأعمدة والصفوف، ويمكنك معاينة البيانات وعرض مخطط بيانات الإدخال عن طريق تحديد معاينة زر البيانات في هذه الصفحة. بعد ذلك حدد التالي.
في صفحة Destination data store، أكمل الخطوات التالية:

أ. انقر فوق + Create new connection لإضافة اتصال.

ب. حدد Azure SQL Database من المعرض، ثم حدد Continue.

جـ. في صفحة New connection (Azure SQL Database)، حدد اشتراك Azure واسم الخادم واسم قاعدة البيانات من القائمة المنسدلة. ثم حدد SQL authentication ضمن Authentication type، حدد اسم المستخدم وكلمة المرور. اختبر الاتصال ثم حدد Create.

د. حدد الخدمة المرتبطة المنشأة حديثا كsink، ثم حدد Next.
في صفحة مخزن بيانات الوجهة، حدد استخدام الجدول الموجود وحدد dbo.emp الجدول. بعد ذلك حدد التالي.
في صفحة Column mapping لاحظ أنه يتم تعيين العمودين الثاني والثالث في ملف الإدخال إلى عمودينFirstName وLastName من جدول emp. قم بضبط التعيين للتأكد من عدم وجود خطأ، ثم حدد Next.
في صفحة Settings، ضمن Task name، أدخل CopyFromBlobToSqlPipeline، ثم حدد Next.
في صفحة الملخص، راجع الإعدادات، ثم حدد Next.
في صفحة Deployment، حدد Monitor لمراقبة المسار الذي أنشأته (مهمة).
في صفحةPipeline runs حدد Refresh لتحديث القائمة. حدد الرابط الموجود ضمن Pipeline name لعرض تفاصيل تشغيل النشاط أو إعادة تشغيل المسار.
في صفحة"Activity runs"، حدد رابط Details (أيقونة النظارات) أسفل عمود Activity name للحصول على مزيدٍ من التفاصيل حول عملية النسخ. للعودة إلى عرض "Pipeline runs"، حدد الرابط All pipeline runs في قائمة breadcrumb. لإعادة تنشيط طريقة العرض، حدد Refresh.
تحقق من إدراج البيانات في جدول dbo.emp في SQL Database الخاصة بك.
حدد علامة تبويب Author على اليسار للتبديل إلى وضع المحرر. يمكنك تحديث الخدمات المرتبطة ومجموعات البيانات وبنيات الأساسية التي تم إنشاؤها عبر الأداة باستخدام المحرر. للحصول على تفاصيل حول تحرير هذه الكيانات في Data Factory UI، راجع إصدار مدخل Microsoft Azure من هذا البرنامج التعليمي.