نسخ البيانات من SAP Business Warehouse باستخدام Azure Data Factory أو Synapse Analytics

ينطبق على: Azure Data Factory Azure Synapse Analytics

توضح هذه المقالة كيفية استخدام Azure Data Factory أو خطوط أنابيب تحليلات Synapse لنسخ البيانات من SAP Business Warehouse (BW) عبر فتح المحور إلى Azure Data Lake Storage Gen2. يمكنك استخدام عملية مشابهة لنسخ البيانات إلى مخازن بيانات مصدر معتمدةأخرى.

المتطلبات الأساسية

• Azure Data Factory أو مساحة عمل Synapse: إذا لم يكن لديك واحدة، اتبع الخطوات لإنشاء مصنع بيانات أو إنشاء مساحة عمل Synapse.

• SAP BW فتح لوحة الوصل الوجهة (OHD) مع نوع الوجهة "جدول قاعدة البيانات":لإنشاء OHD أو للتحقق من أن OHD تم تكوينه بشكل صحيح للتكامل مع الخدمة، راجع SAP BW فتح لوحة الوصل الوجهة تكوينات المقطع من هذه المقالة.

• يحتاج المستخدم SAP BW الأذونات التالية:

  • تخويل استدعاءات الدالة البعيدة (RFC) وSAP BW.
  • أذونات تنفيذ نشاط كائن التخويل S_SDSAUTH.

• وقت تشغيل تكامل ذاتي الاستضافة (IR) مع موصل SAP.NET 3.0. اتبع خطوات الإعداد التالية:

  1. تثبيت وتسجيل وقت تشغيل التكامل المستضاف ذاتياً أو الإصدار 3.13 أو أحدث. (يتم وصف هذه العملية لاحقاً في هذه المقالة.)

  2. تحميل موصل SAP 64 بت لـ Microsoft.NET 3.0 من موقع SAP وتثبيته على نفس جهاز الكمبيوتر مثل وقت تشغيل التكامل المستضاف ذاتياً. أثناء التثبيت، تأكد من تحديد تثبيت التجميعات إلى GAC في مربع الحوار خطوات الإعداد الاختياري، كما تظهر الصورة التالية:

     

قم بعمل نسخة كاملة من SAP BW Open Hub

في مدخل Azure، انتقل إلى الخدمة. حدد فتح على فتح Azure البيانات مصنع أستوديو أو فتح بلاط أستوديو Synapse لفتح واجهة المستخدم الخدمة في علامة تبويب منفصلة.

1. في الصفحة الرئيسية، حدد تناول لفتح أداة نسخ البيانات.

2. في صفحة خصائص، اختر مهمة النسخ المضمنة ضمن نوع المهمة، واختر تشغيل مرة واحدة الآن ضمن إيقاع المهمة أو جدول المهام، ثم حدد التالي.

3. في صفحة مخزن بيانات المصدر، حدد + اتصال جديد. حدد SAP BW فتح لوحة الوصل من معرض الموصل، ثم حدد متابعة. لتصفية الموصلات، يمكنك كتابة SAP في مربع البحث.

4. في صفحة اتصال جديد (SAP BW فتح لوحة الوصل) اتبع الخطوات التالية لإنشاء اتصال جديد.

   1. من الاتصال عبر قائمة وقت تشغيل التكامل، حدد وقت تشغيل التكامل المستضاف ذاتياً. أو اختر إنشاء واحدة إذا لم يكن لديك واحدة بعد.

      لإنشاء وقت جديد لتشغيل التكامل المستضاف ذاتياً، حدد +جديد، ثم حدد استضافة ذاتية. أدخل اسما، ثم حدد التالي. حدد إعداد Express لتثبيته على جهاز الكمبيوتر الحالي، أو اتبع خطوات الإعداد اليدوية التي تم توفيرها.

      كما هو مذكور في المتطلبات الأساسية، تأكد من أن لديك SAP Connector لـ Microsoft.NET 3.0 مثبتة على نفس الكمبيوتر حيث يتم تشغيل وقت تشغيل التكامل المستضاف ذاتياً.

   2. تعبئة اسم خادمSAP BW ورقم النظامومعرف العميلواللغة (إذا كان غير EN)واسم المستخدموكلمة المرور.

   3. حدد Test connectionللتحقق من صحة الإعدادات، ثم حدد Create.

   

   4. في صفحة "Source data store"، حدد الاتصال الذي أُنشئ حديثاً في كتلة "Connection".

   5. في القسم الخاص بتحديد الوجهات المفتوحة، استعرض وجهات لوحة الوصل المفتوحة المتوفرة في SAP BW. يمكنك معاينة البيانات في كل وجهة عن طريق تحديد زر المعاينة في نهاية كل صف. حدد OHD لنسخ البيانات منه، ثم حدد التالي.

   

5. حدد عامل تصفية، إذا كنت بحاجة إلى عامل تصفية. إذا كان OHD يحتوي فقط على بيانات من تنفيذ عملية نقل بيانات واحدة (DTP) باستخدام معرف طلب واحد، أو إذا كنت متأكدا من انتهاء DTP وتريد نسخ البيانات، فامسح خانة الاختيار استبعاد الطلب الأخير في المقطع متقدم. يمكنك معاينة البيانات عن طريق تحديد زر معاينة البيانات.

   تعرف على المزيد حول هذه الإعدادات في قسم تكوينات SAP BW Open Hub Destination في هذه المقالة. بعد ذلك حدد التالي.

   

6. في الصفحة مخزن بيانات الوجهة، حدد + اتصال جديد>Azure Data Lake Storage Gen2>متابعة.

7. على صفحة اتصال جديد (تخزين بحيرة البيانات Azure Gen2)، اتبع الخطوات التالية لإنشاء اتصال.

   1. حدد حساب "تخزين بحيرة البيانات" الخاص بك Gen2-قادرة من القائمة المنسدلة الاسم.
   2. حدد إنشاء لإنشاء الاتصال.

   

8. في الصفحة مخزن البيانات الوجهة حدد الاتصال الذي تم إنشاؤه حديثاً في المقطع اتصال ثم أدخل copyfromopenhub كاسم مجلد الإخراج. بعد ذلك حدد التالي.

   

9. في صفحة إعداد تنسيق الملف، حدد التالي لاستخدام الإعدادات الافتراضية.

   

10. في الصفحة الإعدادات، حدد اسم مهمة، ثم قم بتوسيع Advanced. أدخل قيمة لدرجة التوازي النسخ مثل 5 لتحميل من SAP BW بالتوازي. بعد ذلك حدد التالي.

    

11. في صفحة الملخص، راجع الإعدادات. بعد ذلك حدد التالي.

    

12. في صفحة توزيع، حدد مراقبة لمراقبة المسار الذي أنشأته (مهمة).

13. لاحظ أن علامة التبويب مراقبة على الجانب الأيمن من الصفحة يتم تحديد تلقائياً. يمكنك استخدام الارتباطات ضمن العمود اسم المسار في صفحة تشغيل المسار لعرض تفاصيل النشاط وإعادة تشغيل المسار.

14. لمشاهدة تشغيل النشاط المقترن بتشغيل المسار، حدد الارتباط ضمن عمود اسم المسار. هناك نشاط واحد فقط (نشاط النسخ) في خط التدفقات، بحيث ترى إدخالاً واحداً فقط. للرجوع إلى طريقة عرض عمليات تشغيل التدفقات، حدد الارتباط All pipeline runs في الأعلى. حدد "Refresh" لتحديث القائمة.

    

15. لمراقبة تفاصيل التنفيذ لكل نشاط نسخ، حدد الارتباط التفاصيل، وهو رمز النظارات في الصف نفسه من كل نشاط نسخ في طريقة عرض مراقبة النشاط. تتضمن التفاصيل المتوفرة وحدة تخزين البيانات المنسوخة من المصدر إلى المغسلة، وسرعة نقل البيانات، وخطوات التنفيذ والمدة، والتكوينات المستخدمة.

    

16. لعرض معرف الطلب الأقصى لكل نشاط نسخ، انتقل مرة أخرى إلى طريقة عرض مراقبة النشاط وحدد الإخراج في الصف نفسه من كل نشاط نسخ.

    

    

نسخة تزايدية من مركز SAP BW Open

الآن، دعونا نواصل تكوين نسخة تزايدية من مركز SAP BW Open.

تستخدم النسخة الإضافية آلية "العلامة المائية العالية" التي تستند إلى معرف الطلب. يتم إنشاء هذا معرف تلقائياً في SAP BW فتح محور الوجهة بواسطة DTP. يوضح الرسم التخطيطي التالي هذا سير العمل:

في الصفحة الرئيسية، حدد قوالب خطوط الأنابيب في القسم اكتشاف المزيد لاستخدام القالب المضمن.

1. البحث عن SAP BW للبحث عن وتحديد النسخة تزايدي من SAP BW إلى Azure البيانات بحيرة التخزين Gen2 قالب. هذا القالب ينسخ البيانات إلى Azure Data Lake Storage Gen2. يمكنك استخدام سير عمل مشابه للنسخ إلى أنواع أخرى من المصارف.

2. في الصفحة الرئيسية للقالب، حدد أو أنشئ الاتصالات الثلاثة التالية، ثم حدد استخدام هذا القالب في الزاوية السفلية اليسرى من النافذة.

   • تخزين Azure Blob: في هذه المعاينة، نستخدم تخزين Azure Blob لتخزين العلامة المائية العالية، وهي معرف الطلب الذي تم نسخه بعدد كحد أقصى.
   • مركز SAP BW Open: هذا هو المصدر لنسخ البيانات من. راجع معاينة النسخ الكامل السابقة للحصول على تكوين مفصل.
   • Azure Data Lake Storage Gen2: هذا هو متلقٍ لنسخ البيانات إلى. راجع معاينة النسخ الكامل السابقة للحصول على تكوين مفصل.

   

3. هذا القالب بإنشاء مسار مع الأنشطة الثلاثة التالية ويجعلها بالسلاسل على النجاح: بحث ونسخ البيانات والويب.

   انتقل إلى علامة التبويب معلمات المسار.ويمكنك مشاهدة جميع التكوينات التي تحتاج إلى توفير.

   

   • SAPOpenHubDestinationName: حدد اسم جدول المركز المفتوح لنسخ البيانات منه.

   • Data_Destination_Container: تحديد حاوية zure Data Lake Storage Gen2 للوجهة لنسخ البيانات إليها. إذا لم تكن الحاوية موجودة، فإن نشاط النسخة يقوم بإنشاء حاوية واحدة أثناء التنفيذ.

   • Data_Destination_Directory: تحديد مسار المجلد ضمن حاوية Azure Data Lake Storage Gen2 لنسخ البيانات إليها. إذا لم يكن المسار موجوداً، فإن نشاط النسخة ينشئ مساراً أثناء التنفيذ.

   • HighWatermarkBlobContainer: حدد الحاوية لتخزين قيمة العلامة المائية العالية.

   • HighWatermarkBlobDirectory: حدد مسار المجلد تحت الحاوية لتخزين قيمة العلامة المائية العالية.

   • HighWatermarkBlobName: حدد اسم النقطة لتخزين قيمة العلامة المائية العالية، مثل requestIdCache.txt. في تخزين Blob، انتقل إلى المسار المقابل لـ HighWatermarkBlobContainer+HighWatermarkBlobDirectory+HighWatermarkBlobName، مثل container/path/requestIdCache.txt. إنشاء blob مع المحتوى 0.

     

   • LogicAppURL: في هذا القالب، نستخدم WebActivity للاتصال تطبيقات المنطق Azure لتعيين قيمة العلامة المائية العالية في تخزين Blob. أو يمكنك استخدام قاعدة بيانات azure SQL لتخزينه. استخدم نشاط إجراء مخزن لتحديث القيمة.

     يجب عليك أولاً إنشاء تطبيق منطقي، كما تظهر الصورة التالية. ثم، لصق في URL HTTP POST.

     

     1. انتقل إلى مدخل Azure. حدد خدمة تطبيقات المنطق الجديدة. حدد +Blank Logic App للانتقال إلى مصمم تطبيقات المنطق.

     2. إنشاء مشغل عند تلقي طلب HTTP. حدد نص طلب HTTP كما يلي:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. إضافة إجراء إنشاء blob. بالنسبة لمسار المجلدواسم النقطة، استخدم نفس القيم التي قمت بتكوينها مسبقاً في HighWatermarkBlobContainer+HighWatermarkBlobDirectory وHighWatermarkBlobName.

     4. حدد حفظ. ثم نسخ قيمة URL HTTP POST لاستخدامها في المسار.

4. بعد توفير معلمات المسار، حدد إنهاء>تتبع الأخطاء لاستدعاء التشغيل للتحقق من صحة التكوين. أو حدد نشر لنشر جميع التغييرات، ثم حدد إضافة مشغل لتنفيذ عملية تشغيل.

تكوينات SAP BW المفتوحة لوجهة المحور

يقدم هذا القسم تكوين الجانب SAP BW لاستخدام موصل SAP BW فتح لوحة الوصل لنسخ البيانات.

تكوين استخراج دلتا في SAP BW

إذا كنت بحاجة إلى نسخة تاريخية ونسخة تزايدية أو نسخة تزايدية فقط، قم بتكوين استخراج دلتا في SAP BW.

1. إنشاء الوجهة لوحة الوصل المفتوحة. يمكنك إنشاء OHD في SAP Transaction RSA1، الذي يقوم تلقائياً بإنشاء عملية التحويل ونقل البيانات المطلوبة. استخدم الإعدادات التالية:

   • ObjectType: يمكنك استخدام أي نوع كائن. هنا، نستخدم InfoCube كمثال.
   • نوع الوجهة: حدد جدول قاعدة البيانات.
   • مفتاح الجدول: حدد مفتاح التقنية.
   • استخراج: حدد الاحتفاظ بالبيانات وإدراج السجلات في الجدول.

   

   

   قد تزيد عدد عمليات العمل SAP المتوازية ل DTP:

   

2. جدولة DTP في سلاسل العمليات.

   يعمل دلتا DTP لمكعب فقط إذا لم يتم ضغط الصفوف الضرورية. تأكد من أن ضغط مكعب BW لا يعمل قبل DTP إلى جدول لوحة الوصل المفتوحة. أسهل طريقة للقيام بذلك هي دمج DTP في سلاسل العمليات الحالية. في المثال التالي، يتم إدراج DTP (إلى OHD) في سلسلة العمليات بين الخطوات ضبط (تجميع التراكمي) وطي (ضغط المكعب).

   

تكوين الاستخراج الكامل في SAP BW

بالإضافة إلى استخراج دلتا، قد تحتاج إلى استخراج كامل من نفس SAP BW InfoProvider. ينطبق هذا عادة إذا كنت تريد القيام بنسخة كاملة ولكن ليس تزايدياً، أو تريد إعادة مزامنة استخراج دلتا.

لا يمكن أن يكون لديك أكثر من DTP واحد لنفس OHD. لذلك، يجب إنشاء OHD إضافية قبل استخراج دلتا.

للحصول على تحميل كامل OHD، اختر خيارات مختلفة عن استخراج دلتا:

• في OHD: تعيين الخيار استخراج لحذف البيانات وإدراج السجلات. وإلا، سيتم استخراج البيانات عدة مرات عند تكرار DTP في سلسلة عمليات BW.

• في DTP: تعيين وضع الاستخراج إلى كامل. يجب تغيير DTP المنشأة تلقائياً من دلتا إلى كامل مباشرة بعد إنشاء OHD كما تظهر هذه الصورة:

  

• في موصل BW Open Hub: إيقاف تشغيل استثناء الطلب الأخير. وإلا، لن يتم استخراج أي شيء.

عادة ما تقوم بتشغيل DTP الكامل يدوياً. أو يمكنك إنشاء سلسلة عمليات لـ DTP الكامل. إنها عادة سلسلة منفصلة مستقلة عن سلاسل العمليات الحالية الخاصة بك. في كلتا الحالتين، تأكد من أن DTP يتم الانتهاء قبل بدء الاستخراج باستخدام نسخة. وإلا، سيتم نسخ البيانات الجزئية فقط.

تشغيل استخراج دلتا في المرة الأولى

استخراج دلتا الأولى هي من الناحية الفنية استخراج كامل. بشكل افتراضي، يستثني موصل SAP BW Open Hub الطلب الأخير عند نسخ البيانات. لاستخراج دلتا الأول، يتم استخراج أي بيانات بواسطة نشاط النسخ حتى DTP اللاحقة بإنشاء بيانات دلتا في الجدول مع معرف طلب منفصل. هناك طريقتان لتجنب هذا السيناريو:

• إيقاف تشغيل الخيار استبعاد الطلب الأخير لاستخراج دلتا الأولى. تأكد من أن يتم الانتهاء من دلتا DTP الأول قبل بدء استخراج دلتا في المرة الأولى.
• استخدم الإجراء لإعادة مزامنة استخراج دلتا كما هو موضح في المقطع التالي.

استخراج دلتا إعادة المزامنة

السيناريوهات التالية تغيير البيانات في مكعبات SAP BW ولكن لا تعتبر بواسطة دلتا DTP:

• SAP BW حذف انتقائي (من الصفوف باستخدام أي شرط تصفية)
• حذف طلب SAP BW (للطلبات الخاطئة)

لا تعتبر وجهة SAP Open Hub هدفا للبيانات التي يتم التحكم فيها من قِبَل سوق البيانات (في جميع حزم دعم SAP BW منذ عام 2015). لذلك، يمكنك حذف البيانات من مكعب دون تغيير البيانات في OHD. يجب عليك ثم إعادة مزامنة البيانات المكعب مع الخدمة:

1. تشغيل استخراج كامل في الخدمة (باستخدام DTP كامل في SAP).
2. حذف جميع الصفوف في جدول لوحة الوصل المفتوحة لدلتا DTP.
3. تعيين حالة دلتا DTP إلى Fetched.

بعد ذلك، جميع DTPs دلتا اللاحقة واستخراج دلتا العمل كما هو متوقع.

لتعيين حالة دلتا DTP إلى Fetched، يمكنك استخدام الخيار التالي لتشغيل دلتا DTP يدويا:

لا نقل للبيانات؛ حالة دلتا في المصدر: تم إحضارها

المحتوى ذو الصلة

تعرف على دعم موصل مركز SAP BW Open: