تحويل البيانات عن طريق تشغيل دفتر ملاحظات Synapse

ينطبق على: Azure Data Factory Azure Synapse Analytics

يقوم نشاط دفتر ملاحظات Azure Synapse في البنية الأساسية لبرنامج ربط العمليات التجارية بتشغيل دفتر ملاحظات Synapse في مساحة عمل Azure Synapse Analytics. تعتمد هذه المقالة على مقالة أنشطة تحويل البيانات، والتي تقدم نظرة عامة على تحويل البيانات وأنشطة التحويل المدعومة.

يمكنك إنشاء نشاط دفتر ملاحظات Azure Synapse Analytics مباشرة من خلال واجهة مستخدم Azure Data Factory Studio. للحصول على معاينة خطوة بخطوة لكيفية إنشاء نشاط دفتر ملاحظات Synapse باستخدام واجهة المستخدم، يمكنك الرجوع إلى ما يلي.

إضافة نشاط دفتر ملاحظات ل Synapse إلى البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام واجهة المستخدم

لاستخدام نشاط دفتر ملاحظات ل Synapse في البنية الأساسية لبرنامج ربط العمليات التجارية، أكمل الخطوات التالية:

الإعدادات العامة

1. ابحث عن دفتر الملاحظات في جزء أنشطة البنية الأساسية لبرنامج ربط العمليات التجارية، واسحب نشاط دفتر الملاحظات ضمن Synapse إلى لوحة المسار.
2. حدد نشاط دفتر الملاحظات الجديد على اللوحة إذا لم يكن محدداً بالفعل.
3. في الإعدادات العامة، أدخل نموذج الاسم.
4. (خيار) يمكنك أيضاً إدخال وصف.
5. المهلة: الحد الأقصى لمقدار الوقت الذي يمكن فيه تشغيل النشاط. الافتراضي هو 12 ساعة، والحد الأقصى المسموح به من الوقت هو 7 أيام. التنسيق على شكل D.HH:MM:SS.
6. Retry: الحد الأقصى لعدد محاولات إعادة المحاولة.
7. الفاصل الزمني لإعادة المحاولة (ثانية): عدد الثواني بين كل محاولة إعادة محاولة.
8. Secure output: عند تحديده، لن يتم تسجيل ناتج النشاط في التسجيل.
9. Secure input: عند تحديده، لن يتم تسجيل المدخلات من النشاط في التسجيل.

إعدادات Azure Synapse Analytics (Artifacts)

حدد علامة التبويب Azure Synapse Analytics (Artifacts) لتحديد أو إنشاء خدمة Azure Synapse Analytics مرتبطة جديدة ستقوم بتنفيذ نشاط دفتر الملاحظات.

علامة تبويب الإعدادات

1. حدد نشاط Synapse Notebook الجديد على اللوحة إذا لم يكن محددا بالفعل.

2. حدد علامة التبويب إعدادات.

3. قم بتوسيع قائمة دفتر الملاحظات، يمكنك تحديد دفتر ملاحظات موجود في Azure Synapse Analytics (Artifacts) المرتبط.

4. انقر فوق الزر فتح لفتح صفحة الخدمة المرتبطة حيث يوجد دفتر الملاحظات المحدد.

5. حدد علامة التبويب الإعدادات واختر دفتر الملاحظات والمعلمات الأساسية الاختيارية لتمريرها إلى دفتر الملاحظات.

   

6. (اختياري) يمكنك ملء معلومات لدفتر ملاحظات Synapse. إذا كانت الإعدادات التالية فارغة، استخدام إعدادات دفتر ملاحظات Synapse نفسه للتشغيل؛ إذا لم تكن الإعدادات التالية فارغة، فستحل هذه الإعدادات محل إعدادات دفتر ملاحظات Synapse نفسه.

   الخاصية	‏‏الوصف
   تجمع Spark	مرجع إلى تجمع Spark. يمكنك تحديد تجمع Apache Spark من القائمة.
   حجم المنفذ	عدد المعالجات والذاكرة التي سيتم استخدامها للمنفذين المخصصين في تجمع Apache Spark المحدد للجلسة. بالنسبة للمحتوى الديناميكي، تكون القيم الصالحة صغيرة/متوسطة/كبيرة/XLarge/XXLarge.
   ديناميكي تخصيص المنفذين	يعيّن هذا الإعداد خاصية التخصيص الديناميكي في تكوين Spark لتخصيص منفذي تطبيق Spark.
   حد المنفذين	الحد الأدنى لعدد المنفذين الذين سيتم تخصيصهم في مجموعة Spark المحددة للوظيفة.
   Max executors	الحد الأقصى لعدد المنفذين الذين سيتم تخصيصهم في مجموعة Spark المحددة للوظيفة.
   حجم برنامج التشغيل	عدد النوى والذاكرة التي سيتم استخدامها لبرنامج التشغيل في تجمع Apache Spark المحدد لهذه المهمة.

تعريف نشاط دفتر ملاحظات Azure Synapse Analytics

فيما يلي نموذج تعريف JSON لنشاط دفتر ملاحظات Azure Synapse Analytics:

{
    "activities": [
            {
                "name": "demo",
                "description": "description",
                "type": "SynapseNotebook",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [
                    {
                        "name": "testproperties",
                        "value": "test123"
                    }
                ],
                "typeProperties": {
                    "notebook": {
                        "referenceName": {
                            "value": "Notebookname",
                            "type": "Expression"
                        },
                        "type": "NotebookReference"
                    },
                    "parameters": {
                        "test": {
                            "value": "testvalue",
                            "type": "string"
                        }
                    },
                    "snapshot": true,
                    "sparkPool": {
                        "referenceName": {
                            "value": "SampleSpark",
                            "type": "Expression"
                        },
                        "type": "BigDataPoolReference"
                    }
                },
                "linkedServiceName": {
                    "referenceName": "AzureSynapseArtifacts1",
                    "type": "LinkedServiceReference"
                }
            }
        ]
    }

خصائص نشاط دفتر ملاحظات Azure Synapse Analytics

يصف الجدول التالي خصائص JSON المستخدمة في تعريف JSON:

عيّن خلية المعلمات

يبحث Azure Data Factory عن خلية المعلمات ويستخدم القيم كإعدادات افتراضية للمعلمات التي تم تمريرها في وقت التنفيذ. سيضيف محرك التنفيذ خلية جديدة أسفل خلية المعلّمات مع معلّمات الإدخال من أجل الكتابة فوق القيم الافتراضية. يمكنك الرجوع إلى تحويل البيانات عن طريق تشغيل دفتر ملاحظات Synapse.

قراءة قيمة إخراج خلية دفتر الملاحظات Synapse

يمكنك قراءة قيمة إخراج خلية دفتر الملاحظات في النشاط، لهذه اللوحة، يمكنك الرجوع إلى تحويل البيانات عن طريق تشغيل دفتر ملاحظات Synapse.

تشغيل دفتر ملاحظات Synapse آخر

يمكنك الرجوع إلى دفاتر الملاحظات الأخرى في نشاط دفتر ملاحظات Synapse عبر استدعاء %run magic أو mssparkutils notebook utilities. يدعم كلاهما استدعاءات دالة التداخل. الاختلافات الرئيسية من هاتين الطريقتين التي يجب أن تأخذ في الاعتبار استناداً إلى السيناريو الخاص بك هي:

• يقوم %run magic بنسخ كل الخلايا من دفتر الملاحظات المشار إليه إلى الخلية %run ومشاركة سياق المتغير. عندما يشير دفتر الملاحظات 1 إلى دفتر الملاحظات 2 عبر %run notebook2 ويستدعي دفتر الملاحظات 2 دالة mssparkutils.notebook.exit، سيتم إيقاف تنفيذ الخلية في دفتر الملاحظات 1. نوصي باستخدام %run magic عندما تريد "تضمين" ملف دفتر ملاحظات.
• تستدعي الأدوات المساعدة لدفتر الملاحظات mssparkutils دفتر الملاحظات المشار إليه كطريقة أو دالة. سياق المتغير غير مشترك. عندما يشير دفتر الملاحظات 1 إلى دفتر الملاحظات 2 عبر mssparkutils.notebook.run("notebook2") ويستدعي دفتر الملاحظات 2 دالة mssparkutils.notebook.exit، سيستمر تنفيذ الخلية في دفتر الملاحظات 1. نوصي باستخدام الأدوات المساعدة لدفتر ملاحظات mssparkutils عندما تريد "استيراد" دفتر ملاحظات.

راجع سجل تشغيل نشاط دفتر ملاحظات Azure Synapse Analytics

انتقل إلى Pipeline runs ضمن علامة التبويب Monitor ، سترى البنية الأساسية لبرنامج ربط العمليات التجارية التي قمت بتشغيلها. افتح البنية الأساسية لبرنامج ربط العمليات التجارية التي تحتوي على نشاط دفتر الملاحظات لمشاهدة محفوظات التشغيل.

بالنسبة إلى لقطة دفتر الملاحظات المفتوح، هذه الميزة غير مدعومة حاليا.

يمكنك مشاهدة إدخال نشاط دفتر الملاحظات أو إخراجه عن طريق تحديد زر إدخال أو إخراج. إذا فشلت البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك مع خطأ مستخدم، فحدد الإخراج للتحقق من حقل النتيجة لرؤية تتبع خطأ المستخدم التفصيلي.