خطط لإدارة تكاليف Azure Data Factory

ينطبق على: Azure Data Factory Azure Synapse Analytics

توضح هذه المقالة كيفية تخطيط وإدارة تكاليف Azure Data Factory.

أولاً، في بداية مشروع ETL، يمكنك استخدام مجموعة من حاسبات التسعير والتسعير لكل بنية أساسية لبرنامج ربط العمليات التجاريةسعير Azure للمساعدة في التخطيط لتكاليف Azure Data Factory قبل إضافة أي موارد للخدمة لتقدير التكاليف. بعد ذلك، عند إضافة موارد Azure، راجع التكاليف المقدرة. بعد أن بدأت في استخدام موارد Azure Data Factory، استخدم ميزات إدارة التكلفة لتعيين الميزانيات ومراقبة التكاليف. يمكنك أيضاً مراجعة التكاليف المتوقعة وتحديد اتجاهات الإنفاق لتحديد المجالات التي قد ترغب في العمل فيها. لا تمثل تكاليف Azure Data Factory سوى جزء من التكاليف الشهرية في فاتورة Azure. لاحظ أن هذه المقالة تشرح فقط كيفية التخطيط لتكاليف مصنع البيانات وإدارتها. تتم محاسبتك على جميع خدمات وموارد Azure المستخدمة في اشتراك Azure، بما في ذلك خدمات الجهات الخارجية.

المتطلبات الأساسية

يدعم تحليل التكلفة في إدارة التكاليف معظم أنواع حسابات Azure، ولكن ليس كلها. لعرض قائمة كاملة بأنواع الحسابات المدعومة، راجع فهم بيانات إدارة التكلفة. لعرض بيانات التكلفة، تحتاج على الأقل إلى حق الوصول لحساب Azure من أجل قراءتها. للحصول على معلومات حول تعيين الوصول إلى بيانات إدارة تكلفة Azure، راجع تعيين الوصول إلى البيانات.

تقدير التكاليف قبل استخدام Azure Data Factory

استخدم حاسبة تسعير ADF للحصول على تقدير لتكلفة تشغيل عبء عمل ETL في Azure Data Factory. لاستخدام الآلة الحاسبة، يجب إدخال تفاصيل مثل عدد عمليات تشغيل النشاط، وعدد ساعات وحدة تكامل البيانات، ونوع الحساب المستخدم لتدفق البيانات، والعدد الأساسي، وعدد المثيلات، ومدة التنفيذ، وما إلى ذلك.

أحد الأسئلة الشائعة حول حاسبة التسعير هو القيم التي يجب استخدامها كمدخلات. أثناء مرحلة إثبات المفهوم، يمكنك إجراء عمليات تشغيل تجريبية باستخدام مجموعات بيانات نموذجية لفهم استهلاك عدادات ADF المختلفة. ثم استنادا إلى استهلاك عينة مجموعة البيانات، يمكنك إسقاط الاستهلاك لمجموعة البيانات الكاملة والجدول الزمني التشغيلي.

على سبيل المثال، لنفترض أنك بحاجة إلى نقل 1 تيرابايت من البيانات يومياً من AWS S3 إلى Azure Data Lake Gen2. يمكنك إجراء POC لنقل 100 غيغابايت من البيانات لقياس معدل نقل البيانات وفهم استهلاك الفوترة المقابل.

فيما يلي عينة من تفاصيل تشغيل نشاط النسخ (ستختلف المسافة المقطوعة الفعلية استنادا إلى شكل مجموعة البيانات المحددة، وسرعات الشبكة، وحدود الخروج على حساب S3، وحدود الدخول على ADLS Gen2، وعوامل أخرى).

باستخدام مراقبة الاستهلاك على مستوى تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية، يمكنك مشاهدة كميات استهلاك مقياس حركة البيانات المقابلة:

لذلك، فإن إجمالي عدد ساعات DIU التي يستغرقها نقل 1 تيرابايت في اليوم طوال الشهر بالكامل هو:

1.2667 (ساعة DIU) * (1 تيرابايت / 100 جيجابايت) * 30 (يوم في الشهر) = 380 ساعة DIU

يمكنك الآن توصيل 30 نشاطاً و380 ساعة DIU في حاسبة أسعار ADF للحصول على تقدير فاتورتك الشهرية:

فهم نموذج الفواتير الكامل لمصنع بيانات Azure

يعمل Azure Data Factory على بنية Azure الأساسية التي تتراكم التكاليف عند نشر موارد جديدة. من المهم أن نفهم أن تكاليف البنية الأساسية الإضافية الأخرى قد تتراكم.

كيف تتم محاسبتك على Azure Data Factory

Azure Data Factory عبارة عن خدمة تكامل بيانات مرنة بلا خادم تم تصميمها لتناسب النطاق السحابي. لا توجد حوسبة ذات حجم ثابت تحتاج إلى التخطيط لحمل الذروة؛ بدلا من ذلك يمكنك تحديد مقدار المورد لتخصيصه عند الطلب لكل عملية، ما يسمح لك بتصميم عمليات ETL بطريقة أكثر قابلية للتطوير. بالإضافة إلى ذلك، تتم محاسبة ADF على خطة قائمة على الاستهلاك، ما يعني أنك تدفع فقط مقابل ما تستخدمه.

عند إنشاء موارد Azure Data Factory أو استخدامها، قد يتم تحصيل رسوم منك مقابل المقاييس التالية:

• عمليات تشغيل نشاط التزامن - يتم تحصيل رسوم منك مقابل ذلك استنادا إلى عدد عمليات تشغيل النشاط المنسقة.
• ساعات وحدة تكامل البيانات (DIU) - بالنسبة لأنشطة النسخ التي يتم تشغيلها في وقت تشغيل تكامل Azure، يتم تحصيل رسوم منك استنادا إلى عدد وحدات DIU المستخدمة ومدة التنفيذ.
• ساعات vCore - لتنفيذ تدفق البيانات وتصحيح الأخطاء، يتم تحصيل رسوم منك استنادا إلى نوع الحساب وعدد vCores ومدة التنفيذ.

في نهاية دورة الفوترة، يتم جمع الرسوم لكل مقياس. تعرض فاتورتك أو فاتورتك قسماً لجميع تكاليف Azure Data Factory. هناك عنصر منفصل لكل متر.

التكاليف الأخرى التي قد تتراكم مع Azure Data Factory

عند إنشاء موارد لـ Azure Data Factory (ADF)، يتم أيضاً إنشاء موارد لخدمات Azure الأخرى. يشمل ذلك ما يلي:

• تنفيذ نشاط البنية الأساسية لبرنامج ربط العمليات التجارية
• تنفيذ نشاط البنية الأساسية لبرنامج ربط العمليات التجارية الخارجية
• إنشاء / تحرير / استرجاع / مراقبة عناصر مصنع البيانات
• تعتمد مدة Microsoft Integration Runtime SSIS (IR) على نوع المثيل ومدته

استخدام الدفع المسبق في Azure مع Azure Data Factory

يمكنك دفع رسوم Azure Data Factory باستخدام رصيد الدفع المسبق الخاص بك في Azure. ومع ذلك، لا يمكنك استخدام رصيد الدفع المسبق لـ Azure لدفع رسوم لمنتجات وخدمات الجهات الخارجية بما في ذلك تلك التي من Azure Marketplace.

مراقبة التكاليف

يمكن مراقبة تكاليف Azure Data Factory على مستويات المصنع والمسار وتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية وتشغيل النشاط.

مراقبة التكاليف على مستوى المصنع باستخدام Cost Analysis

أثناء استخدام موارد Azure مع Data Factory، تتحمل تكاليف. تختلف تكاليف وحدة استخدام موارد Azure حسب الفواصل الزمنية (الثواني والدقائق والساعات والأيام) أو حسب استخدام الوحدة (بايت، ميغا بايت، وما إلى ذلك.) بمجرد بدء استخدام Data Factory، يتم تكبد التكاليف ويمكنك رؤية التكاليف في تحليل التكلفة .

عند استخدام تحليل التكلفة، يمكنك عرض تكاليف Data Factory في الرسوم البيانية والجداول لفترات زمنية مختلفة. بعض الأمثلة هي حسب اليوم والشهر الحالي والسابق والسنة. كما يمكنك عرض التكاليف مقابل الموازنات والتكاليف المتوقعة. يمكن أن يساعدك التبديل إلى طرق العرض الأطول بمرور الوقت في تحديد اتجاهات الإنفاق. وسترى أين يمكن أن يحدث الإفراط في الإنفاق. إذا كنت قد أنشأت موازنات، فيمكنك أيضًا أن ترى بسهولة أين تم تجاوزها.

لعرض تكاليف Data Factory في تحليل التكلفة:

1. قم بتسجيل الدخول إلى بوابة Azure.
2. لمراجعة التكاليف في تحليل التكلفة، افتح النطاق في مدخل Microsoft Azure وحدد تحليل التكلفة في القائمة. على سبيل المثال، انتقل إلى الاشتراكات، وحدد اشتراكاً من القائمة، ثم حدد تحليل التكلفة في القائمة. حدد النطاق للتبديل إلى نطاق مختلف في تحليل التكلفة.
3. بشكل افتراضي، يتم عرض تكلفة الخدمات في أول مخطط بياني دائري. حدد المنطقة في المخطط المسمى Azure Data Factory v2.

يتم عرض التكاليف الشهرية الفعلية عند فتح تحليل التكلفة في البداية. فيما يلي مثال يوضح جميع تكاليف الاستخدام الشهرية.

• لتضييق التكاليف لخدمة واحدة، مثل Data Factory، حدد إضافة عامل تصفية ثم حدد اسم الخدمة . ثم حدد Azure Data Factory v2 .

فيما يلي مثال يوضح تكاليف مصنع البيانات فقط.

في المثال السابق، سترى التكلفة الحالية للخدمة. يتم أيضاً عرض التكاليف حسب مناطق (مواقع) Azure وتكاليف مصنع البيانات حسب مجموعة الموارد. من هنا، يمكنك استكشاف التكاليف بنفسك.

مراقبة التكاليف على مستوى البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام Cost Analysis

في بعض الحالات، قد تحتاج إلى توزيع دقيق لتكلفة العمليات داخل المصنع، على سبيل المثال، لأغراض استرداد الرسوم. دمج النظام الأساسي لتحليل تكلفة فوترة Azure، يمكن لمصنع البيانات فصل رسوم الفوترة لكل مسار. من خلال الاشتراك في تقارير الفوترة التفصيلية لمصنع Azure Data Factory، يمكنك فهم مقدار تكلفة كل مسار لك بشكل أفضل، داخل المصنع المذكور أعلاه.

تحتاج إلى الاشتراك في كل مصنع تريد فوترة مفصلة له. لتشغيل ميزة الفوترة التفصيلية لكل مسار،

1. انتقل إلى مدخل Azure Data Factory
2. ضمن علامة التبويب إدارة، حدد إعداد المصنع في القسم عام
3. حدد إظهار تقرير الفوترة حسب المسار
4. نشر التغيير

بمجرد تمكين الميزة، سيكون لكل مسار إدخال منفصل في تقرير الفوترة لدينا: يظهر بالضبط مقدار تكاليف كل مسار، في الفاصل الزمني المحدد. يسمح لك بتحديد اتجاهات الإنفاق، وإشعار الإفراط في الإنفاق، إن حدث أي شيء.

باستخدام أدوات الرسم البياني لتحليل التكلفة، تحصل على مخططات بيانية وخطوط اتجاهات مماثلة كما هو موضح أعلاه، ولكن للبنية الأساسية لبرنامج ربط العمليات التجارية الفردية. يمكنك أيضا الحصول على طريقة عرض الملخص حسب اسم المصنع، حيث يتم تضمين اسم المصنع في تقرير الفوترة، ما يسمح بالتصفية المناسبة عند الضرورة.

يؤثر التغيير فقط على كيفية إصدار الفواتير من الآن فصاعدا، ولا يغير الرسوم السابقة. يرجى إعطاء بعض الوقت قبل ملء التغيير إلى تقرير الفوترة: عادة ما ينعكس التغيير في غضون يوم واحد.

القيود

فيما يلي القيود المعروفة لميزات فوترة البنية الأساسية لبرنامج ربط العمليات التجارية. لن يتم ملف عدادات الفوترة هذه ضمن البنية الأساسية لبرنامج ربط العمليات التجارية التي تدوره، ولكن بدلا من ذلك سيتم ملف ضمن عنصر خط احتياطي لمصنعك.

• رسوم عمليات Data Factory، بما في ذلك القراءة/الكتابة والمراقبة
• رسوم عقد Azure Data Factory SQL Server Integration Services (SSIS)
• إذا كان لديك وقت البقاء (TTL) مكون لوقت تشغيل تكامل Azure (Azure IR)، فلن يتم ملف أنشطة تدفق البيانات التي يتم تشغيلها على وقت تشغيل التكامل هذا ضمن البنية الأساسية لبرنامج ربط العمليات التجارية الفردية.

مراقبة الاستهلاك على مستوى تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية في Azure Data Factory

اعتمادا على أنواع الأنشطة التي لديك في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك، ومقدار البيانات التي تقوم بنقلها وتحويلها، وتعقيد التحويل، سيؤدي تنفيذ البنية الأساسية لبرنامج ربط العمليات التجارية إلى تدوير عدادات فوترة مختلفة في Azure Data Factory.

يمكنك عرض مقدار الاستهلاك للعدادات المختلفة لعمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية الفردية في تجربة مستخدم Azure Data Factory. لفتح تجربة المراقبة، حدد لوحة المراقبة والإدارة في شفرة مصنع البيانات في مدخل Microsoft Azure. إذا كنت بالفعل في ADF UX، فحدد على أيقونة Monitor على الشريط الجانبي الأيسر. طريقة عرض المراقبة الافتراضية هي قائمة عمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية.

سيؤدي النقر فوق الزر الاستهلاك الموجود بجوار اسم البنية الأساسية لبرنامج ربط العمليات التجارية إلى عرض نافذة منبثقة تعرض لك استهلاك تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية المجمع عبر جميع الأنشطة داخل البنية الأساسية لبرنامج ربط العمليات التجارية.

تظهر لك طريقة عرض استهلاك تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية المبلغ المستهلك لكل مقياس ADF لتشغيل مسار معين، ولكنه لا يظهر السعر الفعلي الذي تم تحصيله، لأن المبلغ الذي تتم فوترته لك يعتمد على نوع حساب Azure لديك ونوع العملة المستخدمة. لعرض قائمة كاملة بأنواع الحسابات المدعومة، راجع فهم بيانات إدارة التكلفة.

مراقبة الاستهلاك على مستوى تشغيل النشاط في Azure Data Factory

بمجرد فهم الاستهلاك المجمع على مستوى تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية هناك سيناريوهات تحتاج فيها إلى مزيد من البحث وتحديد النشاط الأكثر تكلفة في البنية الأساسية لبرنامج ربط العمليات التجارية.

لمعرفة الاستهلاك على مستوى تشغيل النشاط، انتقل إلى واجهة مستخدم المؤلف والمراقبة الخاصة بمصنع البيانات. من علامة التبويب Monitor حيث ترى قائمة بتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية، حدد ارتباط اسم المسار للوصول إلى قائمة عمليات تشغيل النشاط في تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية. حدد زر Output بجوار اسم النشاط وابحث عن خاصية billableDuration في إخراج JSON:

فيما يلي عينة من تشغيل نشاط النسخ:

وإليك عينة من تشغيل نشاط Mapping Data Flow:

إنشاء الميزانيات

يمكنك إنشاء ميزانيات لإدارة التكاليف وإنشاء تنبيهات تقوم تلقائياً بإخطار أصحاب المصلحة باختلالات الإنفاق ومخاطر الإنفاق الزائد. تستند التنبيهات إلى الإنفاق مقارنة بحدود الميزانية والتكلفة. يتم إنشاء الميزانيات والتنبيهات لاشتراكات Azure ومجموعات الموارد، ولذا فهي مفيدة كجزء من استراتيجية إجمالية لمراقبة التكاليف.

يمكن إنشاء الميزانيات باستخدام عوامل تصفية لموارد أو خدمات محددة في Azure إذا كنت تريد المزيد من الدقة في المراقبة. تساعد عوامل التصفية في ضمان عدم إنشاء موارد جديدة عن طريق الخطأ وبالتالي تكلفك المزيد من المال. لمزيد من المعلومات حول خيارات التصفية المتوفرة عند إنشاء ميزانية، راجع خيارات التجميع والتصفية.

تصدير بيانات التكلفة

يمكنك أيضًا تصدير بيانات التكلفة إلى حساب تخزين. يعد هذا مفيدا عندما تحتاج أو يحتاج الآخرون إلى إجراء تحليل بيانات آخر للتكاليف. على سبيل المثال، يمكن للفرق المالية تحليل البيانات باستخدام Excel أو Power BI. يمكنك تصدير تكاليفك على جدول يومي أو أسبوعي أو شهري وتعيين نطاق تاريخ مخصص. تصدير بيانات التكلفة هو الطريقة الموصى بها لاسترداد مجموعات بيانات التكلفة.

المحتوى ذو الصلة

• تعرف على كيفية تحسين استثمارك السحابي باستخدام إدارة التكلفة من Azure.
• تعرف على المزيد حول إدارة التكاليف مع تحليل التكلفة.
• تعرف على كيفية منع التكاليف غير المتوقعة.
• خذ دورة التعلم الموجه لإدارة التكلفة.
• صفحة تسعير Azure Data Factory
• التعرف على مصنع بيانات Azure من خلال الأمثلة
• حاسبة تسعير Azure Data Factory