تشغيل وظيفة Azure Databricks باستخدام حساب بلا خادم لسير العمل

يسمح لك الحساب بلا خادم لسير العمل بتشغيل وظيفة Azure Databricks دون تكوين البنية الأساسية ونشرها. باستخدام الحوسبة بلا خادم، يمكنك التركيز على تنفيذ مسارات معالجة البيانات وتحليلها، وتدير Azure Databricks موارد الحوسبة بكفاءة، بما في ذلك تحسين الحوسبة وتحجيمها لأحمال العمل الخاصة بك. يتم تمكين التحجيم التلقائي والفوتون تلقائيا لموارد الحوسبة التي تشغل وظيفتك.

تعمل الحوسبة بلا خادم لسير العمل تلقائيا ومستمرا على تحسين البنية الأساسية، مثل أنواع المثيلات والذاكرة ومحركات المعالجة، لضمان أفضل أداء استنادا إلى متطلبات المعالجة المحددة لأحمال العمل الخاصة بك.

يقوم Databricks تلقائيا بترقية إصدار Databricks Runtime لدعم التحسينات والترقيات إلى النظام الأساسي مع ضمان استقرار وظائف Azure Databricks. لمشاهدة إصدار وقت تشغيل Databricks الحالي المستخدم بواسطة الحوسبة بلا خادم لسير العمل، راجع ملاحظات إصدار الحوسبة بلا خادم.

نظرا لأن إذن إنشاء نظام المجموعة غير مطلوب، يمكن لجميع مستخدمي مساحة العمل استخدام الحوسبة بلا خادم لتشغيل مهام سير العمل الخاصة بهم.

توضح هذه المقالة استخدام واجهة مستخدم وظائف Azure Databricks لإنشاء وتشغيل المهام التي تستخدم الحوسبة بلا خادم. يمكنك أيضا أتمتة إنشاء الوظائف وتشغيلها التي تستخدم حساب بلا خادم مع واجهة برمجة تطبيقات الوظائف وحزم أصول Databricks وDatabricks SDK ل Python.

• للتعرف على استخدام واجهة برمجة تطبيقات الوظائف لإنشاء الوظائف التي تستخدم الحوسبة بلا خادم وتشغيلها، راجع الوظائف في مرجع واجهة برمجة تطبيقات REST.
• للتعرف على استخدام حزم أصول Databricks لإنشاء وتشغيل المهام التي تستخدم الحوسبة بلا خادم، راجع تطوير وظيفة على Azure Databricks باستخدام حزم أصول Databricks.
• للتعرف على استخدام Databricks SDK ل Python لإنشاء وتشغيل المهام التي تستخدم الحوسبة بلا خادم، راجع Databricks SDK ل Python.

المتطلبات

• يجب تمكين كتالوج Unity لمساحة عمل Azure Databricks.

• نظرا لأن الحوسبة بلا خادم لسير العمل تستخدم وضع الوصول المشترك، يجب أن تدعم أحمال العمل وضع الوصول هذا.

• يجب أن تكون مساحة عمل Azure Databricks في منطقة مدعومة. راجع الميزات ذات التوفر الإقليمي المحدود.

• يجب تمكين حساب Azure Databricks الخاص بك بدون خادم. راجع تمكين الحوسبة بلا خادم.

إنشاء مهمة باستخدام الحوسبة بلا خادم

يتم دعم الحوسبة بلا خادم مع دفتر الملاحظات، والبرنامج النصي Python، وdbt، وأنواع مهام عجلة Python. بشكل افتراضي، يتم تحديد الحوسبة بلا خادم كنوع حساب عند إنشاء مهمة جديدة وإضافة أحد أنواع المهام المدعومة هذه.

توصي Databricks باستخدام حساب بلا خادم لجميع مهام الوظيفة. يمكنك أيضا تحديد أنواع حوسبة مختلفة للمهام في وظيفة، والتي قد تكون مطلوبة إذا لم يكن نوع المهمة مدعوما بواسطة حساب بلا خادم لسير العمل.

تكوين مهمة موجودة لاستخدام الحوسبة بلا خادم

يمكنك تبديل مهمة موجودة لاستخدام الحوسبة بلا خادم أنواع المهام المدعومة عند تحرير المهمة. للتبديل إلى الحوسبة بلا خادم، إما:

• في اللوحة الجانبية تفاصيل المهمة، انقر فوق تبديل ضمن حساب، وانقر فوق جديد، وأدخل أي إعدادات أو حدثها، وانقر فوق تحديث.
• انقر في القائمة المنسدلة Compute وحدد Serverless.

جدولة دفتر ملاحظات باستخدام حساب بلا خادم

بالإضافة إلى استخدام واجهة مستخدم الوظائف لإنشاء وظيفة وجدولتها باستخدام حساب بلا خادم، يمكنك إنشاء وتشغيل وظيفة تستخدم حساب بلا خادم مباشرة من دفتر ملاحظات Databricks. راجع إنشاء مهام دفتر الملاحظات المجدولة وإدارتها.

تحديد نهج موازنة لاستخدامك بلا خادم

تسمح نهج الموازنة لمؤسستك بتطبيق علامات مخصصة على الاستخدام بلا خادم لإسناد الفوترة الدقيقة.

إذا كانت مساحة العمل تستخدم نهج الموازنة لسمة الاستخدام بلا خادم، يمكنك تحديد نهج موازنة وظيفتك باستخدام إعداد نهج الموازنة في واجهة مستخدم تفاصيل الوظيفة. إذا تم تعيين نهج موازنة واحد فقط، يتم تحديد النهج تلقائيا لوظائفك الجديدة.

لمزيد من المعلومات حول نهج الموازنة، راجع سمة الاستخدام بلا خادم مع نهج الموازنة.

تعيين معلمات تكوين Spark

لأتمتة تكوين Spark على الحوسبة بلا خادم، يسمح Databricks بتعيين معلمات تكوين Spark محددة فقط. للحصول على قائمة المعلمات المسموح بها، راجع معلمات تكوين Spark المدعومة.

يمكنك تعيين معلمات تكوين Spark على مستوى الجلسة فقط. للقيام بذلك، قم بتعيينها في دفتر ملاحظات وإضافة دفتر الملاحظات إلى مهمة مضمنة في نفس المهمة التي تستخدم المعلمات. راجع الحصول على خصائص تكوين Apache Spark وتعيينها في دفتر ملاحظات.

تكوين البيئات والتبعيات

لمعرفة كيفية تثبيت المكتبات والتبعيات باستخدام الحوسبة بلا خادم، راجع تثبيت تبعيات دفتر الملاحظات.

تكوين التحسين التلقائي للحساب بلا خادم لعدم السماح بإعادة المحاولة

يعمل الحوسبة بلا خادم لسير العمل على تحسين الحوسبة المستخدمة لتشغيل مهامك تلقائيا وإعادة محاولة المهام الفاشلة. يتم تمكين التحسين التلقائي بشكل افتراضي، وتوصي Databricks بتركها ممكنة لضمان تشغيل أحمال العمل الهامة بنجاح مرة واحدة على الأقل. ومع ذلك، إذا كان لديك أحمال عمل يجب تنفيذها مرة واحدة على الأكثر، على سبيل المثال، الوظائف غير المتكررة، يمكنك إيقاف تشغيل التحسين التلقائي عند إضافة مهمة أو تحريرها:

1. إلى جانب عمليات إعادة المحاولة، انقر فوق إضافة (أو إذا كان نهج إعادة المحاولة موجودا بالفعل).
2. في مربع الحوار نهج إعادة المحاولة ، قم بإلغاء تحديد تمكين التحسين التلقائي بلا خادم (قد يتضمن إعادة محاولة إضافية).
3. انقر فوق تأكيد.
4. إذا كنت تقوم بإضافة مهمة، فانقر فوق إنشاء مهمة. إذا كنت تقوم بتحرير مهمة، فانقر فوق حفظ المهمة.

مراقبة تكلفة المهام التي تستخدم الحوسبة بلا خادم لسير العمل

يمكنك مراقبة تكلفة المهام التي تستخدم الحوسبة بلا خادم لسير العمل عن طريق الاستعلام عن جدول نظام الاستخدام القابل للفوترة. يتم تحديث هذا الجدول لتضمين سمات المستخدم وأحمال العمل حول التكاليف بلا خادم. راجع مرجع جدول نظام الاستخدام القابل للفوترة.

للحصول على معلومات حول التسعير الحالي وأي عروض ترويجية، راجع صفحة تسعير مهام سير العمل.

عرض تفاصيل الاستعلام لتشغيل المهام

يمكنك عرض معلومات وقت التشغيل التفصيلية لعبارات Spark، مثل المقاييس وخطط الاستعلام.

للوصول إلى تفاصيل الاستعلام من واجهة مستخدم الوظائف، استخدم الخطوات التالية:

1. انقر فوق مهام سير العمل في الشريط الجانبي.

2. انقر فوق اسم الوظيفة التي تريد عرضها.

3. انقر فوق التشغيل المحدد الذي تريد عرضه.

4. انقر فوق المخطط الزمني لعرض التشغيل كمخطط زمني، وتقسيمه إلى مهام فردية.

5. انقر فوق السهم الموجود بجانب اسم المهمة لإظهار عبارات الاستعلام وأوقات التشغيل الخاصة بها.

   

6. انقر فوق عبارة لفتح لوحة تفاصيل الاستعلام. راجع عرض تفاصيل الاستعلام لمعرفة المزيد حول المعلومات المتوفرة في هذه اللوحة.

لعرض محفوظات الاستعلام لمهمة:

1. في قسم Compute من اللوحة الجانبية Task run، انقر فوق Query history.
2. تتم إعادة توجيهك إلى "محفوظات الاستعلام"، تتم التصفية مسبقا استنادا إلى معرف تشغيل المهمة للمهمة التي كنت فيها.

للحصول على معلومات حول استخدام محفوظات الاستعلام، راجع محفوظات استعلام Access لمسارات جداول Delta Live ومحفوظات الاستعلام.

القيود

للحصول على قائمة بالحوسبة بلا خادم لقيود سير العمل، راجع قيود الحوسبة بلا خادم في ملاحظات إصدار الحوسبة بلا خادم.