إرسال Spark (قديم)
نوع مهمة إرسال Spark هو نمط قديم لتكوين JARs كمهام. توصي Databricks باستخدام مهمة JAR . راجع مهمة JAR للوظائف.
المتطلبات
- يمكنك تشغيل مهام إرسال spark فقط على مجموعات جديدة.
- يجب تحميل ملف JAR إلى موقع أو مستودع Maven متوافق مع تكوين الحساب الخاص بك. راجع دعم مكتبة Java وSc scala.
- لا يمكنك الوصول إلى ملفات JAR المخزنة في وحدات التخزين.
- لا يدعم إرسال Spark التحجيم التلقائي لنظام المجموعة. لمعرفة المزيد حول التحجيم التلقائي، راجع التحجيم التلقائي لنظام المجموعة.
- لا يدعم إرسال Spark مرجع Databricks Utilities (dbutils). لاستخدام أدوات Databricks المساعدة، استخدم مهام JAR بدلا من ذلك.
- إذا كنت تستخدم مجموعة ممكنة لكتالوج Unity، يتم دعم spark-submit فقط إذا كانت المجموعة تستخدم وضع وصول المستخدم الفردي. وضع الوصول المشترك غير معتمد. راجع أوضاع الوصول.
- يجب ألا يكون لمهام الدفق المنظم الحد الأقصى لعمليات التشغيل المتزامنة المعينة إلى أكبر من 1. يجب تعيين مهام الدفق للتشغيل باستخدام تعبير
"* * * * * ?"
cron (كل دقيقة). نظرا لأن مهمة الدفق تعمل بشكل مستمر، يجب أن تكون دائما المهمة النهائية في الوظيفة.
تكوين مهمة إرسال Spark
أضف مهمة Spark Submit
من علامة التبويب المهام في واجهة مستخدم الوظائف عن طريق القيام بما يلي:
- في القائمة المنسدلة النوع ، حدد
Spark Submit
. - استخدم الحساب لتكوين نظام مجموعة يدعم المنطق في مهمتك.
- استخدم مربع النص Parameters لتوفير كافة الوسيطات والتكوينات اللازمة لتشغيل المهمة كصفيف JSON من السلاسل.
يتم استخدام الوسيطات الثلاث الأولى لتعريف الفئة الرئيسية للتشغيل في JAR في مسار محدد، كما في المثال التالي:
["--class", "org.apache.spark.mainClassName", "dbfs:/Filestore/libraries/jar_path.jar"]
لا يمكنك تجاوز
master
deploy-mode
الإعدادات و وexecutor-cores
التي تم تكوينها بواسطة Azure Databricksاستخدم
--jars
و--py-files
لإضافة مكتبات Java وSc scala وPython التابعة.استخدم
--conf
لتعيين تكوينات Spark.--jars
تدعم الوسيطات ،--py-files
--files
مسارات DBFS.بشكل افتراضي، تستخدم مهمة إرسال Spark جميع الذاكرة المتوفرة، باستثناء الذاكرة المحجوزة لخدمات Azure Databricks. يمكنك تعيين
--driver-memory
و--executor-memory
إلى قيمة أصغر لترك بعض المساحة للاستخدام خارج كومة الذاكرة المؤقتة.
- انقر فوق حفظ المهمة.