مشاركة عبر

إرسال Spark (قديم)

  • مقالة

نوع مهمة إرسال Spark هو نمط قديم لتكوين JARs كمهام. توصي Databricks باستخدام مهمة JAR . راجع مهمة JAR للوظائف.

المتطلبات

  • يمكنك تشغيل مهام إرسال spark فقط على مجموعات جديدة.
  • يجب تحميل ملف JAR إلى موقع أو مستودع Maven متوافق مع تكوين الحساب الخاص بك. راجع دعم مكتبة Java وSc scala.
  • لا يمكنك الوصول إلى ملفات JAR المخزنة في وحدات التخزين.
  • لا يدعم إرسال Spark التحجيم التلقائي لنظام المجموعة. لمعرفة المزيد حول التحجيم التلقائي، راجع التحجيم التلقائي لنظام المجموعة.
  • لا يدعم إرسال Spark مرجع Databricks Utilities (dbutils). لاستخدام أدوات Databricks المساعدة، استخدم مهام JAR بدلا من ذلك.
  • إذا كنت تستخدم مجموعة ممكنة لكتالوج Unity، يتم دعم spark-submit فقط إذا كانت المجموعة تستخدم وضع وصول المستخدم الفردي. وضع الوصول المشترك غير معتمد. راجع أوضاع الوصول.
  • يجب ألا يكون لمهام الدفق المنظم الحد الأقصى لعمليات التشغيل المتزامنة المعينة إلى أكبر من 1. يجب تعيين مهام الدفق للتشغيل باستخدام تعبير "* * * * * ?" cron (كل دقيقة). نظرا لأن مهمة الدفق تعمل بشكل مستمر، يجب أن تكون دائما المهمة النهائية في الوظيفة.

تكوين مهمة إرسال Spark

أضف مهمة Spark Submit من علامة التبويب المهام في واجهة مستخدم الوظائف عن طريق القيام بما يلي:

  1. في القائمة المنسدلة النوع ، حدد Spark Submit.
  2. استخدم الحساب لتكوين نظام مجموعة يدعم المنطق في مهمتك.
  3. استخدم مربع النص Parameters لتوفير كافة الوسيطات والتكوينات اللازمة لتشغيل المهمة كصفيف JSON من السلاسل.

    • يتم استخدام الوسيطات الثلاث الأولى لتعريف الفئة الرئيسية للتشغيل في JAR في مسار محدد، كما في المثال التالي:

      ["--class", "org.apache.spark.mainClassName", "dbfs:/Filestore/libraries/jar_path.jar"]

    • لا يمكنك تجاوز masterdeploy-modeالإعدادات و و executor-cores التي تم تكوينها بواسطة Azure Databricks

    • استخدم --jars و --py-files لإضافة مكتبات Java وSc scala وPython التابعة.

    • استخدم --conf لتعيين تكوينات Spark.

    • --jarsتدعم الوسيطات ، --py-files--files مسارات DBFS.

    • بشكل افتراضي، تستخدم مهمة إرسال Spark جميع الذاكرة المتوفرة، باستثناء الذاكرة المحجوزة لخدمات Azure Databricks. يمكنك تعيين --driver-memoryو --executor-memory إلى قيمة أصغر لترك بعض المساحة للاستخدام خارج كومة الذاكرة المؤقتة.

  4. انقر فوق حفظ المهمة.