مشاركة عبر

تشغيل أوامر shell في محطة ويب Azure Databricks

  • مقالة

توفر محطة Azure Databricks على الويب طريقة ملائمة وتفاعلية للغاية لتشغيل أوامر shell في واجهة سطر الأوامر (CLI)، بما في ذلك أوامر Databricks CLI، لاتخاذ إجراءات على كائنات Databricks برمجيا. وهو مفيد بشكل خاص لحالات الاستخدام المتقدمة، مثل العمليات الدفعية على ملفات متعددة، والتي قد لا تدعمها واجهات المستخدم الحالية (UIs) بشكل كامل.

يمكن لعدة مستخدمين استخدام محطة الويب الطرفية على حساب واحد.

يمكنك استخدام محطة الويب للقيام بما يلي:

  • إجراء تعديلات سريعة على الملفات باستخدام Vim أو Emacs.
  • مراقبة استخدام الموارد باستخدام أوامر مثل htop (استخدام نظام المجموعة) أو nvidia-smi (استخدام GPU).
  • تشغيل البرامج النصية غير Spark Python.
  • تنفيذ عمليات الملفات باستخدام أوامر shell مثل mv و mkdir.
  • تثبيت المكتبات وإدارتها على الحساب.
  • استخدم Databricks CLI لأتمتة جوانب مختلفة من Azure Databricks.

المتطلبات

تحذير

يقوم Azure Databricks بوكلاء خدمة محطة الويب من المنفذ 7681 على برنامج تشغيل Spark للحساب. وكيل ويب هذا مخصص للاستخدام فقط مع محطة الويب الطرفية. إذا كان المنفذ مشغولا عند بدء تشغيل الحساب أو كان هناك نوع من التعارض، فقد لا تعمل محطة الويب كما هو متوقع. إذا تم تشغيل خدمات ويب أخرى على المنفذ 7681، فقد يتعرض مستخدمو الحوسبة لاستغلالات أمنية محتملة. لا تتحمل Databricks ولا Microsoft مسؤولية أي مشكلات تنتج عن تثبيت برنامج غير مدعوم على حساب.

  • يتم تعطيل محطة ويب بشكل افتراضي لجميع مستخدمي مساحة العمل. لتمكينه، راجع تمكين محطة الويب.
  • يمكن إرفاق إلى إذن على حساب.
  • يجب أن تستخدم الحوسبة وضع وصول لمستخدم واحد أو لا يوجد عزل مشترك.

تشغيل محطة الويب

يمكنك تشغيل محطة الويب من صفحة تفاصيل الحساب أو من دفتر ملاحظات.

من دفتر ملاحظات

لتشغيل محطة الويب من دفتر ملاحظات:

  1. قم بتوصيل دفتر الملاحظات بالحوسبة.
  2. في أسفل الشريط الجانبي الأيمن لدفتر الملاحظات، انقر فوق أيقونة فتح اللوحة السفلية فتح اللوحة السفلية في دفتر الملاحظات.
  3. بدلا من ذلك، انقر فوق القائمة المنسدلة الحوسبة المرفقة، وقم بالمرور فوق الحساب المرفق، ثم انقر فوق محطة ويب.

يتم فتح محطة الويب في لوحة في أسفل الشاشة. تسمح لك الأزرار الموجودة في الجزء العلوي الأيسر من اللوحة بما يلي:

  • افتح جلسة محطة طرفية جديدة في علامة تبويب فتح جلسة عمل محطة طرفية جديدةجديدة .
  • إعادة تحميل جلسة إعادة تحميل جلسة عمل المحطة الطرفيةعمل طرفية .
  • أغلق اللوحة إغلاق اللوحة السفليةالسفلية . لإعادة فتح اللوحة، انقر إعادة فتح اللوحة السفلية في أسفل الشريط الجانبي الأيمن.

من صفحة تفاصيل الحساب

لتشغيل محطة الويب من صفحة تفاصيل الحساب:

  1. على الشريط الجانبي لمساحة العمل، انقر فوق حساب.
  2. في علامة التبويب حساب لجميع الأغراض، انقر فوق اسم الحساب.
  3. انقر فوق بدء لبدء الحساب.
  4. على علامة التبويب التطبيقات ، انقر فوق محطة الويب الطرفية.

تفتح علامة تبويب جديدة باستخدام واجهة مستخدم محطة الويب ومطالبة Bash.

استخدام محطة الويب الطرفية

في محطة الويب الطرفية، يمكنك تشغيل الأوامر من الجذر داخل حاوية عقدة برنامج تشغيل الحساب.

يمكن أن يكون لكل مستخدم ما يصل إلى 100 جلسة عمل نشطة على الويب (علامات تبويب) مفتوحة. قد تنتهي مهلة جلسات محطة الويب الخاملة وسيعيد تطبيق الويب الطرفي على الويب الاتصال، مما يؤدي إلى عملية shell جديدة. إذا كنت ترغب في الاحتفاظ بجلسة Bash الخاصة بك، فإن Databricks توصي باستخدام tmux.

تشغيل أوامر Databricks CLI

يمكنك أيضا استخدام محطة الويب لتشغيل أوامر Databricks CLI. دائما ما يكون CLI المتوفر هو أحدث إصدار، وتعتمد المصادقة على المستخدم الحالي. يجب أن تفي الحوسبة بالمتطلبات التالية:

  • يجب أن يكون نظام المجموعة Databricks Runtime 15.0 أو أعلى مثبتا.
  • يجب عدم تمكين مساحة العمل ل Private Link.

قم بتشغيل محطة الويب وتشغيل الأمر التالي لإخراج معلومات حول المستخدم الحالي:

   databricks current-user me

تتوفر أوامر الحزمة أيضا، ما يسمح لك بإنشاء مجموعات أصول Databricks وإدارتها مباشرة من محطة الويب داخل مساحة عمل Databricks. على سبيل المثال، لإنشاء مجموعة بسيطة ونشرها وتشغيلها باستخدام القالب الافتراضي:

  1. من جذر محطة الويب، انتقل إلى الصفحة الرئيسية لمساحة العمل وقم بتشغيل bundle init:

    cd /Workspace/Users/someone@example.com
databricks bundle init

  2. اقبل مطالبات القالب الافتراضية، ثم قم بالتغيير إلى دليل الحزمة ونشره:

    cd my_project
databricks bundle deploy

    يمكنك عرض الحزمة المنشورة my_project في واجهة مستخدم مساحة عمل Databricks.

  3. وأخيرا، قم بتشغيل المهمة الافتراضية في المجموعة:

    databricks bundle run my_project_job

    انتقل إلى Job Runs لمشاهدة المهمة قيد التشغيل.

القيود

  • لا يدعم Azure Databricks تشغيل مهام Spark من محطة الويب.

  • لا تتوفر محطة Azure Databricks على الويب في أنواع الحوسبة التالية:

    • حساب الوظيفة
    • الحوسبة دون الخادم
    • تم تشغيل الحساب مع DISABLE_WEB_TERMINAL=true مجموعة متغيرات البيئة.
    • الحساب الذي تم تشغيله مع تعيين وضع الوصول إلى مشترك.
    • تم تشغيل الحساب مع تعيين تكوين spark.databricks.pyspark.enableProcessIsolation Spark إلى true.

  • هناك حد ثابت يبلغ 12 ساعة منذ تحميل الصفحة الأولية، وبعد ذلك سيتم إنهاء أي اتصال، حتى لو كان نشطا. يمكنك تحديث محطة الويب لإعادة الاتصال. توصي Databricks باستخدام tmux للحفاظ على جلسة shell الخاصة بك.

  • لا يمكن لموارد حساب ARM استخدام محطات الويب للوصول إلى ملفات مساحة العمل، بما في ذلك الملفات في مجلدات Git.

  • يؤدي تمكين Docker Container Services إلى تعطيل محطة الويب.