DBFS CLI (قديم)

تقوم بتشغيل أوامر Databricks DBFS CLI الفرعية إلحاقها ب databricks fs (أو الاسم المستعار dbfs)، بادئة جميع مسارات DBFS ب dbfs:/. تستدعي هذه الأوامر الفرعية واجهة برمجة تطبيقات DBFS.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

بالنسبة للعمليات التي تسرد أكثر من 10 آلاف ملف أو تنقلها أو تحذفها، فإننا لا نشجعك بشدة على استخدام DBFS CLI.

• list ستهل العملية (databricks fs ls) بعد حوالي 60s.
• move ستهل العملية (databricks fs mv) بعد حوالي 60s، مما قد يؤدي إلى نقل البيانات جزئيا.
• delete ستقوم العملية (databricks fs rm) بحذف دفعات من الملفات بشكل متزايد.

نوصي بإجراء مثل هذه العمليات في سياق نظام مجموعة، باستخدام الأداة المساعدة لنظام الملفات (dbutils.fs). dbutils.fs يغطي النطاق الوظيفي لواجهة برمجة تطبيقات REST ل DBFS، ولكن من دفاتر الملاحظات. يوفر تشغيل مثل هذه العمليات باستخدام دفاتر الملاحظات تحكما أفضل، مثل الحذف الانتقائي وإمكانية الإدارة وإمكانية أتمتة المهام الدورية.

القيود

استخدام Databricks DBFS CLI مع حاويات التخزين الممكنة لجدار الحماية غير مدعوم. توصي Databricks باستخدام Databricks Connect أو az storage.

سرد محتويات ملف

لعرض وثائق الاستخدام، قم بتشغيل databricks fs cat --help.

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

نسخ ملف

لعرض وثائق الاستخدام، قم بتشغيل databricks fs cp --help.

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

عند النجاح، لا يعرض هذا الأمر أي شيء.

سرد معلومات حول الملفات والدلائل

لعرض وثائق الاستخدام، قم بتشغيل databricks fs ls --help.

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

إنشاء دليل

لعرض وثائق الاستخدام، قم بتشغيل databricks fs mkdirs --help.

databricks fs mkdirs dbfs:/tmp/new-dir

عند النجاح، لا يعرض هذا الأمر أي شيء.

نقل ملف

لعرض وثائق الاستخدام، قم بتشغيل databricks fs mv --help.

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

عند النجاح، لا يعرض هذا الأمر أي شيء.

حذف ملف

لعرض وثائق الاستخدام، قم بتشغيل databricks fs rm --help.

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.