Bagikan melalui

DBFS CLI (warisan)

  • Artikel

Penting

Dokumentasi ini telah dihentikan dan mungkin tidak diperbarui.

Informasi ini berlaku untuk CLI Databricks warisan versi 0.18 ke bawah. Databricks merekomendasikan agar Anda menggunakan Databricks CLI versi 0.205 atau lebih baru. Lihat Apa itu Databricks CLI?. Untuk menemukan versi Databricks CLI Anda, jalankan databricks -v.

Untuk bermigrasi dari Databricks CLI versi 0.18 atau di bawahnya ke Databricks CLI versi 0.205 atau lebih tinggi, lihat migrasi CLI Databricks.

Anda menjalankan sub-perintah Databricks DBFS CLI yang menambahkannya ke databricks fs (atau alias dbfs), mengawali semua jalur DBFS dengan dbfs:/. Sub-perintah ini memanggil API DBFS.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

Untuk operasi yang mencantumkan, memindahkan, atau menghapus lebih dari 10k file, kami sangat mencegah penggunaan DBFS CLI.

  • listOperasi (databricks fs ls) akan habis setelah sekitar 60-an.
  • moveOperasi (databricks fs mv) akan habis setelah sekitar 60-an, berpotensi menghasilkan data yang dipindahkan sebagian.
  • deleteOperasi (databricks fs rm) akan secara bertahap menghapus batch file.

Kami menyarankan Anda melakukan operasi tersebut dalam konteks cluster, menggunakan utilitas sistem File (dbutils.fs). dbutils.fs mencakup cakupan fungsional DBFS REST API, tetapi dari notebook. Menjalankan operasi tersebut menggunakan buku catatan memberikan kontrol yang lebih baik, seperti penghapusan selektif, pengelolaan, dan kemungkinan untuk mengotomatisasi pekerjaan berkala.

Batasan

Menggunakan Databricks DBFS CLI dengan kontainer penyimpanan yang diaktifkan firewall tidak didukung. Databricks merekomendasikan Anda menggunakan Databricks Koneksi atau penyimpanan az.

Mencantumkan konten file

Untuk menampilkan dokumentasi penggunaan, jalankan databricks fs cat --help.

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Menyalin file

Untuk menampilkan dokumentasi penggunaan, jalankan databricks fs cp --help.

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

Saat berhasil, perintah ini tidak menampilkan apa pun.

Mencantumkan informasi tentang file dan direktori

Untuk menampilkan dokumentasi penggunaan, jalankan databricks fs ls --help.

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Membuat direktori

Untuk menampilkan dokumentasi penggunaan, jalankan databricks fs mkdirs --help.

databricks fs mkdirs dbfs:/tmp/new-dir

Saat berhasil, perintah ini tidak menampilkan apa pun.

Memindahkan file

Untuk menampilkan dokumentasi penggunaan, jalankan databricks fs mv --help.

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

Saat berhasil, perintah ini tidak menampilkan apa pun.

Hapus file

Untuk menampilkan dokumentasi penggunaan, jalankan databricks fs rm --help.

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.