Sdílet prostřednictvím


Práce se soubory v Azure Databricks

Azure Databricks má několik nástrojů a rozhraní API pro interakci se soubory v následujících umístěních:

  • Svazky katalogu Unity
  • Soubory pracovního prostoru
  • Cloudové úložiště objektů
  • Připojení DBFS a kořen DBFS
  • Dočasné úložiště připojené k uzlu ovladače clusteru

Tento článek obsahuje příklady pro interakci se soubory v těchto umístěních pro následující nástroje:

  • Apache Spark
  • Spark SQL a Databricks SQL
  • Nástroje systému souborů Databricks (dbutils.fs nebo %fs)
  • Rozhraní příkazového řádku Databricks
  • Databricks REST API
  • Příkazy prostředí Bash (%sh)
  • Instalace knihovny na úrovni notebooku pomocí %pip
  • pandas
  • Nástroje pro správu a zpracování souborů Pythonu v OSS

Důležitý

Operace se soubory vyžadující přístup k datům FUSE nemají přímý přístup ke cloudovému úložišti objektů pomocí identifikátorů URI. Databricks doporučuje použít svazky katalogu Unity ke konfiguraci přístupu k těmto umístěním pro FUSE.

Scala podporuje FUSE pro svazky katalogu Unity a soubory pracovních prostorů na výpočetních prostředcích nakonfigurovaných pomocí katalogu Unity a vyhrazeného režimu přístupu (dříve režim sdíleného přístupu). Na výpočtech nakonfigurovaných s vyhrazeným režimem přístupu (dříve režimem přístupu jednoho uživatele) a Modulem Databricks Runtime 14.3 a novějším Scala podporuje FUSE pro svazky katalogu Unity a soubory pracovního prostoru, s výjimkou podprocesů pocházejících ze Scala, jako je například příkaz Scala "cat /Volumes/path/to/file".!!.

Spark a další procesy JVM mají přístup pouze ke svazkům katalogu Unity nebo souborům pracovního prostoru pomocí čtenářů a zapisovačů, které podporují katalog Unity. Například nelze zadat soubor JAR jako závislost v konfiguraci Sparku a nemůžete použít vlastní zdroje dat PySpark. Pokud máte pracovní úlohu v JVM z knihoven, které potřebují přístup k souborům ve svazcích nebo v souborech pracovního prostoru, zkopírujte soubory do místního úložiště na výpočetní jednotce použitím příkazů Pythonu nebo shellu, jako je %sh mv.. Nepoužívejte %fs ani dbutils.fs, které používají JVM. Pokud se soubor musí nacházet při spuštění clusteru, nejprve soubor přesuňte pomocí inicializačního skriptu. Viz Co jsou inicializační skripty?.

Musím pro přístup k datům zadat schéma identifikátoru URI?

Cesty přístupu k datům v Azure Databricks se řídí jedním z následujících standardů:

  • cesty ve stylu identifikátoru URI zahrnují schéma identifikátoru URI. Pro řešení přístupu k datům nativních pro Databricks jsou schémata identifikátorů URI volitelná pro většinu případů použití. Při přímém přístupu k datům v cloudovém úložišti objektů musíte zadat správné schéma identifikátoru URI pro typ úložiště.

    diagram cest URI

  • POSIXové cesty poskytují přístup k datům relativně ke kořenovému adresáři ovladače (/). Cesty stylu POSIX nikdy nevyžadují schéma. Svazky katalogu Unity nebo připojovací body DBFS můžete použít k poskytování přístupu ve stylu POSIX k datům v cloudovém úložišti objektů. Mnoho architektur ML a dalších modulů OSS Python vyžaduje FUSE a může používat pouze cesty ve stylu POSIX.

    diagram cest POSIX

Práce se soubory ve svazcích katalogu Unity

Databricks doporučuje použít svazky katalogu Unity ke konfiguraci přístupu k ne tabulkovým datovým souborům uloženým v cloudovém úložišti objektů. Viz Co jsou svazky katalogu Unity?.

Nástroj Příklad
Apache Spark spark.read.format("json").load("/Volumes/my_catalog/my_schema/my_volume/data.json").show()
Spark SQL a Databricks SQL SELECT * FROM csv.`/Volumes/my_catalog/my_schema/my_volume/data.csv`;
LIST '/Volumes/my_catalog/my_schema/my_volume/';
Nástroje systému souborů Databricks dbutils.fs.ls("/Volumes/my_catalog/my_schema/my_volume/")
%fs ls /Volumes/my_catalog/my_schema/my_volume/
Rozhraní příkazového řádku Databricks (CLI) databricks fs cp /path/to/local/file dbfs:/Volumes/my_catalog/my_schema/my_volume/
Databricks REST API POST https://<databricks-instance>/api/2.1/jobs/create
{"name": "A multitask job", "tasks": [{..."libraries": [{"jar": "/Volumes/dev/environment/libraries/logging/Logging.jar"}],},...]}
Příkazy prostředí Bash %sh curl http://<address>/text.zip -o /Volumes/my_catalog/my_schema/my_volume/tmp/text.zip
Instalace knihoven %pip install /Volumes/my_catalog/my_schema/my_volume/my_library.whl
Pandy df = pd.read_csv('/Volumes/my_catalog/my_schema/my_volume/data.csv')
Open Source Software Python os.listdir('/Volumes/my_catalog/my_schema/my_volume/path/to/directory')

Poznámka

Při práci s rozhraním příkazového řádku Databricks se vyžaduje schéma dbfs:/.

Omezení svazků

Svazky mají následující omezení:

  • Přímé zápisy nebo nesekvenční (náhodné) zápisy, jako je například zápis souborů Zip a Excel, nejsou podporovány. U úloh přímého připojení nebo náhodného zápisu nejprve proveďte operace na místním disku a pak výsledky zkopírujte do svazků katalogu Unity. Například:

    # python
    import xlsxwriter
    from shutil import copyfile
    
    workbook = xlsxwriter.Workbook('/local_disk0/tmp/excel.xlsx')
    worksheet = workbook.add_worksheet()
    worksheet.write(0, 0, "Key")
    worksheet.write(0, 1, "Value")
    workbook.close()
    
    copyfile('/local_disk0/tmp/excel.xlsx', '/Volumes/my_catalog/my_schema/my_volume/excel.xlsx')
    
  • Řídké soubory nejsou podporovány. Ke kopírování řídkých souborů použijte cp --sparse=never:

    $ cp sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file
    error writing '/dbfs/sparse.file': Operation not supported
    $ cp --sparse=never sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file
    

Práce se soubory pracovního prostoru

Soubory pracovního prostoru Databricks jsou soubory v pracovním prostoru, které jsou uloženy v účtu úložiště pracovního prostoru . Soubory pracovního prostoru můžete použít k ukládání a přístupu k souborům, jako jsou poznámkové bloky, soubory zdrojového kódu, datové soubory a další prostředky pracovního prostoru. Vzhledem k tomu, že soubory pracovního prostoru mají omezení velikosti, databricks doporučuje ukládat jenom malé datové soubory, a to především pro vývoj a testování.

Nástroj Příklad
Apache Spark spark.read.format("json").load("file:/Workspace/Users/<user-folder>/data.json").show()
Spark SQL a Databricks SQL SELECT * FROM json.`file:/Workspace/Users/<user-folder>/file.json`;
Nástroje systému souborů Databricks dbutils.fs.ls("file:/Workspace/Users/<user-folder>/")
%fs ls file:/Workspace/Users/<user-folder>/
Rozhraní příkazového řádku Databricks databricks workspace list
Databricks REST API POST https://<databricks-instance>/api/2.0/workspace/delete
{"path": "/Workspace/Shared/code.py", "recursive": "false"}
Příkazy prostředí Bash %sh curl http://<address>/text.zip -o /Workspace/Users/<user-folder>/text.zip
Instalace knihoven %pip install /Workspace/Users/<user-folder>/my_library.whl
Pandy df = pd.read_csv('/Workspace/Users/<user-folder>/data.csv')
Open Source Software Python os.listdir('/Workspace/Users/<user-folder>/path/to/directory')

Poznámka

Při práci s nástroji Databricks, Apache Sparkem nebo SQL se vyžaduje schéma file:/.

Omezení při práci se soubory pracovního prostoru najdete v tématu Omezení.

Kam se ukládají odstraněné soubory pracovního prostoru?

Když odstraníte soubor pracovního prostoru, odešle se do koše. Soubory můžete obnovit nebo trvale odstranit z koše pomocí uživatelského rozhraní.

Viz Odstranění objektu.

Práce se soubory v cloudovém úložišti objektů

Databricks doporučuje používat svazky katalogu Unity ke konfiguraci zabezpečeného přístupu k souborům v cloudovém úložišti objektů. Pokud se rozhodnete přímo přistupovat k datům v cloudovém úložišti objektů pomocí identifikátorů URI, musíte nakonfigurovat oprávnění. Viz Správa externích umístění, externích tabulek a externích svazků.

Následující příklady používají identifikátory URI pro přístup k datům v cloudovém úložišti objektů:

Nástroj Příklad
Apache Spark spark.read.format("json").load("abfss://container-name@storage-account-name.dfs.core.windows.net/path/file.json").show()
Spark SQL a Databricks SQL SELECT * FROM csv.`abfss://container-name@storage-account-name.dfs.core.windows.net/path/file.json`; LIST 'abfss://container-name@storage-account-name.dfs.core.windows.net/path';
Nástroje systému souborů Databricks dbutils.fs.ls("abfss://container-name@storage-account-name.dfs.core.windows.net/path/") %fs ls abfss://container-name@storage-account-name.dfs.core.windows.net/path/
Rozhraní příkazového řádku Databricks Nepodporováno
Databricks REST API Nepodporováno
Příkazy prostředí Bash Nepodporováno
Instalace knihoven %pip install abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl
Pandy Nepodporováno
OSS Python Nepodporováno

Práce se soubory v připojeních DBFS a kořenovém adresáři DBFS

DBFS mounty nelze zabezpečit pomocí katalogu Unity a Databricks je již nedoporučuje. Data uložená v kořenovém adresáři DBFS jsou přístupná všem uživatelům v pracovním prostoru. Databricks nedoporučuje ukládat jakýkoli citlivý nebo produkční kód nebo data do kořene DBFS. Viz Co je DBFS?.

Nástroj Příklad
Apache Spark spark.read.format("json").load("/mnt/path/to/data.json").show()
Spark SQL a Databricks SQL SELECT * FROM json.`/mnt/path/to/data.json`;
Nástroje systému souborů Databricks dbutils.fs.ls("/mnt/path")
%fs ls /mnt/path
Rozhraní příkazového řádku Databricks databricks fs cp dbfs:/mnt/path/to/remote/file /path/to/local/file
Databricks REST API POST https://<host>/api/2.0/dbfs/delete --data '{ "path": "/tmp/HelloWorld.txt" }'
Příkazy prostředí Bash %sh curl http://<address>/text.zip > /dbfs/mnt/tmp/text.zip
Instalace knihoven %pip install /dbfs/mnt/path/to/my_library.whl
Pandy df = pd.read_csv('/dbfs/mnt/path/to/data.csv')
Open Source Software Python os.listdir('/dbfs/mnt/path/to/directory')

Poznámka

Při práci s rozhraním příkazového řádku Databricks se vyžaduje schéma dbfs:/.

Práce se soubory v dočasném úložišti připojeném k uzlu ovladače

Dočasné úložiště připojené k uzlu ovladače je blokové úložiště s integrovanou cestou založenou na POSIX. Všechna data uložená v tomto umístění zmizí, když se cluster ukončí nebo restartuje.

Nástroj Příklad
Apache Spark Nepodporováno
Spark SQL a Databricks SQL Nepodporováno
Nástroje systému souborů Databricks dbutils.fs.ls("file:/path")
%fs ls file:/path
Databricks příkazové rozhraní Nepodporováno
Databricks REST API Nepodporováno
Příkazy prostředí Bash %sh curl http://<address>/text.zip > /tmp/text.zip
Instalace knihoven Nepodporováno
Pandy df = pd.read_csv('/path/to/data.csv')
Software s otevřeným zdrojovým kódem Python os.listdir('/path/to/directory')

Poznámka

Při práci s nástroji Databricks se vyžaduje schéma file:/.

Přesun dat z dočasného úložiště do svazků

Možná budete chtít přistupovat k datům staženým nebo uloženým do dočasného úložiště pomocí Apache Sparku. Vzhledem k tomu, že dočasné úložiště je připojené k ovladači a Spark je distribuovaný modul pro zpracování, ne všechny operace můžou přímo přistupovat k datům. Předpokládejme, že musíte přesunout data ze systému souborů ovladače do svazků katalogu Unity. V takovém případě můžete kopírovat soubory pomocí magic příkazů nebo nástrojů Databricks, jak je znázorněno v následujících příkladech.

dbutils.fs.cp ("file:/<path>", "/Volumes/<catalog>/<schema>/<volume>/<path>")
%sh cp /<path> /Volumes/<catalog>/<schema>/<volume>/<path>
%fs cp file:/<path> /Volumes/<catalog>/<schema>/<volume>/<path>

Další zdroje informací

Informace o nahrávání místních souborů nebo stahování internetových souborů do Azure Databricks najdete v tématu Nahrání souborů do služby Azure Databricks.