Práce se soubory v Azure Databricks

Azure Databricks má několik nástrojů a rozhraní API pro interakci se soubory v následujících umístěních:

• Svazky katalogu Unity
• Soubory pracovního prostoru
• Cloudové úložiště objektů
• Připojení DBFS a kořen DBFS
• Dočasné úložiště připojené k uzlu ovladače clusteru

Tento článek obsahuje příklady pro interakci se soubory v těchto umístěních pro následující nástroje:

• Apache Spark
• Spark SQL a Databricks SQL
• Nástroje systému souborů Databricks (dbutils.fs nebo %fs)
• Rozhraní příkazového řádku Databricks
• Databricks REST API
• Příkazy prostředí Bash (%sh)
• Instalace knihovny na úrovni notebooku pomocí %pip
• pandas
• Nástroje pro správu a zpracování souborů Pythonu v OSS

Musím pro přístup k datům zadat schéma identifikátoru URI?

Cesty přístupu k datům v Azure Databricks se řídí jedním z následujících standardů:

• cesty ve stylu identifikátoru URI zahrnují schéma identifikátoru URI. Pro řešení přístupu k datům nativních pro Databricks jsou schémata identifikátorů URI volitelná pro většinu případů použití. Při přímém přístupu k datům v cloudovém úložišti objektů musíte zadat správné schéma identifikátoru URI pro typ úložiště.

  

• POSIXové cesty poskytují přístup k datům relativně ke kořenovému adresáři ovladače (/). Cesty stylu POSIX nikdy nevyžadují schéma. Svazky katalogu Unity nebo připojovací body DBFS můžete použít k poskytování přístupu ve stylu POSIX k datům v cloudovém úložišti objektů. Mnoho architektur ML a dalších modulů OSS Python vyžaduje FUSE a může používat pouze cesty ve stylu POSIX.

  

Práce se soubory ve svazcích katalogu Unity

Databricks doporučuje použít svazky katalogu Unity ke konfiguraci přístupu k ne tabulkovým datovým souborům uloženým v cloudovém úložišti objektů. Viz Co jsou svazky katalogu Unity?.

Omezení svazků

Svazky mají následující omezení:

• Přímé zápisy nebo nesekvenční (náhodné) zápisy, jako je například zápis souborů Zip a Excel, nejsou podporovány. U úloh přímého připojení nebo náhodného zápisu nejprve proveďte operace na místním disku a pak výsledky zkopírujte do svazků katalogu Unity. Například:

  # python
  import xlsxwriter
  from shutil import copyfile
  
  workbook = xlsxwriter.Workbook('/local_disk0/tmp/excel.xlsx')
  worksheet = workbook.add_worksheet()
  worksheet.write(0, 0, "Key")
  worksheet.write(0, 1, "Value")
  workbook.close()
  
  copyfile('/local_disk0/tmp/excel.xlsx', '/Volumes/my_catalog/my_schema/my_volume/excel.xlsx')
  

• Řídké soubory nejsou podporovány. Ke kopírování řídkých souborů použijte cp --sparse=never:

  $ cp sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file
  error writing '/dbfs/sparse.file': Operation not supported
  $ cp --sparse=never sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file
  

Práce se soubory pracovního prostoru

Soubory pracovního prostoru Databricks jsou soubory v pracovním prostoru, které jsou uloženy v účtu úložiště pracovního prostoru . Soubory pracovního prostoru můžete použít k ukládání a přístupu k souborům, jako jsou poznámkové bloky, soubory zdrojového kódu, datové soubory a další prostředky pracovního prostoru. Vzhledem k tomu, že soubory pracovního prostoru mají omezení velikosti, databricks doporučuje ukládat jenom malé datové soubory, a to především pro vývoj a testování.

Omezení při práci se soubory pracovního prostoru najdete v tématu Omezení.

Kam se ukládají odstraněné soubory pracovního prostoru?

Když odstraníte soubor pracovního prostoru, odešle se do koše. Soubory můžete obnovit nebo trvale odstranit z koše pomocí uživatelského rozhraní.

Viz Odstranění objektu.

Práce se soubory v cloudovém úložišti objektů

Databricks doporučuje používat svazky katalogu Unity ke konfiguraci zabezpečeného přístupu k souborům v cloudovém úložišti objektů. Pokud se rozhodnete přímo přistupovat k datům v cloudovém úložišti objektů pomocí identifikátorů URI, musíte nakonfigurovat oprávnění. Viz Správa externích umístění, externích tabulek a externích svazků.

Následující příklady používají identifikátory URI pro přístup k datům v cloudovém úložišti objektů:

Práce se soubory v připojeních DBFS a kořenovém adresáři DBFS

DBFS mounty nelze zabezpečit pomocí katalogu Unity a Databricks je již nedoporučuje. Data uložená v kořenovém adresáři DBFS jsou přístupná všem uživatelům v pracovním prostoru. Databricks nedoporučuje ukládat jakýkoli citlivý nebo produkční kód nebo data do kořene DBFS. Viz Co je DBFS?.

Práce se soubory v dočasném úložišti připojeném k uzlu ovladače

Dočasné úložiště připojené k uzlu ovladače je blokové úložiště s integrovanou cestou založenou na POSIX. Všechna data uložená v tomto umístění zmizí, když se cluster ukončí nebo restartuje.

Přesun dat z dočasného úložiště do svazků

Možná budete chtít přistupovat k datům staženým nebo uloženým do dočasného úložiště pomocí Apache Sparku. Vzhledem k tomu, že dočasné úložiště je připojené k ovladači a Spark je distribuovaný modul pro zpracování, ne všechny operace můžou přímo přistupovat k datům. Předpokládejme, že musíte přesunout data ze systému souborů ovladače do svazků katalogu Unity. V takovém případě můžete kopírovat soubory pomocí magic příkazů nebo nástrojů Databricks, jak je znázorněno v následujících příkladech.

dbutils.fs.cp ("file:/<path>", "/Volumes/<catalog>/<schema>/<volume>/<path>")

%sh cp /<path> /Volumes/<catalog>/<schema>/<volume>/<path>

%fs cp file:/<path> /Volumes/<catalog>/<schema>/<volume>/<path>

Další zdroje informací

Informace o nahrávání místních souborů nebo stahování internetových souborů do Azure Databricks najdete v tématu Nahrání souborů do služby Azure Databricks.