Mik azok a munkaterületfájlok?
A munkaterületfájl az Azure Databricks-munkaterület fájlfája olyan fájl, amely nem tartozik a következő típusok közé:
- Lekérdezések
- Irányítópultok
- Genie szóközök
- Kísérletek
A kizárt típusokon kívül a munkaterületfájlok bármilyen fájltípust tartalmazhatnak. Néhány általános példa:
-
.ipynb
jegyzetfüzetek -
.py
,.sql
,.r
és.scala
bővítményeket használó forrásjegyzetfüzetek -
.py
egyéni modulokban használt fájlok -
.md
fájlok, példáulREADME.md
-
.csv
vagy más kis adatfájl -
.txt
fájlok -
.whl
könyvtárak - Naplófájlok
A fájlok használatával kapcsolatos javaslatokért tekintse meg Kötetekben és munkaterületfájlokban lévő fájlokra vonatkozó javaslatok.
Az Azure Databricks-munkaterület fájlfája tartalmazhatja a "Databricks Git-mappák" nevű Git-adattárhoz csatolt mappákat. A fájltípus-támogatás további korlátozásokkal rendelkezik. A Git-mappákban (korábbi nevén "Adattárak") támogatott fájltípusok listáját Git-mappákban támogatott eszköztípusokcímű témakörben találja.
Fontos
A Munkaterület-fájlok alapértelmezés szerint mindenhol engedélyezve vannak a Databricks Runtime 11.2-es verziójában. Éles számítási feladatokhoz használja a Databricks Runtime 11.3 LTS vagy újabb verzióját. Ha nem fér hozzá ehhez a funkcióhoz, forduljon a munkaterület rendszergazdájához.
Mit tehet a munkaterület fájljaival?
Az Azure Databricks a helyi fejlesztéshez hasonló funkciókat biztosít számos munkaterületi fájltípushoz, beleértve a beépített fájlszerkesztőt is. Az összes fájltípushoz nem minden használati eset támogatott.
A munkaterület-fájlokhoz való hozzáférést a jegyzetfüzet-interakciók ismerős mintáival hozhatja létre, szerkesztheti és kezelheti. A munkaterületfájlokból származó tárimportálások relatív elérési útjai a helyi fejlesztéshez hasonlóan használhatók. További információ:
- A munkaterület fájljainak alapszintű használata
- Programozott módon kezelheti a munkaterület fájljait
- Python- és R-modulok használata
- Képek megjelenítése
- Jegyzetfüzetek kezelése
- Fájl ACL-ek
A munkaterületfájlokban tárolt Init-szkriptek speciális viselkedést igényelnek. A munkaterület fájljaival bármilyen Databricks Runtime-verzióban tárolhat és hivatkozhat init-szkriptekre. Lásd: Store init scripts in workspace files.
Feljegyzés
A Databricks Runtime 14.0-s vagy újabb verziójában a helyileg végrehajtott kód alapértelmezett aktuális munkakönyvtára (CWD) a futtatandó jegyzetfüzetet vagy szkriptet tartalmazó könyvtár. Ez a Databricks Runtime 13.3 LTS és az alábbi viselkedésbeli változás. Lásd : Mi az alapértelmezett aktuális munkakönyvtár?.
Korlátozások
- Ha a munkafolyamat egy távoli Git-adattárban található forráskódot használ, nem írhat az aktuális könyvtárba, és nem írhat relatív elérési úttal. Adatok írása más helyekre.
- Nem használhat
git
parancsokat a munkaterület fájljaiba való mentéskor. A címtárak létrehozása.git
nem engedélyezett a munkaterület fájljaiban. - A kiszolgáló nélküli számítás nem támogatja a munkaterületi fájlokból a Spark-végrehajtókkal (például
spark.read.format("csv").load("file:/Workspace/Users/<user-folder>/data.csv")
) végzett olvasást. - A végrehajtók nem tudnak munkaterületfájlokba írni.
- A symlinkek csak a
/Workspace
gyökérmappában lévő célkönyvtárak esetében támogatottak, példáulos.symlink("/Workspace/Users/someone@example.com/Testing", "Testing")
. - A munkaterület-fájlok nem érhetők el a felhasználó által definiált függvényekből (UDF-ekből) a Databricks Runtime 14.2-ben és az alábbi, megosztott hozzáférési móddal rendelkező fürtökön.
- A jegyzetfüzetek csak munkaterületi fájlokként támogatottak a Databricks Runtime 16.2 és újabb verziókban, valamint a szerver nélküli 2 és újabb környezetben.
Fájlméretkorlát
- A munkaterület fájlmérete legfeljebb 500 MB lehet. A korlátnál nagyobb fájlokat letölteni vagy létrehozni próbáló műveletek sikertelenek lesznek.
Fájlhozzáférés engedélykorlátja
A mappákban /Workspace
lévő fájlok elérésére vonatkozó engedély 36 óra után jár le az interaktív számításhoz és 30 nap után a feladatokhoz. A Databricks azt javasolja, hogy hosszú végrehajtásokat futtasson feladatként, ha /Munkaterület fájlhozzáférésre van szükségük.
Munkaterületfájlok engedélyezése
A Databricks-munkaterületen lévő nem jegyzetfüzetfájlok támogatásának engedélyezéséhez hívja meg a /api/2.0/workspace-conf REST API-t egy jegyzetfüzetből vagy más környezetből, amely hozzáfér a Databricks-munkaterülethez. A munkaterület fájljai alapértelmezés szerint engedélyezve vannak.
A Databricks-munkaterületen lévő nem jegyzetfüzetfájlok támogatásának engedélyezéséhez vagy újbóli engedélyezéséhez hívja meg a /api/2.0/workspace-conf
, és kérje le a enableWorkspaceFileSystem
kulcs értékét. Ha true
értékre van állítva, a nem jegyzetfüzet-fájlok már engedélyezve vannak a munkaterületen.
Az alábbi példa bemutatja, hogyan hívhatja meg ezt az API-t egy jegyzetfüzetből annak ellenőrzéséhez, hogy a munkaterület fájljai le vannak-e tiltva, és ha igen, hogyan engedélyezheti újra azokat.