Databricks Utilities (dbutils) referencia

Ez a cikk a Databricks Utilities (dbutils) hivatkozását tartalmazza. A segédprogramok olyan parancsokat biztosítanak, amelyek lehetővé teszik a Databricks-környezet jegyzetfüzetekből való használatát. Kezelheti például a fájlokat és az objektumtárolókat, és titkos kulcsokkal dolgozhat. dbutils Python-, R- és Scala-jegyzetfüzetekben érhetők el.

segédprogrammodulok

Az alábbi table a Databricks Utilities modulokat sorolja fel, amelyeket dbutils.help()használatával kérdezhet le.

Modul	Leírás
adat	Segédprogramok az adathalmazok megértéséhez és kezeléséhez (KÍSÉRLETI)
fs	Segédprogramok a Databricks fájlrendszer (DBFS) eléréséhez
munkák	Segédprogramok a feladatok funkcióinak kihasználásához
könyvtár	Elavult. Segédprogramok munkamenet-hatókörű kódtárak kezeléséhez
jegyzetfüzet	Segédprogramok a jegyzetfüzetek vezérlési folyamatának kezeléséhez (KÍSÉRLETI)
titkos kódok	Segédprogramok a titkos kódok jegyzetfüzeteken belüli kihasználásához
widgetek	Segédprogramok a jegyzetfüzetek paraméterezéséhez.
api	Segédprogramok az alkalmazás buildjeinek kezeléséhez

parancs súgója

Ha egy segédprogrammodul parancsait list az egyes parancsok rövid leírásával együtt, fűzze hozzá .help() a segédprogrammodul neve után. Az alábbi példa a jegyzetfüzet segédprogramhoz elérhető parancsokat sorolja fel:

dbutils.notebook.help()

The notebook module.

exit(value: String): void -> This method lets you exit a notebook with a value
run(path: String, timeoutSeconds: int, arguments: Map): String -> This method runs a notebook and returns its exit value

A parancsok súgójának megjelenítéséhez futtassa a dbutils.<utility-name>.help("<command-name>"). Az alábbi példa a fájlrendszer segédprogramok másolási parancsának súgóját jeleníti meg, dbutils.fs.cp:

dbutils.fs.help("cp")

/**
* Copies a file or directory, possibly across FileSystems.
*
* Example: cp("/mnt/my-folder/a", "dbfs:/a/b")
*
* @param from FileSystem URI of the source file or directory
* @param to FileSystem URI of the destination file or directory
* @param recurse if true, all files and directories will be recursively copied
* @return true if all files were successfully copied
*/
cp(from: java.lang.String, to: java.lang.String, recurse: boolean = false): boolean

Adat segédprogram (dbutils.data)

Az adat segédprogram lehetővé teszi az adathalmazok megértését és a velük való interakciót.

Az alábbi table a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket dbutils.data.help()használatával lekérhet.

Parancs	Leírás
összegzése	Spark DataFrame összegzése és a statisztikák vizualizációja a gyors betekintés érdekében get

summarize command (dbutils.data.summarize)

summarize(df: Object, precise: boolean): void

Kiszámítja és megjeleníti az Apache Spark DataFrame vagy a pandas DataFrame összesített statisztikáit. Ez a parancs Python, Scala és R esetén érhető el.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.data.help("summarize")

A Databricks Runtime 10.4 LTS és újabb verzióiban a további precise paraméter használatával módosíthatja a kiszámított statisztikák pontosságát.

• Amikor precise hamis (set az alapértelmezett), néhány visszaadott statisztika közelítéseket tartalmaz a futási idő csökkentése érdekében.
  • A values kategóriák között eltérő columns száma esetében a magas kardinalitású columns~5% relatív hibát eredményezhet.
  • A gyakori értékek számlálása akár 0,01% hibával is rendelkezhet, ha az eltérő values-ek száma meghaladja a 10 000-et.
  • A hisztogramok és a percentilisbecslések akár 0,01%-os hibát is okozhatnak a sorok teljes számához képest.
• Ha preciseset igazra van állítva, a statisztikákat nagyobb pontossággal számítják ki. A numerikus columns hisztogramjai és percentilisei kivételével minden statisztika pontos.
  • A hisztogramok és a percentilisbecslések legfeljebb 0,0001%-os hibát okozhatnak a sorok teljes számához képest.

Az adatösszesítő kimenet tetején található elemleírás az aktuális futtatás módját jelzi.

Példa

Ez a példa az Apache Spark DataFrame összesített statisztikáit jeleníti meg, alapértelmezés szerint engedélyezett közelítésekkel. Az eredmények megtekintéséhez futtassa ezt a parancsot egy jegyzetfüzetben. Ez a példa mintaadatkészleteken alapul.

Python

df = spark.read.format('csv').load(
  '/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv',
  header=True,
  inferSchema=True
)
dbutils.data.summarize(df)

R

df <- read.df("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv", source = "csv", header="true", inferSchema = "true")
dbutils.data.summarize(df)

Scala

val df = spark.read.format("csv")
  .option("inferSchema", "true")
  .option("header", "true")
  .load("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv")
dbutils.data.summarize(df)

A vizualizáció SI-jelölést használ a numerikus values 0,01-nél kisebb vagy 10000-nél nagyobb tömör megjelenítéséhez. A numerikus érték 1.25e-15 például a következőképpen jelenik meg 1.25f. Egy kivétel: a vizualizáció a "" helyett a "B"1.0e9 (giga) értéketG használja.

Fájlrendszer segédprogram (dbutils.fs)

A fájlrendszer segédprogramja lehetővé teszi a Mi a DBFS? elérését, így egyszerűbben használhatja az Azure Databrickset fájlrendszerként.

Az alábbi table a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket dbutils.fs.help()használatával lekérhet.

Parancs	Leírás
cp	Fájl vagy könyvtár másolása, esetleg fájlrendszerek között
fej	Visszaadja az adott fájl első "maxBytes" bájtját UTF-8-ban kódolt sztringként.
ls	Címtár tartalmának listázása
mkdirs	Létrehozza az adott könyvtárat, ha nem létezik, és létrehozza a szükséges szülőkönyvtárakat is
szerelés	A megadott forráskönyvtár csatlakoztatása a DBFS-be az adott csatlakoztatási ponton
csatlakoztatások	Információkat jelenít meg arról, hogy mi van csatlakoztatva a DBFS-ben
mv	Fájl vagy könyvtár áthelyezése, esetleg fájlrendszerek között.
helyezze	Az adott sztringet egy UTF-8 kóddal kódolt fájlba írja ki
refreshMounts	Kényszeríti a fürt összes gépét, hogy refresh a csatlakoztatási gyorsítótárat, biztosítva, hogy megkapják a legfrissebb információkat
rm	Fájl vagy könyvtár eltávolítása
leválaszt	DBFS-csatlakoztatási pont törlése
frissítésTárolás	Hasonló a csatlakoztatáshoz(), de egy meglévő csatlakoztatási pontot frissít ahelyett, hogy újat hoz létre

cp parancs (dbutils.fs.cp)

cp(from: String, to: String, recurse: boolean = false): boolean

Fájl vagy könyvtár másolása, esetleg fájlrendszerek között.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("cp")

Példa

Ez a példa a névvel ellátott data.csv/Volumes/main/default/my-volume/new-data.csv fájlt ugyanabba a kötetbe másolja.

Python

dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

# Out[4]: True

R

dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

# [1] TRUE

Scala

dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

// res3: Boolean = true

head command (dbutils.fs.head)

head(file: String, maxBytes: int = 65536): String

A megadott maximális bájtszámot adja vissza az adott fájlban. A bájtok UTF-8 kódolású sztringként lesznek visszaadva.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("head")

Példa

Ez a példa a fájl data.csv/Volumes/main/default/my-volume/első 25 bájtját jeleníti meg.

Python

dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

# [Truncated to first 25 bytes]
# Out[12]: 'Year,First Name,County,Se'

R

dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

# [1] "Year,First Name,County,Se"

Scala

dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

// [Truncated to first 25 bytes]
// res4: String =
// "Year,First Name,County,Se"

ls parancs (dbutils.fs.ls)

ls(dir: String): Seq

Egy könyvtár tartalmát sorolja fel.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("ls")

Példa

Ez a példa a tartalommal /Volumes/main/default/my-volume/kapcsolatos információkat jeleníti meg. A modificationTime mező a Databricks Runtime 10.4 LTS és újabb verziókban érhető el. Az R-ben modificationTime sztringként lesz visszaadva.

Python

dbutils.fs.ls("/Volumes/main/default/my-volume/")

# Out[13]: [FileInfo(path='dbfs:/Volumes/main/default/my-volume/data.csv', name='data.csv', size=2258987, modificationTime=1711357839000)]

R

dbutils.fs.ls("/Volumes/main/default/my-volume/")

# For prettier results from dbutils.fs.ls(<dir>), please use `%fs ls <dir>`

# [[1]]
# [[1]]$path
# [1] "/Volumes/main/default/my-volume/data.csv"

# [[1]]$name
# [1] "data.csv"

# [[1]]$size
# [1] 2258987

# [[1]]$isDir
# [1] FALSE

# [[1]]$isFile
# [1] TRUE

# [[1]]$modificationTime
# [1] "1711357839000"

Scala

dbutils.fs.ls("/tmp")

// res6: Seq[com.databricks.backend.daemon.dbutils.FileInfo] = WrappedArray(FileInfo(/Volumes/main/default/my-volume/data.csv, 2258987, 1711357839000))

mkdirs parancs (dbutils.fs.mkdirs)

mkdirs(dir: String): boolean

Létrehozza a megadott könyvtárat, ha nem létezik. Emellett létrehozza a szükséges szülőkönyvtárakat is.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("mkdirs")

Példa

Ez a példa létrehozza a könyvtárat my-data a következőn belül /Volumes/main/default/my-volume/: .

Python

dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

# Out[15]: True

R

dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

# [1] TRUE

Scala

dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

// res7: Boolean = true

csatlakoztatási parancs (dbutils.fs.mount)

mount(source: String, mountPoint: String, encryptionType: String = "", owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean

Csatlakoztatja a megadott forráskönyvtárat a DBFS-be a megadott csatlakoztatási ponton.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("mount")

Példa

Python

dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

Scala

dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))

További példakódokért lásd : Csatlakozás az Azure Data Lake Storage Gen2-hez és a Blob Storage-hoz.

mounts command (dbutils.fs.mounts)

mounts: Seq

Információkat jelenít meg arról, hogy mi van jelenleg csatlakoztatva a DBFS-ben.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("mounts")

Példa

Python

dbutils.fs.mounts()

Scala

dbutils.fs.mounts()

További példakódokért lásd : Csatlakozás az Azure Data Lake Storage Gen2-hez és a Blob Storage-hoz.

mv parancs (dbutils.fs.mv)

mv(from: String, to: String, recurse: boolean = false): boolean

Áthelyez egy fájlt vagy könyvtárat, esetleg fájlrendszerek között. Az áthelyezés egy másolat, amelyet törlés követ, még a fájlrendszereken belüli áthelyezésekhez is.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("mv")

Példa

Ez a példa áthelyezi a fájlt rows.csv/Volumes/main/default/my-volume/ a következőre /Volumes/main/default/my-volume/my-data/: .

Python

dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

# Out[2]: True

R

dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

# [1] TRUE

Scala

dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

// res1: Boolean = true

put parancs (dbutils.fs.put)

put(file: String, contents: String, overwrite: boolean = false): boolean

A megadott sztringet egy fájlba írja. A sztring UTF-8 kódolású.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("put")

Példa

Ez a példa a sztringet Hello, Databricks! a hello.txt következő fájlba /Volumes/main/default/my-volume/írja: . Ha a fájl létezik, a program felülírja.

Python

dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", True)

# Wrote 2258987 bytes.
# Out[6]: True

R

dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", TRUE)

# [1] TRUE

Scala

dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", true)

// Wrote 2258987 bytes.
// res2: Boolean = true

refreshMounts parancs (dbutils.fs.refreshMounts)

refreshMounts: boolean

Kényszeríti a fürt összes gépét, hogy refresh a csatlakoztatási gyorsítótárat, biztosítva, hogy megkapják a legfrissebb információkat.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("refreshMounts")

Példa

Python

dbutils.fs.refreshMounts()

Scala

dbutils.fs.refreshMounts()

Az additiional code-példákért lásd : Csatlakozás az Azure Data Lake Storage Gen2-hez és a Blob Storage-hoz.

rm parancs (dbutils.fs.rm)

rm(dir: String, recurse: boolean = false): boolean

Eltávolít egy fájlt vagy könyvtárat, és szükség esetén az összes tartalmát. Ha egy fájl meg van adva, a recurse paraméter figyelmen kívül lesz hagyva. Ha egy könyvtár meg van adva, hiba történik, ha recurse le van tiltva, és a címtár nem üres.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("rm")

Példa

Ez a példa eltávolítja a teljes könyvtárat /Volumes/main/default/my-volume/my-data/ , beleértve annak tartalmát is.

Python

dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", True)

# Out[8]: True

R

dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", TRUE)

# [1] TRUE

Scala

dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", true)

// res6: Boolean = true

unmount command (dbutils.fs.unmount)

unmount(mountPoint: String): boolean

DbFS-csatlakoztatási pont törlése.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("unmount")

Példa

dbutils.fs.unmount("/mnt/<mount-name>")

További példakódokért lásd : Csatlakozás az Azure Data Lake Storage Gen2-hez és a Blob Storage-hoz.

updateMount parancs (dbutils.fs.updateMount)

updateMount(source: String, mountPoint: String, encryptionType: String = "", owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean

Hasonló a dbutils.fs.mount parancshoz, de egy meglévő csatlakoztatási pontot frissít ahelyett, hogy újat hoz létre. Hibát ad vissza, ha a csatlakoztatási pont nincs jelen.

Ez a parancs a Databricks Runtime 10.4 LTS és újabb verziókban érhető el.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("updateMount")

Példa

Python

dbutils.fs.updateMount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

Scala

dbutils.fs.updateMount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))

Feladatok segédprogram (dbutils.jobs)

Segédprogramokat biztosít a feladatok funkcióinak használatához.

Az alábbi table a segédprogram elérhető moduljait sorolja fel, amelyeket dbutils.jobs.help()használatával lekérhet.

Submodule	Leírás
taskValues	Segédprogramokat biztosít a values feladat kihasználásához

taskValues subutility (dbutils.jobs.taskValues)

Parancsokat biztosít a feladatfeladatok valuesvaló kihasználásához.

Ezzel az al segédprogrammal tetszőleges setget és values egy feladat futtatása során. Ezeket valuesfeladatoknak valuesnevezik. Minden tevékenység getvaluesset a felsőbb rétegbeli tevékenységek és a setvalues az alsóbb rétegbeli tevékenységekhez.

Minden tevékenységérték egyedi kulccsal rendelkezik ugyanazon a tevékenységen belül. Ezt az egyedi kulcsot a tevékenység értékének kulcsának nevezzük. A tevékenységérték a tevékenység nevével és a tevékenység értékének kulcsával érhető el. Ezzel a módszerrel adatokat továbbíthat a tevékenységből a feladatba ugyanabban a feladatfuttatásban. Például azonosítókat vagy metrikákat, például egy gépi tanulási modell kiértékelési adatait adhat át a feladatfuttatás különböző tevékenységei között.

Az alábbi table felsorolja az altartalmához elérhető parancsokat, amelyeket dbutils.jobs.taskValues.help()használatával lehet lekérni.

Parancs	Leírás
get	Lekéri a megadott tevékenységérték tartalmát az aktuális feladatfuttatásban.
set	Tevékenységérték beállítása vagy frissítése. Legfeljebb 250 feladatot futtathat el egy feladathoz a setvalues futtatásával.

get parancs (dbutils.jobs.taskValues.get)

get(taskKey: String, key: String, default: int, debugValue: int): Seq

Lekéri a megadott tevékenységérték tartalmát az aktuális feladatfuttatásban.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.jobs.taskValues.help("get")

Példa

Példa:

dbutils.jobs.taskValues.get(taskKey    = "my-task", \
                            key        = "my-key", \
                            default    = 7, \
                            debugValue = 42)

Az előző példában:

• taskKey a tevékenység értékét beállító tevékenység neve. Ha a parancs nem találja ezt a feladatot, megjelenik egy ValueError .
• key annak a tevékenységértéknek a kulcsneve, amelyet a set parancs segítségével (setdbutils.jobs.taskValues.) set. Ha a parancs nem találja ennek a tevékenységértéknek a kulcsát, a rendszer felvesz egy ValueError értéket (hacsak nincs default megadva).
• default egy nem kötelező érték, amely akkor lesz visszaadva, ha key nem található. default nem lehet None.
• debugValue egy opcionális érték, amelyet akkor ad vissza a rendszer, ha egy feladatkörön kívül futó jegyzetfüzetből próbálja get a feladat értékét. Ez akkor lehet hasznos a hibakeresés során, ha manuálisan szeretné futtatni a jegyzetfüzetet, és az alapértelmezett érték növelése TypeError helyett valamilyen értéket ad vissza. debugValue nem lehet None.

Ha egy jegyzetfüzetben próbál meg feladatértéket get használni, amely munkahelyen kívül fut, ez a parancs alapértelmezés szerint TypeError-t hoz létre. Ha azonban az debugValue argumentum meg van adva a parancsban, a függvény az érték értékét debugValue adja vissza ahelyett, hogy egy értéket emelne ki TypeError.

set parancs (dbutils.jobs.taskValues.set)

set(key: String, value: String): boolean

Tevékenységérték beállítása vagy frissítése. Legfeljebb 250 feladatot futtathat el egy feladathoz a setvalues futtatásával.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.jobs.taskValues.help("set")

Példa

Néhány példa:

dbutils.jobs.taskValues.set(key   = "my-key", \
                            value = 5)

dbutils.jobs.taskValues.set(key   = "my-other-key", \
                            value = "my other value")

Az előző példákban:

• key a tevékenység értékének kulcsa. Ennek a kulcsnak egyedinek kell lennie a tevékenységhez. Vagyis ha két különböző feladat mindegyike set egy Kkulcsú feladatértéket, akkor ezek két különböző feladat values ugyanazzal a kulccsal K.
• value a tevékenységérték kulcsának értéke. Ennek a parancsnak képesnek kell lennie az érték belső JSON formátumban való megjelenítésére. Az érték JSON-ábrázolásának mérete nem haladhatja meg a 48 KiB-t.

Ha egy feladattól függetlenül működő jegyzetfüzetből próbál meg feladatértéket set-ra állítani, akkor ez a parancs nem hajt végre semmit.

Könyvtár segédprogram (dbutils.library)

Az almodul legtöbb metódusa dbutils.library elavult. Lásd: Library segédprogram (dbutils.library) (örökölt).

Előfordulhat, hogy programozott módon újra kell indítania a Python-folyamatot az Azure Databricksben, hogy a helyileg telepített vagy frissített kódtárak megfelelően működjenek a Python-kernelben az aktuális SparkSession esetében. Ehhez futtassa a dbutils.library.restartPython parancsot. Lásd: A Python-folyamat újraindítása az Azure Databricksben.

Notebook segédprogram (dbutils.notebook)

A jegyzetfüzet segédprogram lehetővé teszi a jegyzetfüzetek összefűzéséhez és az eredményekhez való cselekvéshez. Lásd jegyzetfüzetek vezénylése és a kód modularizálása a jegyzetfüzetekben.

Az alábbi table a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket dbutils.notebook.help()használatával lekérhet.

Parancs	Leírás
kilépés	Kilép egy értékkel rendelkező jegyzetfüzetből
futtatása	Jegyzetfüzet futtatása és kilépési értékének visszaadása

exit command (dbutils.notebook.exit)

exit(value: String): void

Kilép egy értékekkel rendelkező jegyzetfüzetből.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.notebook.help("exit")

Példa

Ez a példa kilép a jegyzetfüzetből az értékkel Exiting from My Other Notebook.

Python

dbutils.notebook.exit("Exiting from My Other Notebook")

# Notebook exited: Exiting from My Other Notebook

R

dbutils.notebook.exit("Exiting from My Other Notebook")

# Notebook exited: Exiting from My Other Notebook

Scala

dbutils.notebook.exit("Exiting from My Other Notebook")

// Notebook exited: Exiting from My Other Notebook

run command (dbutils.notebook.run)

run(path: String, timeoutSeconds: int, arguments: Map): String

Futtat egy jegyzetfüzetet, és visszaadja a kilépési értékét. A jegyzetfüzet alapértelmezés szerint az aktuális fürtben fog futni.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.notebook.help("run")

Példa

Ez a példa egy, a hívó jegyzetfüzetével azonos helyen lévő My Other Notebook jegyzetfüzetet futtat. A hívott jegyzetfüzet a kódsorra dbutils.notebook.exit("Exiting from My Other Notebook")végződik. Ha a hívott jegyzetfüzet nem fejeződik be 60 másodpercen belül, a rendszer kivételt jelez.

Python

dbutils.notebook.run("My Other Notebook", 60)

# Out[14]: 'Exiting from My Other Notebook'

Scala

dbutils.notebook.run("My Other Notebook", 60)

// res2: String = Exiting from My Other Notebook

Titkos kulcsok segédprogram (dbutils.secrets)

A titkos kulcsok segédprogram lehetővé teszi a bizalmas hitelesítő adatok tárolását és elérését anélkül, hogy a jegyzetfüzetekben láthatóvá tenné őket. Lásd: Titkos kódok kezelése és 3. lépés: A titkos kódok használata egy jegyzetfüzetben.

Az alábbi table a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket dbutils.secrets.help()használatával lekérhet.

Parancs	Leírás
get	Lekéri egy titkos érték karakterláncát a hatókörrel és a kulccsal
getBytes	Lekéri egy titkos érték bájtos ábrázolását megadott hatókörrel és kulccsal
list	Egy hatókör titkos metaadatainak listázása
listScopes	Titkos hatóköri listák

get parancs (dbutils.secrets.get)

get(scope: String, key: String): String

Lekéri a megadott titkos kulcs hatókörének és kulcsának titkos értékének sztringképét.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.secrets.help("get")

Példa

Ez a példa lekéri a névvel ellátott my-scope hatókör és a névvel ellátott kulcs titkos értékének sztring-ábrázolását my-key.

Python

dbutils.secrets.get(scope="my-scope", key="my-key")

# Out[14]: '[REDACTED]'

R

dbutils.secrets.get(scope="my-scope", key="my-key")

# [1] "[REDACTED]"

Scala

dbutils.secrets.get(scope="my-scope", key="my-key")

// res0: String = [REDACTED]

getBytes parancs (dbutils.secrets.getBytes)

getBytes(scope: String, key: String): byte[]

Lekéri a megadott hatókör és kulcs titkos értékének bájtos ábrázolását.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.secrets.help("getBytes")

Példa

Ez a példa lekéri a névvel ellátott a1!b2@c3# hatókör és a névvel ellátott my-scopekulcs titkos értékének bájtos ábrázolását (ebben a példábanmy-key).

Python

dbutils.secrets.getBytes(scope="my-scope", key="my-key")

# Out[1]: b'a1!b2@c3#'

R

dbutils.secrets.getBytes(scope="my-scope", key="my-key")

# [1] 61 31 21 62 32 40 63 33 23

Scala

dbutils.secrets.getBytes(scope="my-scope", key="my-key")

// res1: Array[Byte] = Array(97, 49, 33, 98, 50, 64, 99, 51, 35)

list parancs (dbutils.secrets.list)

list(scope: String): Seq

A megadott hatókörben lévő titkos kódok metaadatait sorolja fel.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.secrets.help("list")

Példa

Ez a példa a névvel ellátott my-scopehatókör titkos kulcsainak metaadatait sorolja fel.

Python

dbutils.secrets.list("my-scope")

# Out[10]: [SecretMetadata(key='my-key')]

R

dbutils.secrets.list("my-scope")

# [[1]]
# [[1]]$key
# [1] "my-key"

Scala

dbutils.secrets.list("my-scope")

// res2: Seq[com.databricks.dbutils_v1.SecretMetadata] = ArrayBuffer(SecretMetadata(my-key))

listScopes parancs (dbutils.secrets.listScopes)

listScopes: Seq

Az elérhető hatókörök listája.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.secrets.help("listScopes")

Példa

Ez a példa az elérhető hatóköröket sorolja fel.

Python

dbutils.secrets.listScopes()

# Out[14]: [SecretScope(name='my-scope')]

R

dbutils.secrets.listScopes()

# [[1]]
# [[1]]$name
# [1] "my-scope"

Scala

dbutils.secrets.listScopes()

// res3: Seq[com.databricks.dbutils_v1.SecretScope] = ArrayBuffer(SecretScope(my-scope))

Widgets segédprogram (dbutils.widgets)

A widgetek segédprogram lehetővé teszi a jegyzetfüzetek paraméterezését. Lásd a Databricks-vezérlőket.

Az alábbi table a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket dbutils.widgets.help()használatával lekérhet.

Parancs	Leírás
kombinált lista	Kombinált lista beviteli vezérlő létrehozása adott névvel, alapértelmezett értékkel és választási lehetőségekkel
legördülő	Létrehoz egy legördülő beviteli vezérlőt a megadott névvel, alapértelmezett értékkel és választási lehetőségekkel
get	Egy bemeneti widget aktuális értékének lekérése
getAll	Lekéri az összes widget nevét és azok térképét values
getArgument	Elavult. Egyenértékű get
többszörös kijelölés	Több kijelöléses beviteli vezérlő létrehozása adott névvel, alapértelmezett értékkel és választási lehetőségekkel
remove	Beviteli vezérlő eltávolítása a jegyzetfüzetből
távolítsa el mindet	Eltávolítja a jegyzetfüzet összes widgetét
szöveg	Szövegbeviteli vezérlő létrehozása adott névvel és alapértelmezett értékkel

combobox parancs (dbutils.widgets.combobox)

combobox(name: String, defaultValue: String, choices: Seq, label: String): void

Létrehoz és megjelenít egy kombinált lista widgetet a megadott programozott névvel, alapértelmezett értékkel, választási lehetőségekkel és opcionális címkével.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("combobox")

Példa

Ez a példa egy programozott nevű fruits_comboboxkombinált lista widgetet hoz létre és jelenít meg. A lehetőségek: apple, banana, coconutés dragon fruit, és set a bananakezdeti értékére. Ez a kombinált lista widget egy kísérő címkével Fruitsrendelkezik. Ez a példa a kombinált lista widget kezdeti értékének nyomtatásával fejeződik be. banana

Python

dbutils.widgets.combobox(
  name='fruits_combobox',
  defaultValue='banana',
  choices=['apple', 'banana', 'coconut', 'dragon fruit'],
  label='Fruits'
)

print(dbutils.widgets.get("fruits_combobox"))

# banana

R

dbutils.widgets.combobox(
  name='fruits_combobox',
  defaultValue='banana',
  choices=list('apple', 'banana', 'coconut', 'dragon fruit'),
  label='Fruits'
)

print(dbutils.widgets.get("fruits_combobox"))

# [1] "banana"

Scala

dbutils.widgets.combobox(
  "fruits_combobox",
  "banana",
  Array("apple", "banana", "coconut", "dragon fruit"),
  "Fruits"
)

print(dbutils.widgets.get("fruits_combobox"))

// banana

SQL

CREATE WIDGET COMBOBOX fruits_combobox DEFAULT "banana" CHOICES SELECT * FROM (VALUES ("apple"), ("banana"), ("coconut"), ("dragon fruit"))

SELECT :fruits_combobox

-- banana

dropdown parancs (dbutils.widgets.dropdown)

dropdown(name: String, defaultValue: String, choices: Seq, label: String): void

Létrehoz és megjelenít egy legördülő vezérlőt a megadott programozott névvel, alapértelmezett értékkel, választási lehetőségekkel és opcionális címkével.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("dropdown")

Példa

Ez a példa egy programozott nevű toys_dropdownlegördülő vezérlőt hoz létre és jelenít meg. A lehetőségek: alphabet blocks, basketball, capeés doll, és set a basketballkezdeti értékére. Ez a legördülő vezérlő egy kísérő címkével Toysrendelkezik. Ez a példa a legördülő vezérlő kezdeti értékének nyomtatásával fejeződik be. basketball

Python

dbutils.widgets.dropdown(
  name='toys_dropdown',
  defaultValue='basketball',
  choices=['alphabet blocks', 'basketball', 'cape', 'doll'],
  label='Toys'
)

print(dbutils.widgets.get("toys_dropdown"))

# basketball

R

dbutils.widgets.dropdown(
  name='toys_dropdown',
  defaultValue='basketball',
  choices=list('alphabet blocks', 'basketball', 'cape', 'doll'),
  label='Toys'
)

print(dbutils.widgets.get("toys_dropdown"))

# [1] "basketball"

Scala

dbutils.widgets.dropdown(
  "toys_dropdown",
  "basketball",
  Array("alphabet blocks", "basketball", "cape", "doll"),
  "Toys"
)

print(dbutils.widgets.get("toys_dropdown"))

// basketball

SQL

CREATE WIDGET DROPDOWN toys_dropdown DEFAULT "basketball" CHOICES SELECT * FROM (VALUES ("alphabet blocks"), ("basketball"), ("cape"), ("doll"))

SELECT :toys_dropdown

-- basketball

get parancs (dbutils.widgets.get)

get(name: String): String

Lekéri a widget aktuális értékét a megadott programozott névvel. Ez a programozott név a következő lehet:

• Egy egyéni widget neve a jegyzetfüzetben, például fruits_comboboxtoys_dropdown.
• A jegyzetfüzetnek egy jegyzetfüzetfeladat részeként átadott egyéni paraméter neve, például nameagevagy . További információkért tekintse meg a parameters lefedettségét a feladatok felhasználói felületén, a jegyzetfüzet-tevékenységeknél, vagy a notebook_params mezőt a Feladatok API-ban az Új feladatfuttatási művelet aktiválásánál (POST /jobs/run-now).

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("get")

Példa

Ez a példa a programozott nevű fruits_comboboxwidget értékét adja meg.

Python

dbutils.widgets.get('fruits_combobox')

# banana

R

dbutils.widgets.get('fruits_combobox')

# [1] "banana"

Scala

dbutils.widgets.get("fruits_combobox")

// res6: String = banana

SQL

SELECT :fruits_combobox

-- banana

Ez a példa a programozott nevet agetartalmazó jegyzetfüzet-tevékenységparaméter értékét adja meg. Ez a paraméter set volt 35, amikor a kapcsolódó jegyzetfüzet-feladat futott.

Python

dbutils.widgets.get('age')

# 35

R

dbutils.widgets.get('age')

# [1] "35"

Scala

dbutils.widgets.get("age")

// res6: String = 35

SQL

SELECT :age

-- 35

getAll parancs (dbutils.widgets.getAll)

getAll: map

Lekéri az összes aktuális widgetnév és a valuesleképezését. Ez különösen hasznos lehet a widget values gyors átadásához egy spark.sql() lekérdezéshez.

Ez a parancs a Databricks Runtime 13.3 LTS-ben és újabb verziókban érhető el. Csak Python és Scala esetén érhető el.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("getAll")

Példa

Ez a példa lekéri a widget térképét values, és paraméterargumentumként adja át egy Spark SQL-lekérdezésben.

Python

df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()

# Query output

Scala

val df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()

// res6: Query output

getArgument parancs (dbutils.widgets.getArgument)

getArgument(name: String, optional: String): String

Lekéri a widget aktuális értékét a megadott programozott névvel. Ha a widget nem létezik, opcionális üzenet küldhető vissza.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("getArgument")

Példa

Ez a példa a programozott nevű fruits_comboboxwidget értékét adja meg. Ha ez a widget nem létezik, a rendszer visszaadja az üzenetet Error: Cannot find fruits combobox .

Python

dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')

# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# Out[3]: 'banana'

R

dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')

# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# [1] "banana"

Scala

dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")

// command-1234567890123456:1: warning: method getArgument in trait WidgetsUtils is deprecated: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
// dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")
//                 ^
// res7: String = banana

multiselect parancs (dbutils.widgets.multiselect)

multiselect(name: String, defaultValue: String, choices: Seq, label: String): void

Létrehoz és megjelenít egy több kijelölési vezérlőt a megadott programozott névvel, alapértelmezett értékkel, választási lehetőségekkel és opcionális címkével.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("multiselect")

Példa

Ez a példa létrehoz és megjelenít egy programozott nevű days_multiselecttöbbkijeles vezérlőt. A Monday-tól Sunday-ig választási lehetőségeket kínál, és set a Tuesdaykezdeti értékéhez. Ez a multiselect widget egy kísérő címkével Days of the Weekrendelkezik. Ez a példa a multiselect widget Tuesdaykezdeti értékének nyomtatásával fejeződik be.

Python

dbutils.widgets.multiselect(
  name='days_multiselect',
  defaultValue='Tuesday',
  choices=['Monday', 'Tuesday', 'Wednesday', 'Thursday',
    'Friday', 'Saturday', 'Sunday'],
  label='Days of the Week'
)

print(dbutils.widgets.get("days_multiselect"))

# Tuesday

R

dbutils.widgets.multiselect(
  name='days_multiselect',
  defaultValue='Tuesday',
  choices=list('Monday', 'Tuesday', 'Wednesday', 'Thursday',
    'Friday', 'Saturday', 'Sunday'),
  label='Days of the Week'
)

print(dbutils.widgets.get("days_multiselect"))

# [1] "Tuesday"

Scala

dbutils.widgets.multiselect(
  "days_multiselect",
  "Tuesday",
  Array("Monday", "Tuesday", "Wednesday", "Thursday",
    "Friday", "Saturday", "Sunday"),
  "Days of the Week"
)

print(dbutils.widgets.get("days_multiselect"))

// Tuesday

SQL

CREATE WIDGET MULTISELECT days_multiselect DEFAULT "Tuesday" CHOICES SELECT * FROM (VALUES ("Monday"), ("Tuesday"), ("Wednesday"), ("Thursday"), ("Friday"), ("Saturday"), ("Sunday"))

SELECT :days_multiselect

-- Tuesday

remove parancs (dbutils.widgets.remove)

remove(name: String): void

Eltávolítja a widgetet a megadott programozott névvel.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("remove")

Példa

Ez a példa eltávolítja a programozott nevű widgetet fruits_combobox.

Python

dbutils.widgets.remove('fruits_combobox')

R

dbutils.widgets.remove('fruits_combobox')

Scala

dbutils.widgets.remove("fruits_combobox")

SQL

REMOVE WIDGET fruits_combobox

removeAll parancs (dbutils.widgets.removeAll)

removeAll: void

Eltávolítja az összes widgetet a jegyzetfüzetből.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("removeAll")

Példa

Ez a példa eltávolítja az összes widgetet a jegyzetfüzetből.

Python

dbutils.widgets.removeAll()

R

dbutils.widgets.removeAll()

Scala

dbutils.widgets.removeAll()

szöveg parancs (dbutils.widgets.text)

text(name: String, defaultValue: String, label: String): void

Létrehoz és megjelenít egy szöveg widgetet a megadott programozott névvel, alapértelmezett értékkel és opcionális címkével.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("text")

Példa

Ez a példa egy programozott nevű your_name_textszöveg widgetet hoz létre és jelenít meg. set a Enter your namekezdeti értékéhez viszonyítva. Ez a szöveg widget egy kísérő címkével Your namerendelkezik. Ez a példa a szöveg widget kezdeti értékének nyomtatásával fejeződik be. Enter your name

Python

dbutils.widgets.text(
  name='your_name_text',
  defaultValue='Enter your name',
  label='Your name'
)

print(dbutils.widgets.get("your_name_text"))

# Enter your name

R

dbutils.widgets.text(
  name='your_name_text',
  defaultValue='Enter your name',
  label='Your name'
)

print(dbutils.widgets.get("your_name_text"))

# [1] "Enter your name"

Scala

dbutils.widgets.text(
  "your_name_text",
  "Enter your name",
  "Your name"
)

print(dbutils.widgets.get("your_name_text"))

// Enter your name

SQL

CREATE WIDGET TEXT your_name_text DEFAULT "Enter your name"

SELECT :your_name_text

-- Enter your name

Databricks Utilities API-kódtár

Az alkalmazásfejlesztés felgyorsítása érdekében hasznos lehet az alkalmazások fordítása, összeállítása és tesztelése, mielőtt éles feladatként üzembe helyezené őket. Annak érdekében, hogy a Databricks segédprogramok segítségével fordíthasson, a Databricks biztosítja a tárat dbutils-api . A kódtárat letöltheti a dbutils-apiDBUtils API webhelyéről a Maven-adattár webhelyén, vagy hozzáadhatja a tárat egy függőség hozzáadásával a buildfájlhoz:

• SBT

  libraryDependencies += "com.databricks" % "dbutils-api_TARGET" % "VERSION"
  

• Maven

  <dependency>
      <groupId>com.databricks</groupId>
      <artifactId>dbutils-api_TARGET</artifactId>
      <version>VERSION</version>
  </dependency>
  

• Gradle

  compile 'com.databricks:dbutils-api_TARGET:VERSION'
  

Cserélje le TARGET a kívánt célra (például 2.12) és VERSION a kívánt verzióra (például 0.0.5). Az elérhető célok és verziók list lásd a DBUtils API weblapját a Maven-adattár webhelyén.

Miután ezt a tárat építette az alkalmazáshoz, üzembe helyezheti az alkalmazást.

Korlátozások

A végrehajtókon belüli dbutils hívása váratlan eredményeket vagy hibákat eredményezhet.

Ha fájlrendszer-műveleteket kell futtatnia a végrehajtókon a dbutilshasználatával, tekintse meg a párhuzamos fájl listázási és törlési módszereket a Spark használatával a Hogyan lehet fájlokat list és törölni gyorsabban a Databricks-ban című témakörben.

A végrehajtókkal kapcsolatos információkért tekintse meg a fürtmód áttekintését az Apache Spark webhelyén.