Databricks Yardımcı Programları (dbutils) referansı

Bu makale Databricks Yardımcı Programları (dbutils) için referans içerir. Yardımcı programlar, not defterlerinden Databricks ortamınızla çalışmanızı sağlayan komutlar sağlar. Örneğin, dosyaları ve nesne depolamayı yönetebilir ve gizli verilerle çalışabilirsiniz. dbutils Python, R ve Scala not defterlerinde kullanılabilir.

Yardımcı Programı modülleri

Aşağıdaki tabloda, dbutils.help()kullanarak alabildiğiniz Databricks Yardımcı Programları modülleri listelenir.

Modül	Açıklama
veri	Veri kümelerini anlama ve veri kümeleriyle etkileşim kurma yardımcı programları (DENEYSEL)
fs	Databricks dosya sistemine (DBFS) erişmek için yardımcı programlar
işler	İş özelliklerinden yararlanmaya yönelik yardımcı programlar
kütüphane	Kullanım Dışı. Oturum kapsamlı kitaplıkları yönetmeye yönelik yardımcı programlar
defter	Not defterlerinin denetim akışını yönetmeye yönelik yardımcı programlar (DENEYSEL)
gizli sırlar	Not defterleri içinde gizli bilgilerden yararlanma için yardımcı programlar
widget	Not defterlerini parametreleştirmeye yönelik yardımcı programlar.
api	Uygulama derlemelerini yönetmeye yönelik yardımcı programlar

Komut yardımı

Bir yardımcı program modülünün komutlarını ve her komutun kısa açıklamasını listelemek için yardımcı program modülünün adının arkasına .help() ekleyin. Aşağıdaki örnek, not defteri yardımcı programı için kullanılabilir komutları listeler:

dbutils.notebook.help()

The notebook module.

exit(value: String): void -> This method lets you exit a notebook with a value
run(path: String, timeoutSeconds: int, arguments: Map): String -> This method runs a notebook and returns its exit value

Komutla ilgili yardım çıktısı almak için dbutils.<utility-name>.help("<command-name>")çalıştırın. Aşağıdaki örnek, dbutils.fs.cpdosya sistemi yardımcı programları kopyalama komutu için yardım görüntüler:

dbutils.fs.help("cp")

/**
* Copies a file or directory, possibly across FileSystems.
*
* Example: cp("/mnt/my-folder/a", "dbfs:/a/b")
*
* @param from FileSystem URI of the source file or directory
* @param to FileSystem URI of the destination file or directory
* @param recurse if true, all files and directories will be recursively copied
* @return true if all files were successfully copied
*/
cp(from: java.lang.String, to: java.lang.String, recurse: boolean = false): boolean

Veri yardımcı programı (dbutils.data)

Veri yardımcı programı, veri kümelerini anlamanıza ve veri kümeleriyle etkileşim kurmanıza olanak tanır.

Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.data.help()kullanılarak elde edilebilir.

Komut	Açıklama
özetleme	Hızlı içgörüler elde etmek için Spark DataFrame'i özetleyin ve istatistikleri görselleştirin

özetle komutu (dbutils.data.summarize)

summarize(df: Object, precise: boolean): void

Apache Spark DataFrame veya pandas DataFrame'in özet istatistiklerini hesaplar ve görüntüler. Bu komut Python, Scala ve R için kullanılabilir.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.data.help("summarize")

Databricks Runtime 10.4 LTS ve üzerinde hesaplanan istatistiklerin duyarlığı ayarlamak için ek precise parametreyi kullanabilirsiniz.

• precise False (varsayılan) olarak ayarlandığında, döndürülen bazı istatistikler çalışma süresini kısaltmak için yaklaşık değerleri içerir.
  • Kategorik sütunlar için ayrı değerlerin sayısı, yüksek kardinaliteli sütunlar için yaklaşık %5 göreli hataya sahip olabilir.
  • Sık kullanılan değer sayılarında, ayrı değerlerin sayısı 10000'den büyük olduğunda %0,01'e varan bir hata olabilir.
  • Histogramlar ve yüzdebirlik tahminler, toplam satır sayısına göre %0,01'e varan bir hataya sahip olabilir.
• precise true olarak ayarlandığında istatistikler daha yüksek hassasiyetle hesaplanır. Sayısal sütunların histogramları ve yüzdebirlik değerleri dışındaki tüm istatistikler artık tam olarak belirlendi.
  • Histogramlar ve yüzdebirlik tahminlerde toplam satır sayısına göre %0,0001'e kadar hata olabilir.

Veri özeti çıktısının üstündeki yardım balonu, mevcut çalıştırmanın modunu gösterir.

Örnek

Bu örnek, varsayılan olarak yaklaşık değerlerin etkinleştirildiği bir Apache Spark DataFrame'in özet istatistiklerini görüntüler. Sonuçları görmek için bu komutu bir not defterinde çalıştırın. Bu örnek Örnek veri kümelerini temel alır.

Python

df = spark.read.format('csv').load(
  '/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv',
  header=True,
  inferSchema=True
)
dbutils.data.summarize(df)

R

df <- read.df("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv", source = "csv", header="true", inferSchema = "true")
dbutils.data.summarize(df)

Scala

val df = spark.read.format("csv")
  .option("inferSchema", "true")
  .option("header", "true")
  .load("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv")
dbutils.data.summarize(df)

Görselleştirme, 0,01'den küçük veya 10000'den büyük sayısal değerleri kısa bir şekilde işlemek için SI gösterimi kullanır. Örneğin, sayısal değer 1.25e-15 olarak 1.25f işlenir. Bir istisna: Görselleştirme, "B" yerine "1.0e9" (giga) için “G” kullanır.

Dosya sistemi yardımcı programı (dbutils.fs)

Dosya sistemi yardımcı programı DBFS nedir? bölümüne erişmenize olanak sağlayarak Azure Databricks'i dosya sistemi olarak kullanmayı kolaylaştırır.

Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.fs.help()kullanılarak elde edilebilir.

Komut	Açıklama
cp	Muhtemelen FileSystems arasında bir dosyayı veya dizini kopyalar.
baş	Verilen dosyanın ilk 'maxBytes' baytlarına kadar UTF-8 ile kodlanmış bir Dize olarak döndürür
ls	Dizinin içeriğini listeler
mkdirs	Mevcut değilse verilen dizini oluşturur ve ayrıca gerekli üst dizinleri oluşturur
bağlama	Verilen kaynak dizini verilen bağlama noktasında DBFS'ye bağlar
monte eder	DBFS'ye nelerin bağlı olduğu hakkındaki bilgileri görüntüler
mv	Dosya veya dizini büyük olasılıkla FileSystems arasında taşır
koymak	Verilen Dizeyi UTF-8 ile kodlanmış bir dosyaya yazar
BağlantılarıYenile	Bu kümedeki tüm makineleri bağlama önbelleğini yenilemeye zorlayarak en son bilgileri almalarını sağlar
rm	Bir dosyayı veya dizini kaldırır
çıkarmak	DBFS bağlama noktasını siler
updateMount	Bağlamaya() benzer, ancak yeni bir bağlama noktası oluşturmak yerine mevcut bir bağlama noktasını güncelleştirir

cp komutu (dbutils.fs.cp)

cp(from: String, to: String, recurse: boolean = false): boolean

Bir dosya veya dizini, mümkünse dosya sistemleri arasında, kopyalar.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("cp")

Örnek

Aynı birimde /Volumes/main/default/my-volume/'den new-data.csv'ye data.csv adlı dosyayı kopyalar.

Python

dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

# Out[4]: True

R

dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

# [1] TRUE

Scala

dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

// res3: Boolean = true

head komutu (dbutils.fs.head)

head(file: String, maxBytes: int = 65536): String

Belirtilen dosyada belirtilen en fazla bayt sayısını döndürür. Baytlar UTF-8 ile kodlanmış bir dize olarak döndürülür.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("head")

Örnek

Bu örnek, içinde data.csvbulunan dosyanın /Volumes/main/default/my-volume/ ilk 25 baytını görüntüler.

Python

dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

# [Truncated to first 25 bytes]
# Out[12]: 'Year,First Name,County,Se'

R

dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

# [1] "Year,First Name,County,Se"

Scala

dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

// [Truncated to first 25 bytes]
// res4: String =
// "Year,First Name,County,Se"

ls komutu (dbutils.fs.ls)

ls(dir: String): Seq

Bir dizinin içeriğini listeler.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("ls")

Örnek

Bu örnek, /Volumes/main/default/my-volume/ içeriğinin bilgilerini görüntüler. Bu modificationTime alan Databricks Runtime 10.4 LTS ve üzerinde kullanılabilir. R'de dize modificationTime olarak döndürülür.

Python

dbutils.fs.ls("/Volumes/main/default/my-volume/")

# Out[13]: [FileInfo(path='dbfs:/Volumes/main/default/my-volume/data.csv', name='data.csv', size=2258987, modificationTime=1711357839000)]

R

dbutils.fs.ls("/Volumes/main/default/my-volume/")

# For prettier results from dbutils.fs.ls(<dir>), please use `%fs ls <dir>`

# [[1]]
# [[1]]$path
# [1] "/Volumes/main/default/my-volume/data.csv"

# [[1]]$name
# [1] "data.csv"

# [[1]]$size
# [1] 2258987

# [[1]]$isDir
# [1] FALSE

# [[1]]$isFile
# [1] TRUE

# [[1]]$modificationTime
# [1] "1711357839000"

Scala

dbutils.fs.ls("/tmp")

// res6: Seq[com.databricks.backend.daemon.dbutils.FileInfo] = WrappedArray(FileInfo(/Volumes/main/default/my-volume/data.csv, 2258987, 1711357839000))

mkdirs komutu (dbutils.fs.mkdirs)

mkdirs(dir: String): boolean

Mevcut değilse verilen dizini oluşturur. Ayrıca gerekli üst dizinleri de oluşturur.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("mkdirs")

Örnek

Bu örnek, my-data dizinini /Volumes/main/default/my-volume/ içinde oluşturur.

Python

dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

# Out[15]: True

R

dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

# [1] TRUE

Scala

dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

// res7: Boolean = true

mount komutu (dbutils.fs.mount)

mount(source: String, mountPoint: String, encryptionType: String = "", owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean

Belirtilen kaynak dizini belirtilen bağlama noktasında DBFS'ye bağlar.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("mount")

Örnek

Python

dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

Scala

dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))

Daha fazla kod örneği için Azure Data Lake Storage 2. Nesil ve Blob Depolama'ya bağlanma bölümüne bakın.

mounts komutu (dbutils.fs.mounts)

mounts: Seq

DBFS'de şu anda nelerin bağlı olduğu hakkındaki bilgileri görüntüler.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("mounts")

Örnek

Python

dbutils.fs.mounts()

Scala

dbutils.fs.mounts()

Ek kod örnekleri için Azure Data Lake Storage Gen2 ve Blob Depolama'ya bağlanma bölümüne bakın.

mv komutu (dbutils.fs.mv)

mv(from: String, to: String, recurse: boolean = false): boolean

Bir dosyayı veya dizini büyük olasılıkla dosya sistemleri arasında taşır. Taşıma, dosya sistemleri içindeki taşımalar için bile bir kopya ve ardından silme işlemidir.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("mv")

Örnek

Bu örnek, dosyayı rows.csv konumundan /Volumes/main/default/my-volume/my-data/ konumuna taşır.

Python

dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

# Out[2]: True

R

dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

# [1] TRUE

Scala

dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

// res1: Boolean = true

put komutu (dbutils.fs.put)

put(file: String, contents: String, overwrite: boolean = false): boolean

Belirtilen dizeyi bir dosyaya yazar. Dize UTF-8 kodludur.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("put")

Örnek

Bu örnek Hello, Databricks! dizisini /Volumes/main/default/my-volume/ konumunda hello.txt adlı bir dosyaya yazar. Eğer dosya mevcutsa, üzerine yazılacaktır.

Python

dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", True)

# Wrote 2258987 bytes.
# Out[6]: True

R

dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", TRUE)

# [1] TRUE

Scala

dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", true)

// Wrote 2258987 bytes.
// res2: Boolean = true

refreshMounts komut (dbutils.fs.refreshMounts)

refreshMounts: boolean

Kümedeki tüm makineleri bağlama önbelleğini yenilemeye zorlayarak en son bilgileri almalarını sağlar.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("refreshMounts")

Örnek

Python

dbutils.fs.refreshMounts()

Scala

dbutils.fs.refreshMounts()

Ek kod örnekleri için bkz Azure Data Lake Storage Gen2 ve Blob Depolama'ya bağlanma.

rm komutu (dbutils.fs.rm)

rm(dir: String, recurse: boolean = false): boolean

Bir dosyayı veya dizini ve isteğe bağlı olarak tüm içeriğini kaldırır. Bir dosya belirtilirse, recurse parametresi yoksayılır. Bir dizin belirtilmişse, recurse devre dışı bırakıldığında ve dizin boş değilse bir hata oluşur.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("rm")

Örnek

Bu örnek, içindekiler de dahil olmak üzere tüm dizini /Volumes/main/default/my-volume/my-data/ kaldırır.

Python

dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", True)

# Out[8]: True

R

dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", TRUE)

# [1] TRUE

Scala

dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", true)

// res6: Boolean = true

unmount komutu (dbutils.fs.unmount)

unmount(mountPoint: String): boolean

DBFS bağlama noktasını siler.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("unmount")

Örnek

dbutils.fs.unmount("/mnt/<mount-name>")

Ek kod örnekleri için, bkz Azure Data Lake Storage 2. Nesil ve Blob Depolama'ya bağlanma.

updateMount komutu (dbutils.fs.updateMount)

updateMount(source: String, mountPoint: String, encryptionType: String = "", owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean

Komutuna dbutils.fs.mount benzer, ancak yeni bir bağlama noktası oluşturmak yerine mevcut bir bağlama noktasını güncelleştirir. Bağlama noktası yoksa bir hata döndürür.

Bu komut Databricks Runtime 10.4 LTS ve üzerinde kullanılabilir.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.fs.help("updateMount")

Örnek

Python

dbutils.fs.updateMount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

Scala

dbutils.fs.updateMount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))

İşler yardımcı programı (dbutils.jobs)

İş özelliklerinden yararlanmaya yönelik yardımcı programlar sağlar.

Aşağıdaki tabloda, dbutils.jobs.help()kullanarak alabildiğiniz bu yardımcı program için kullanılabilir modüller listelenir.

Submodule	Açıklama
taskValues	İş görev değerlerinden yararlanmaya yönelik yardımcı programlar sağlar

taskValues alt yardımcı programı (dbutils.jobs.taskValues)

İş görev değerlerinden yararlanmaya yönelik komutlar sağlar.

bir iş çalıştırması sırasında rastgele değerler ayarlamak ve almak için bu alt yardımcı programı kullanın. Bu değerler görev değerleri olarak adlandırılır. Herhangi bir görev, yukarı akış görevleri tarafından ayarlanan değerleri alabilir ve kullanılacak aşağı akış görevlerinin değerlerini ayarlayabilir.

Her görev değerinin aynı görev içinde benzersiz bir anahtarı vardır. Bu benzersiz anahtar, görev değerinin anahtarı olarak bilinir. Görev değeri, görev adı ve değerinin anahtarı ile erişilir. Aynı iş çalıştırması içindeki görevler arasında bilgiyi aktarmak için bunu kullanabilirsiniz. Örneğin, bir iş çalıştırması içindeki farklı görevler arasında makine öğrenmesi modelinin değerlendirmesiyle ilgili bilgiler gibi tanımlayıcıları veya ölçümleri geçirebilirsiniz.

Aşağıdaki tabloda, dbutils.jobs.taskValues.help()kullanarak alabildiğiniz bu alt yardımcı program için kullanılabilir komutlar listelenir.

Komut	Açıklama
al	Geçerli iş çalıştırmasında belirtilen bir görev için belirlenen görev değerinin içeriğini getirir.
ayarla	Görev değerini ayarlar veya güncelleştirir. Bir iş yürütümü için en fazla 250 görev değeri ayarlayabilirsiniz.

get komutu (dbutils.jobs.taskValues.get)

get(taskKey: String, key: String, default: int, debugValue: int): Seq

Geçerli iş çalıştırmasında belirtilen görevdeki belirli görev değerinin içeriğini alır.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.jobs.taskValues.help("get")

Örnek

Örneğin:

dbutils.jobs.taskValues.get(taskKey    = "my-task", \
                            key        = "my-key", \
                            default    = 7, \
                            debugValue = 42)

Yukarıdaki örnekte:

• taskKey , görev değerini ayarlayan görevin adıdır. Komut bu görevi bulamazsa, bir ValueError oluşturulur.
• key , set komutuyla ayarladığınız görev değerinin anahtarının adıdır (dbutils.jobs.taskValues.set). Komut bu görev değerinin anahtarını bulamazsa, bir ValueError oluşturulur (belirtilmediği sürece default ).
• default , bulunamazsa key döndürülen isteğe bağlı bir değerdir. default olamaz None.
• debugValue , bir işin dışında çalışan bir not defterinin içinden görev değerini almaya çalışırsanız döndürülen isteğe bağlı bir değerdir. Bu, not defterinizi elle çalıştırarak ve varsayılan olarak TypeError yükseltmek yerine bir değer döndürerek hata ayıklama sırasında yararlı olabilir. debugValue olması mümkün değil None.

bir işin dışında çalışan bir not defterinin içinden bir görev değeri almaya çalışırsanız, bu komut varsayılan olarak bir TypeError oluşturur. Ancak, debugValue bağımsız değişken komutta belirtilirse, TypeError oluşturmak yerine debugValue değeri döndürülür.

set komutu (dbutils.jobs.taskValues.set)

set(key: String, value: String): boolean

Görev değerini ayarlar veya güncelleştirir. Bir iş yürütmesi için en fazla 250 görev değeri ayarlayabilirsiniz.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.jobs.taskValues.help("set")

Örnek

Bazı Örnekler:

dbutils.jobs.taskValues.set(key   = "my-key", \
                            value = 5)

dbutils.jobs.taskValues.set(key   = "my-other-key", \
                            value = "my other value")

Yukarıdaki örneklerde:

• key görev değerinin anahtarıdır. Bu anahtar göreve özgü olmalıdır. Diğer bir ifadeyle, her biri anahtarıyla Kbir görev değeri ayarlayan iki farklı görev değeri varsa, bunlar aynı anahtara Ksahip iki farklı görev değeridir.
• value , bu görev değerinin anahtarının değeridir. Bu komutun değeri dahili olarak JSON biçiminde temsil edebilmesi gerekir. Değerin JSON gösteriminin boyutu 48 KiB'ı aşamaz.

bir işin dışında çalışan bir not defterinin içinden bir görev değeri ayarlamaya çalışırsanız, bu komut hiçbir şey yapmaz.

Kitaplık yardımcı programı (dbutils.library)

Alt modüldeki yöntemlerin dbutils.library çoğu kullanım dışıdır. Bkz. Kütüphane yardımcı programı (dbutils.library) (eski).

Yerel olarak yüklenen veya yükseltilen kitaplıkların geçerli SparkSession'ınız için Python çekirdeğinde düzgün çalıştığından emin olmak için Azure Databricks'te Python işlemini program aracılığıyla yeniden başlatmanız gerekebilir. Bunu yapmak için dbutils.library.restartPython komutunu çalıştırın. Bkz. Azure Databricks'te Python işlemini yeniden başlatma.

Not defteri yardımcı programı (dbutils.notebook)

Not defteri yardımcı programı, not defterlerini birbirine bağlamanıza ve sonuçlarına göre işlem yapmanızı sağlar. Bkz. Not defterlerini düzenleme venot defterlerinde kodu modüler hale getirme.

Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.notebook.help()kullanılarak elde edilebilir.

Komut	Açıklama
çıkış	Not defterinden bir değerle çıkar
çalıştır	Not defterini çalıştırır ve çıkış değerini döndürür

exit komutu (dbutils.notebook.exit)

exit(value: String): void

Bir defterden bir değerle çıkış yapar.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.notebook.help("exit")

Örnek

Bu örnek, Exiting from My Other Notebook değeriyle not defterinden çıkar.

Python

dbutils.notebook.exit("Exiting from My Other Notebook")

# Notebook exited: Exiting from My Other Notebook

R

dbutils.notebook.exit("Exiting from My Other Notebook")

# Notebook exited: Exiting from My Other Notebook

Scala

dbutils.notebook.exit("Exiting from My Other Notebook")

// Notebook exited: Exiting from My Other Notebook

çalıştır komutu (dbutils.notebook.run)

run(path: String, timeoutSeconds: int, arguments: Map): String

Not defterini çalıştırır ve çıkış değerini döndürür. Not defteri varsayılan olarak geçerli kümede çalışır.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.notebook.help("run")

Örnek

Bu örnek, çağıran not defteriyle aynı konumda My Other Notebook adlı bir not defterini çalıştırır. Çağrılan not defteri kod dbutils.notebook.exit("Exiting from My Other Notebook")satırıyla biter. Çağrılan not defteri 60 saniye içinde çalışmayı tamamlamazsa bir istisna fırlatılır.

Python

dbutils.notebook.run("My Other Notebook", 60)

# Out[14]: 'Exiting from My Other Notebook'

Scala

dbutils.notebook.run("My Other Notebook", 60)

// res2: String = Exiting from My Other Notebook

Gizli yardımcı aracı (dbutils.secrets)

Gizlilik aracı, hassas kimlik bilgilerini not defterlerinde görünür kılmadan depolamanıza ve erişmenize olanak tanır. Bkz Gizli bilgi yönetimi ve 3. Adım: Not defterinde gizli bilgileri kullanma.

Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.secrets.help()kullanılarak elde edilebilir.

Komut	Açıklama
al	Kapsam ve anahtarla birlikte gizli bir değerin dize gösterimini alır.
getBytes	Kapsam ve anahtar ile bir gizli değerin bayt cinsinden gösterimini alır.
liste	Kapsama alanındaki gizli bilgiler için gizli meta verileri listeler
listScopes	Gizli kapsamları listeler

get komutu (dbutils.secrets.get)

get(scope: String, key: String): String

Belirtilen gizli değer kapsamı ve anahtarı için bir gizli değerin dize gösterimini alır.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.secrets.help("get")

Örnek

Bu örnek, my-scope adlı kapsam ve my-key adlı anahtar için gizli değerin dize biçimini alır.

Python

dbutils.secrets.get(scope="my-scope", key="my-key")

# Out[14]: '[REDACTED]'

R

dbutils.secrets.get(scope="my-scope", key="my-key")

# [1] "[REDACTED]"

Scala

dbutils.secrets.get(scope="my-scope", key="my-key")

// res0: String = [REDACTED]

getBytes komutu (dbutils.secrets.getBytes)

getBytes(scope: String, key: String): byte[]

Belirtilen kapsam ve anahtar için gizli bir değerin bayt temsili elde eder.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.secrets.help("getBytes")

Örnek

Bu örnek, my-scope adlı kapsam için ve my-key adlı anahtarın, gizli değerinin (buradaki örnekte a1!b2@c3#) bayt gösterimini alır.

Python

dbutils.secrets.getBytes(scope="my-scope", key="my-key")

# Out[1]: b'a1!b2@c3#'

R

dbutils.secrets.getBytes(scope="my-scope", key="my-key")

# [1] 61 31 21 62 32 40 63 33 23

Scala

dbutils.secrets.getBytes(scope="my-scope", key="my-key")

// res1: Array[Byte] = Array(97, 49, 33, 98, 50, 64, 99, 51, 35)

list komutu (dbutils.secrets.list)

list(scope: String): Seq

Belirtilen kapsamdaki gizli bilgiler için meta verileri listeler.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.secrets.help("list")

Örnek

Bu örnekte, my-scope kapsamındaki sırların meta verileri listelenir.

Python

dbutils.secrets.list("my-scope")

# Out[10]: [SecretMetadata(key='my-key')]

R

dbutils.secrets.list("my-scope")

# [[1]]
# [[1]]$key
# [1] "my-key"

Scala

dbutils.secrets.list("my-scope")

// res2: Seq[com.databricks.dbutils_v1.SecretMetadata] = ArrayBuffer(SecretMetadata(my-key))

listScopes komutu (dbutils.secrets.listScopes)

listScopes: Seq

Kullanılabilir kapsamları listeler.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.secrets.help("listScopes")

Örnek

Bu örnekte kullanılabilir kapsamlar listelenir.

Python

dbutils.secrets.listScopes()

# Out[14]: [SecretScope(name='my-scope')]

R

dbutils.secrets.listScopes()

# [[1]]
# [[1]]$name
# [1] "my-scope"

Scala

dbutils.secrets.listScopes()

// res3: Seq[com.databricks.dbutils_v1.SecretScope] = ArrayBuffer(SecretScope(my-scope))

Widget yardımcı programı (dbutils.widgets)

Pencere öğeleri yardımcı programı, not defterlerini parametreleştirmenizi sağlar. Bkz. Databricks pencere öğeleri.

Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.widgets.help()kullanılarak elde edilebilir.

Komut	Açıklama
combobox	Belirli bir ada, varsayılan bir değere ve seçeneklere sahip bir açılır liste widget'ı oluşturur
açılır menü	Belirtilen ad, varsayılan değer ve seçeneklerle bir açılır menü oluşturur.
al	Bir giriş pencere öğesinin mevcut değerini getirir.
tümünü al	Tüm pencere öğesi adlarının ve değerlerinin haritasını alır
getArgument	Kullanım Dışı. Get ile eşdeğer
çoklu seçim	Verilen bir isim, varsayılan değer ve seçeneklerle çok seçimli bir girdi bileşeni oluşturur.
kaldır	Not defterinden giriş pencere öğesini kaldırır
tüm kaldırma	Not defterindeki tüm pencere öğelerini kaldırır
Metin	Belirtilen bir adla ve varsayılan değere sahip bir metin girişi bileşeni oluşturur

combobox komutu (dbutils.widgets.combobox)

combobox(name: String, defaultValue: String, choices: Seq, label: String): void

Belirtilen program adı, varsayılan değer, seçenekler ve isteğe bağlı etikete sahip bir birleşik giriş kutusu pencere öğesi oluşturur ve görüntüler.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.widgets.help("combobox")

Örnek

Bu örnekte programatik adıyla fruits_combobox bir birleşik giriş kutusu pencere öğesi oluşturulur ve görüntülenir. apple, banana, coconut ve dragon fruit seçeneklerini sunar ve banana ilk değeri olarak ayarlanır. Bu birleşik giriş kutusu pencere öğesinin eşlik eden bir etiketi Fruitsvardır. Bu örnek, açılır kutu pencere öğesinin banana ilk değerini yazdırarak sona erer.

Python

dbutils.widgets.combobox(
  name='fruits_combobox',
  defaultValue='banana',
  choices=['apple', 'banana', 'coconut', 'dragon fruit'],
  label='Fruits'
)

print(dbutils.widgets.get("fruits_combobox"))

# banana

R

dbutils.widgets.combobox(
  name='fruits_combobox',
  defaultValue='banana',
  choices=list('apple', 'banana', 'coconut', 'dragon fruit'),
  label='Fruits'
)

print(dbutils.widgets.get("fruits_combobox"))

# [1] "banana"

Scala

dbutils.widgets.combobox(
  "fruits_combobox",
  "banana",
  Array("apple", "banana", "coconut", "dragon fruit"),
  "Fruits"
)

print(dbutils.widgets.get("fruits_combobox"))

// banana

SQL

CREATE WIDGET COMBOBOX fruits_combobox DEFAULT "banana" CHOICES SELECT * FROM (VALUES ("apple"), ("banana"), ("coconut"), ("dragon fruit"))

SELECT :fruits_combobox

-- banana

açılır menü komutu (dbutils.widgets.dropdown)

dropdown(name: String, defaultValue: String, choices: Seq, label: String): void

Belirtilen program adı, varsayılan değer, seçenekler ve isteğe bağlı etiket içeren bir açılan pencere öğesi oluşturur ve görüntüler.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.widgets.help("dropdown")

Örnek

Bu örnek, programatik adıyla toys_dropdown bir açılır pencere öğesi oluşturur ve görüntüler. alphabet blocks, basketball, cape ve doll seçeneklerini sunar ve basketball ilk değerine ayarlanır. Bu açılan pencere öğesinde eşlik eden bir etiket Toysvardır. Bu örnek, açılan pencere öğesinin ilk değerini yazdırarak sona erer basketball.

Python

dbutils.widgets.dropdown(
  name='toys_dropdown',
  defaultValue='basketball',
  choices=['alphabet blocks', 'basketball', 'cape', 'doll'],
  label='Toys'
)

print(dbutils.widgets.get("toys_dropdown"))

# basketball

R

dbutils.widgets.dropdown(
  name='toys_dropdown',
  defaultValue='basketball',
  choices=list('alphabet blocks', 'basketball', 'cape', 'doll'),
  label='Toys'
)

print(dbutils.widgets.get("toys_dropdown"))

# [1] "basketball"

Scala

dbutils.widgets.dropdown(
  "toys_dropdown",
  "basketball",
  Array("alphabet blocks", "basketball", "cape", "doll"),
  "Toys"
)

print(dbutils.widgets.get("toys_dropdown"))

// basketball

SQL

CREATE WIDGET DROPDOWN toys_dropdown DEFAULT "basketball" CHOICES SELECT * FROM (VALUES ("alphabet blocks"), ("basketball"), ("cape"), ("doll"))

SELECT :toys_dropdown

-- basketball

get komutu (dbutils.widgets.get)

get(name: String): String

Belirtilen programatik ad ile pencere öğesinin geçerli değerini alır. Bu program adı aşağıdakilerden biri olabilir:

• Not defterindeki özel pencere öğesinin adı( örneğin, fruits_combobox veya toys_dropdown).
• Not defteri görevinin parçası olarak not defterine geçirilen özel parametrenin adı( örneğin name , veya age). Daha fazla bilgi için, işler kullanıcı arabirimindeki not defteri görevleri için parametrelerin kapsamına veya İşler API'sindeki Yeni bir iş çalıştırmasını tetikleyin (POST /jobs/run-now) işlemindeki notebook_params alanına bakın.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.widgets.help("get")

Örnek

Bu örnek, program adı fruits_comboboxolan pencere öğesinin değerini alır.

Python

dbutils.widgets.get('fruits_combobox')

# banana

R

dbutils.widgets.get('fruits_combobox')

# [1] "banana"

Scala

dbutils.widgets.get("fruits_combobox")

// res6: String = banana

SQL

SELECT :fruits_combobox

-- banana

Bu örnek, program adı ageolan not defteri görev parametresinin değerini alır. Bu parametre, ilgili not defteri görevinin çalıştırıldığı zaman olarak ayarlandı 35 .

Python

dbutils.widgets.get('age')

# 35

R

dbutils.widgets.get('age')

# [1] "35"

Scala

dbutils.widgets.get("age")

// res6: String = 35

SQL

SELECT :age

-- 35

getAll komutu (dbutils.widgets.getAll) - tüm elemanları getir

getAll: map

Mevcut tüm pencere öğesi adlarının ve değerlerinin eşlemesini alır. Bu, pencere öğesi değerlerini hızlı bir şekilde spark.sql() bir sorguya geçirmek için özellikle yararlı olabilir.

Bu komut Databricks Runtime 13.3 LTS ve üstünde kullanılabilir. Yalnızca Python ve Scala için kullanılabilir.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.widgets.help("getAll")

Örnek

Bu örnek, pencere öğesi değerlerinin haritasını alır ve bir Spark SQL sorgusunda parametre olarak geçirir.

Python

df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()

# Query output

Scala

val df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()

// res6: Query output

getArgument komutu (dbutils.widgets.getArgument)

getArgument(name: String, optional: String): String

Belirtilen program adıyla pencere öğesinin geçerli değerini alır. Pencere öğesi mevcut değilse, isteğe bağlı bir mesaj döndürülebilir.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.widgets.help("getArgument")

Örnek

Bu örnek, program adı fruits_comboboxolan pencere öğesinin değerini alır. Bu widget yoksa, ileti Error: Cannot find fruits combobox geri döndürülür.

Python

dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')

# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# Out[3]: 'banana'

R

dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')

# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# [1] "banana"

Scala

dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")

// command-1234567890123456:1: warning: method getArgument in trait WidgetsUtils is deprecated: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
// dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")
//                 ^
// res7: String = banana

multiselect komutu (dbutils.widgets.multiselect)

multiselect(name: String, defaultValue: String, choices: Seq, label: String): void

Belirtilen program adı, varsayılan değer, seçenekler ve isteğe bağlı etikete sahip çok seçimli bir pencere öğesi oluşturur ve görüntüler.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.widgets.help("multiselect")

Örnek

Bu örnek, programatik adıyla days_multiselect çok seçimli bir pencere öğesi oluşturur ve görüntüler. Monday aracılığıyla Sunday seçeneklerini sunar ve Tuesday ilk değerine ayarlanır. Bu çoklu seçim pencere öğesinin eşlik eden bir etiketi Days of the Weekvardır. Bu örnek, çok seçimli pencere öğesinin Tuesdayilk değerini yazdırarak sona erer.

Python

dbutils.widgets.multiselect(
  name='days_multiselect',
  defaultValue='Tuesday',
  choices=['Monday', 'Tuesday', 'Wednesday', 'Thursday',
    'Friday', 'Saturday', 'Sunday'],
  label='Days of the Week'
)

print(dbutils.widgets.get("days_multiselect"))

# Tuesday

R

dbutils.widgets.multiselect(
  name='days_multiselect',
  defaultValue='Tuesday',
  choices=list('Monday', 'Tuesday', 'Wednesday', 'Thursday',
    'Friday', 'Saturday', 'Sunday'),
  label='Days of the Week'
)

print(dbutils.widgets.get("days_multiselect"))

# [1] "Tuesday"

Scala

dbutils.widgets.multiselect(
  "days_multiselect",
  "Tuesday",
  Array("Monday", "Tuesday", "Wednesday", "Thursday",
    "Friday", "Saturday", "Sunday"),
  "Days of the Week"
)

print(dbutils.widgets.get("days_multiselect"))

// Tuesday

SQL

CREATE WIDGET MULTISELECT days_multiselect DEFAULT "Tuesday" CHOICES SELECT * FROM (VALUES ("Monday"), ("Tuesday"), ("Wednesday"), ("Thursday"), ("Friday"), ("Saturday"), ("Sunday"))

SELECT :days_multiselect

-- Tuesday

remove komutu (dbutils.widgets.remove)

remove(name: String): void

Belirtilen programatik adla pencere öğesini kaldırır.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.widgets.help("remove")

Örnek

Bu örnek, fruits_combobox program adıyla pencere öğesini kaldırır.

Python

dbutils.widgets.remove('fruits_combobox')

R

dbutils.widgets.remove('fruits_combobox')

Scala

dbutils.widgets.remove("fruits_combobox")

SQL

REMOVE WIDGET fruits_combobox

removeAll komutu (dbutils.widgets.removeAll) - Tüm bileşenleri kaldırır

removeAll: void

Not defterinden tüm pencere öğelerini kaldırır.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.widgets.help("removeAll")

Örnek

Bu örnek, not defterinden tüm pencere öğelerini kaldırır.

Python

dbutils.widgets.removeAll()

R

dbutils.widgets.removeAll()

Scala

dbutils.widgets.removeAll()

text komutu (dbutils.widgets.text)

text(name: String, defaultValue: String, label: String): void

Belirtilen program adı, varsayılan değer ve isteğe bağlı etikete sahip bir metin pencere öğesi oluşturur ve görüntüler.

Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:

dbutils.widgets.help("text")

Örnek

Bu örnek, programatik adıyla your_name_text bir metin pencere öğesi oluşturur ve görüntüler. başlangıç değerine Enter your nameayarlanır. Bu metin pencere öğesinin eşlik eden bir etiketi Your namevardır. Bu örnek, Enter your namemetin pencere öğesinin ilk değerini yazdırarak sona erer.

Python

dbutils.widgets.text(
  name='your_name_text',
  defaultValue='Enter your name',
  label='Your name'
)

print(dbutils.widgets.get("your_name_text"))

# Enter your name

R

dbutils.widgets.text(
  name='your_name_text',
  defaultValue='Enter your name',
  label='Your name'
)

print(dbutils.widgets.get("your_name_text"))

# [1] "Enter your name"

Scala

dbutils.widgets.text(
  "your_name_text",
  "Enter your name",
  "Your name"
)

print(dbutils.widgets.get("your_name_text"))

// Enter your name

SQL

CREATE WIDGET TEXT your_name_text DEFAULT "Enter your name"

SELECT :your_name_text

-- Enter your name

Databricks Yardımcı Programları API kitaplığı

Uygulama geliştirmeyi hızlandırmak için, uygulamaları üretim işi olarak dağıtmadan önce derlemek, derlemek ve test etmek yararlı olabilir. Databricks Yardımcı Programları'na karşı derleyebilmeniz için Databricks dbutils-api kitaplığını sağlar. Maven Repository sitesindeki DBUtils API web sayfasından dbutils-api kitaplığını indirebilir veya derleme dosyanıza bir bağımlılık ekleyerek bu kitaplığı dahil edebilirsiniz.

• SBT

  libraryDependencies += "com.databricks" % "dbutils-api_TARGET" % "VERSION"
  

• Maven

  <dependency>
      <groupId>com.databricks</groupId>
      <artifactId>dbutils-api_TARGET</artifactId>
      <version>VERSION</version>
  </dependency>
  

• Gradle

  compile 'com.databricks:dbutils-api_TARGET:VERSION'
  

TARGET'yı istenen hedefle (örneğin, 2.12) ve VERSION'yi istenen sürümle (örneğin, 0.0.5) değiştirin. Kullanılabilir hedeflerin ve sürümlerin listesi için Maven Deposu web sitesindeki DBUtils API web sayfasına bakın.

Uygulamanızı bu kitaplık karşısında inşa ettikten sonra uygulamayı dağıtabilirsiniz.

Sınırlamalar

Yürütücülerin içinde dbutils çağrılması beklenmeyen sonuçlara veya hatalara neden olabilir.

dbutilskullanarak yürütücülerde dosya sistemi işlemlerini çalıştırmanız gerekiyorsa, Dosya sistemi işlemlerini paralelleştirme bölümüne bakın.

Yürütücüler hakkında bilgi için Apache Spark web sitesinde Küme Moduna Genel Bakış bölümüne bakın.