Batasan mode akses komputasi untuk Katalog Unity

Databricks merekomendasikan penggunaan mode akses standar (sebelumnya mode akses bersama) untuk sebagian besar beban kerja. Artikel ini menguraikan batasan dan persyaratan untuk setiap mode akses dengan Unity Catalog. Untuk detail tentang mode akses, lihat Mode Akses.

Databricks merekomendasikan penggunaan kebijakan komputasi untuk menyederhanakan opsi konfigurasi bagi sebagian besar pengguna. Lihat Membuat dan mengelola kebijakan komputasi.

Batasan mode akses khusus pada Unity Catalog

Mode akses khusus pada Unity Catalog memiliki batasan berikut. Ini merupakan tambahan atas batasan umum yang berlaku untuk semua mode akses Katalog Unity. Lihat batasan umum untuk Unity Catalog.

Pembatasan kontrol akses yang terperinci untuk mode akses khusus di Katalog Unity

Pada Databricks Runtime 15.3 ke bawah, kontrol akses terperinci pada komputasi pengguna tunggal tidak didukung. Khususnya:

• Anda tidak dapat mengakses tabel yang memiliki filter baris atau masker kolom.
• Anda tidak dapat mengakses tampilan dinamis .
• Untuk dapat membaca dari suatu view, Anda harus memiliki SELECT pada semua tabel dan view yang dirujuk oleh view tersebut.

Untuk mem-query tampilan dinamis, tampilan di mana Anda tidak memiliki SELECT pada tabel dan tampilan yang mendasarinya, dan tabel dengan filter baris atau masker kolom, gunakan salah satu dari berikut:

• Gudang SQL.
• Komputasi dengan mode akses standar.
• Komputasi dengan mode akses khusus pada Databricks Runtime 15.4 LTS atau lebih tinggi.

Databricks Runtime 15.4 LTS dan versi di atasnya mendukung kontrol akses terinci pada komputasi untuk pengguna tunggal. Untuk memanfaatkan pemfilteran data yang disediakan di Databricks Runtime 15.4 LTS ke atas, verifikasi bahwa ruang kerja Anda diaktifkan untuk komputasi tanpa server.

Komputasi tanpa server menangani pemfilteran data, sehingga memungkinkan akses ke pandangan tanpa memerlukan izin pada tabel dan pandangan yang menjadi dasar. Karena komputasi tanpa server menangani pemfilteran data, Anda mungkin dikenakan biaya komputasi tanpa server saat Anda menggunakan komputasi pengguna tunggal untuk mengkueri tampilan. Untuk informasi selengkapnya, lihat Kontrol akses halus pada komputasi khusus (sebelumnya komputasi pengguna tunggal).

Tabel streaming dan batasan tampilan materialisasi untuk mode akses khusus Katalog Unity

Pada Databricks Runtime 15.3 dan versi sebelumnya, Anda tidak dapat menggunakan komputasi untuk pengguna tunggal untuk menjalankan kueri pada tabel yang dibuat menggunakan pipeline DLT, termasuk tabel streaming dan tampilan materialisasi , jika tabel-tabel tersebut dimiliki oleh pengguna lain . Pengguna yang membuat tabel adalah pemiliknya.

Untuk mengkueri tabel Streaming dan tampilan materialisasi yang dibuat oleh DLT dan dimiliki oleh pengguna lain, gunakan salah satu hal berikut ini:

• Gudang SQL.
• Komputasi dengan mode akses standar pada Databricks Runtime 13.3 LTS atau lebih tinggi.
• Komputasi dengan mode akses khusus pada Databricks Runtime 15.4 LTS atau lebih tinggi.

Ruang kerja Anda juga harus diaktifkan untuk komputasi tanpa server. Untuk informasi selengkapnya, lihat Kontrol akses halus pada komputasi khusus (sebelumnya komputasi pengguna tunggal).

Batasan streaming untuk mode akses khusus Katalog Unity

• Titik pemeriksaan asinkron tidak didukung di Databricks Runtime 11.3 LTS dan di bawahnya.
• StreamingQueryListener memerlukan Databricks Runtime 15.1 atau lebih tinggi untuk menggunakan kredensial atau berinteraksi dengan objek yang dikelola oleh Unity Catalog pada komputasi pengguna tunggal.

pembatasan mode akses standar pada Unity Catalog

Mode akses standar di Unity Catalog memiliki batasan berikut. Ini selain batasan umum untuk semua mode akses Katalog Unity. Lihat batasan umum untuk Unity Catalog.

• Databricks Runtime ML dan Perpustakaan Pembelajaran Mesin Spark (MLlib) tidak didukung.
• Tugas pekerjaan Spark-submit tidak didukung. Gunakan tugas JAR sebagai gantinya.
• DBUtils dan klien lain yang langsung membaca data dari penyimpanan cloud hanya didukung saat Anda menggunakan lokasi eksternal untuk mengakses lokasi penyimpanan. Lihat Membuat lokasi eksternal untuk menyambungkan penyimpanan cloud ke Azure Databricks.
• Dalam Databricks Runtime 13.3 ke atas, baris individual tidak boleh melebihi 128MB.
• Root dan mount DBFS tidak memiliki dukungan FUSE.

• Kontainer kustom tidak didukung.

Dukungan bahasa untuk mode akses standar di Unity Catalog

• R tidak didukung.
• Scala didukung di Databricks Runtime 13.3 ke atas.
  • Dalam Databricks Runtime 15.4 LTS ke atas, semua pustaka Java atau Scala (file JAR) yang dibundel dengan Databricks Runtime tersedia pada komputasi dalam mode akses Unity Catalog.
  • Untuk Databricks Runtime 15.3 atau di bawahnya pada komputasi yang menggunakan mode akses standar, atur konfigurasi Spark spark.databricks.scala.kernel.fullClasspath.enabled ke true.

batasan dan persyaratan Spark API untuk mode akses standar Katalog Unity

• API RDD tidak didukung.
• Konteks Spark (sc),spark.sparkContext, dan sqlContext tidak didukung untuk Scala dalam Databricks Runtime apa pun dan tidak didukung untuk Python di Databricks Runtime 14.0 ke atas.
  • Databricks merekomendasikan penggunaan spark variabel untuk berinteraksi dengan SparkSession instans.
  • Fungsi berikut juga tidak didukung: sc, emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.
• Operasi API Himpunan Data Scala berikut memerlukan Databricks Runtime 15.4 LTS atau lebih tinggi: map, , mapPartitionsforeachPartition, flatMap, reduce dan filter.
• Properti konfigurasi Spark spark.executor.extraJavaOptions tidak didukung.

pembatasan dan persyaratan UDF untuk mode akses standar Katalog Unity

Fungsi yang ditentukan pengguna (UDF) memiliki batasan berikut dengan mode akses standar:

• Fungsi UDF di Apache Hive tidak didukung.
• applyInPandas dan mapInPandas memerlukan Databricks Runtime 14.3 atau lebih tinggi.
• UDF PySpark tidak dapat mengakses folder Git, file ruang kerja, atau volume untuk membawa masuk modul di Databricks Runtime 14.2 dan versi di bawahnya.
• UDF skalar Scala memerlukan Databricks Runtime 14.2 atau lebih tinggi. UDF dan UDAF Scala lainnya tidak didukung.
• Dalam Databricks Runtime 14.2 ke bawah, menggunakan versi kustom dari grpc, pyarrow, atau protobuf dalam sebuah UDF PySpark melalui pustaka dengan lingkup buku catatan atau lingkup kluster tidak didukung karena versi yang diinstal selalu diprioritaskan. Untuk menemukan versi dari pustaka yang diinstal, lihat bagian Lingkungan Sistem dari catatan rilis versi tertentu Runtime Databricks.

• UDF skalar Python dan UDF Pandas memerlukan Databricks Runtime 13.3 LTS atau lebih tinggi.

• UDF Python dan Pandas non-skalar, termasuk UDAF, UDTF, dan Pandas on Spark, memerlukan Databricks Runtime 14.3 LTS atau lebih tinggi.

Lihat Fungsi yang didefinisikan oleh pengguna (UDF) di Unity Catalog.

Batasan streaming dan persyaratan untuk mode akses standar Katalog Unity

• Anda tidak dapat menggunakan format statestore dan state-metadata untuk mengkueri informasi status untuk kueri streaming stateful.
• transformWithState, transformWithStateInPandas, dan API terkait tidak didukung.
• Untuk Scala, foreach memerlukan Databricks Runtime 16.1 atau lebih tinggi. foreachBatch, dan flatMapGroupsWithState memerlukan Databricks Runtime 16.2 atau lebih tinggi.
• Untuk Python, foreachBatch memiliki perubahan perilaku berikut dalam Databricks Runtime 14.0 ke atas:
  • print() perintah menuliskan keluaran ke dalam log driver.
  • Anda tidak dapat mengakses dbutils.widgets submodul di dalam fungsi.
  • Setiap file, modul, atau objek yang dirujuk dalam fungsi harus dapat diserialisasikan dan tersedia di Spark.
• Untuk Scala, from_avro memerlukan Databricks Runtime 14.2 atau lebih tinggi.
• applyInPandasWithState memerlukan Databricks Runtime 14.3 LTS atau lebih tinggi.
• Bekerja dengan sumber soket tidak didukung.
• sourceArchiveDir harus berada di lokasi eksternal yang sama dengan sumber saat Anda menggunakan option("cleanSource", "archive") dengan sumber data yang dikelola oleh Katalog Unity.
• Untuk sumber dan sink Kafka, opsi berikut tidak didukung:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy
• Opsi Kafka berikut didukung di Databricks Runtime 13.3 LTS ke atas tetapi tidak didukung di Databricks Runtime 12.2 LTS. Anda hanya dapat menentukan lokasi eksternal yang dikelola oleh Unity Catalog untuk opsi berikut:
  • kafka.ssl.truststore.location
  • kafka.ssl.keystore.location
• Untuk Scala, StreamingQueryListener memerlukan Databricks Runtime 16.1 ke atas.
• Untuk Python, StreamingQueryListener memerlukan Databricks Runtime 14.3 LTS atau lebih tinggi untuk menggunakan kredensial atau berinteraksi dengan objek yang dikelola oleh Unity Catalog pada komputasi dengan mode akses standar.

Batasan dan persyaratan akses sistem file dan jaringan untuk mode akses standar Katalog Unity

• Anda harus menjalankan perintah pada simpul komputasi sebagai pengguna dengan hak istimewa rendah yang dilarang mengakses bagian sensitif sistem file.
• Di Databricks Runtime 11.3 LTS dan di bawahnya, Anda hanya dapat membuat koneksi jaringan ke port 80 dan 443.

• Anda tidak dapat tersambung ke layanan metadata instans atau Azure WireServer.

Batasan umum untuk Unity Catalog

Batasan berikut berlaku untuk semua mode akses yang diaktifkan Katalog Unity.

Batasan streaming untuk Katalog Unity

• Mode pemrosesan berkelanjutan Apache Spark tidak didukung. Lihat Pemrosesan Berkelanjutan di Panduan Pemrograman Streaming Terstruktur Spark.

Lihat juga Batasan streaming untuk mode akses khusus Unity Catalog dan batasan streaming dan persyaratan untuk mode akses standar Katalog Unity.

Untuk informasi lebih lanjut mengenai streaming menggunakan Unity Catalog, lihat Penggunaan Unity Catalog dengan Streaming Terstruktur.