Apa itu Katalog Unity?

Artikel ini memperkenalkan Unity Catalog, solusi tata kelola terpadu untuk data dan aset AI di Azure Databricks.

Gambaran Umum Katalog Unity

Unity Catalog menyediakan kemampuan kontrol akses terpusat, audit, silsilah data, dan penemuan data di seluruh ruang kerja Azure Databricks.

Fitur utama Unity Catalog di antaranya:

• Tentukan sekali, aman di mana saja: Unity Catalog menawarkan satu tempat untuk mengelola kebijakan akses data yang berlaku di semua ruang kerja.
• Model keamanan yang mematuhi standar: Model keamanan Unity Catalog didasarkan pada ANSI SQL standar dan memungkinkan administrator untuk memberikan izin di data lake yang ada menggunakan sintaks yang sudah dikenal, pada tingkat katalog, skema (juga disebut database), tabel, dan tampilan.
• Audit dan silsilah data bawaan: Katalog Unity secara otomatis mengambil log audit tingkat pengguna yang merekam akses ke data Anda. Katalog Unity juga mengambil data silsilah data yang melacak cara aset data dibuat dan digunakan di semua bahasa.
• Penemuan data: Unity Catalog memungkinkan Anda menandai dan mendokumen aset data, dan menyediakan antarmuka pencarian untuk membantu konsumen data menemukan data.
• Tabel sistem (Pratinjau Umum): Unity Catalog memungkinkan Anda dengan mudah mengakses dan mengkueri data operasional akun Anda, termasuk log audit, penggunaan yang dapat ditagih, dan silsilah data.

Model objek Katalog Unity

Di Katalog Unity, semua metadata terdaftar di metastore. Hierarki objek database dalam metastore Katalog Unity dibagi menjadi tiga tingkat, diwakili sebagai namespace tiga tingkat (catalog.schema.table-etc) saat Anda mereferensikan tabel, tampilan, volume, model, dan fungsi.

Metastore

Metastore adalah kontainer tingkat atas untuk metadata di Katalog Unity. Ini mendaftarkan metadata tentang data dan aset AI dan izin yang mengatur akses ke mereka. Agar ruang kerja menggunakan Katalog Unity, ruang kerja perlu memiliki metastore Unity Catalog yang terpasang.

Anda harus memiliki satu metastore untuk setiap wilayah tempat Anda memiliki ruang kerja. Bagaimana ruang kerja dilampirkan ke metastore? Lihat Bagaimana cara menyiapkan Katalog Unity untuk organisasi saya?.

Hierarki objek di metastore

Dalam metastore Katalog Unity, hierarki objek database tiga tingkat terdiri dari katalog yang berisi skema, yang pada gilirannya berisi data dan objek AI, seperti tabel dan model.

Tingkat satu:

• Katalog digunakan untuk mengatur aset data Anda dan biasanya digunakan sebagai tingkat atas dalam skema isolasi data Anda. Katalog sering mencerminkan unit organisasi atau cakupan siklus hidup pengembangan perangkat lunak. Lihat Apa itu katalog di Azure Databricks?.
• Objek yang tidak dapat diamankan, seperti kredensial penyimpanan dan lokasi eksternal, digunakan untuk mengelola model tata kelola data Anda di Unity Catalog. Ini juga hidup langsung di bawah metastore. Mereka dijelaskan secara lebih rinci di Objek lain yang dapat diamankan.

Tingkat dua:

• Skema (juga dikenal sebagai database) berisi tabel, tampilan, volume, model AI, dan fungsi. Skema mengatur data dan aset AI ke dalam kategori logis yang lebih terperinci daripada katalog. Biasanya skema mewakili satu kasus penggunaan, proyek, atau kotak pasir tim. Lihat Apa itu skema di Azure Databricks?.

Tingkat tiga:

• Volume adalah volume logis dari data non-tabular yang tidak terstruktur dalam penyimpanan objek cloud. Volume dapat dikelola, dengan Unity Catalog yang mengelola siklus hidup penuh dan tata letak data dalam penyimpanan, atau eksternal, dengan Unity Catalog mengelola akses ke data dari dalam Azure Databricks, tetapi tidak mengelola akses ke data di penyimpanan cloud dari klien lain. Lihat Apa itu volume Katalog Unity? dan Tabel dan volume terkelola versus eksternal.
• Tabel adalah kumpulan data yang diatur menurut baris dan kolom. Tabel dapat dikelola, dengan Unity Catalog yang mengelola siklus hidup penuh tabel, atau eksternal, dengan Unity Catalog mengelola akses ke data dari dalam Azure Databricks, tetapi tidak mengelola akses ke data di penyimpanan cloud dari klien lain. Lihat Apa itu tabel dan tampilan? dan Tabel dan volume terkelola versus eksternal.
• Tampilan disimpan kueri terhadap satu atau beberapa tabel. Lihat Apa itu tampilan?.
• Fungsi adalah unit logika tersimpan yang mengembalikan nilai skalar atau sekumpulan baris. Lihat Fungsi yang ditentukan pengguna (UDF) di Unity Catalog.
• Model adalah model AI yang dibungkus dengan MLflow dan terdaftar di Unity Catalog sebagai fungsi. Lihat Mengelola siklus hidup model di Unity Catalog.

Bekerja dengan objek database di Katalog Unity

Bekerja dengan objek database di Unity Catalog sangat mirip dengan bekerja dengan objek database yang terdaftar di metastore Apache Hive, dengan pengecualian bahwa metastore Apache Hive tidak menyertakan katalog di namespace objek. Anda dapat menggunakan sintaks ANSI yang sudah dikenal untuk membuat objek database, mengelola objek database, mengelola izin, dan bekerja dengan data di Katalog Unity. Anda juga bisa membuat objek database, mengelola objek database, dan mengelola izin pada objek database menggunakan UI Catalog Explorer.

Untuk informasi selengkapnya, lihat Objek database di Azure Databricks dan Bekerja dengan Unity Catalog dan metastore Apache Hive warisan.

Objek lain yang dapat diamankan

Selain objek database dan aset AI yang terkandung dalam skema, Unity Catalog juga mengatur akses ke data menggunakan objek yang dapat diamankan berikut:

• Kredensial layanan, yang merangkum kredensial cloud jangka panjang yang menyediakan akses ke layanan eksternal. Lihat Mengelola akses ke layanan cloud eksternal menggunakan kredensial layanan.

• Kredensial penyimpanan, yang merangkum kredensial cloud jangka panjang yang menyediakan akses ke penyimpanan cloud. Lihat Membuat kredensial penyimpanan untuk menyambungkan ke Azure Data Lake Storage Gen2.

• Lokasi eksternal, yang berisi referensi ke kredensial penyimpanan dan jalur penyimpanan cloud. Lokasi eksternal dapat digunakan untuk membuat tabel eksternal atau menetapkan lokasi penyimpanan terkelola untuk tabel dan volume terkelola. Lihat Membuat lokasi eksternal untuk menyambungkan penyimpanan cloud ke Azure Databricks, Isolasi data menggunakan penyimpanan terkelola, dan Menentukan lokasi penyimpanan terkelola di Unity Catalog.

• Koneksi, yang mewakili kredensial yang memberikan akses baca-saja ke database eksternal dalam sistem database seperti MySQL menggunakan Federasi Lakehouse. Lihat Federasi Lakehouse dan Katalog Unity dan Apa itu Federasi Lakehouse?.

• Kamar bersih, yang mewakili lingkungan yang dikelola Databricks di mana beberapa peserta dapat berkolaborasi pada proyek tanpa berbagi data yang mendasar satu sama lain. Lihat Apa itu Azure Databricks Clean Rooms?.

• Berbagi, yang merupakan objek Berbagi Delta yang mewakili kumpulan data baca-saja dan aset AI yang dibagikan penyedia data dengan satu atau beberapa penerima.

• Penerima, yang merupakan objek Berbagi Delta yang mewakili entitas yang menerima berbagi dari penyedia data.

• Penyedia, yang merupakan objek Berbagi Delta yang mewakili entitas yang berbagi data dengan penerima.

Untuk informasi selengkapnya tentang objek yang dapat diamankan Berbagi Delta, lihat Apa itu Berbagi Delta?.

Memberikan dan mencabut akses ke objek database dan objek yang dapat diamankan lainnya di Katalog Unity

Anda dapat memberikan dan mencabut akses ke objek yang dapat diamankan pada tingkat apa pun dalam hierarki, termasuk metastore itu sendiri. Akses ke objek secara implisit memberikan akses yang sama ke semua turunan objek tersebut, kecuali akses dicabut.

Anda dapat menggunakan perintah ANSI SQL umum untuk memberikan dan mencabut akses ke objek di Katalog Unity. Contohnya:

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

Anda juga dapat menggunakan Catalog Explorer, Databricks CLI, dan REST API untuk mengelola izin objek.

Untuk mempelajari cara mengelola hak istimewa di Unity Catalog, lihat Mengelola hak istimewa di Unity Catalog.

Akses default ke objek database di Katalog Unity

Unity Catalog beroperasi berdasarkan prinsip hak istimewa paling sedikit, di mana pengguna memiliki akses minimum yang mereka butuhkan untuk melakukan tugas yang diperlukan. Saat ruang kerja dibuat, pengguna non-admin hanya memiliki akses ke katalog Ruang Kerja yang disediakan secara otomatis, yang menjadikan katalog ini tempat yang nyaman bagi pengguna untuk mencoba proses pembuatan dan akses objek database di Unity Catalog. Lihat Hak istimewa katalog ruang kerja.

Peran admin

Admin ruang kerja dan admin akun memiliki hak istimewa tambahan secara default. Admin metastore adalah peran opsional, diperlukan jika Anda ingin mengelola penyimpanan tabel dan volume di tingkat metastore, dan nyaman jika Anda ingin mengelola data secara terpusat di beberapa ruang kerja di suatu wilayah. Untuk informasi selengkapnya, lihat Hak istimewa admin di Katalog Unity dan (Opsional) Menetapkan peran admin metastore.

Tabel dan volume eksternal terkelola versus

Tabel dan volume dapat dikelola atau eksternal.

• Tabel terkelola dikelola sepenuhnya oleh Unity Catalog, yang berarti bahwa Unity Catalog mengelola tata kelola dan file data yang mendasar untuk setiap tabel terkelola. Tabel terkelola disimpan di lokasi yang dikelola Katalog Unity di penyimpanan cloud Anda. Tabel terkelola selalu menggunakan format Delta Lake. Anda dapat menyimpan tabel terkelola di tingkat metastore, katalog, atau skema.
• Tabel eksternal adalah tabel yang aksesnya dari Azure Databricks dikelola oleh Unity Catalog, tetapi siklus hidup data dan tata letak filenya dikelola menggunakan penyedia cloud dan platform data lainnya. Biasanya Anda menggunakan tabel eksternal untuk mendaftarkan sejumlah besar data yang ada di Azure Databricks, atau jika Anda juga memerlukan akses tulis ke data menggunakan alat di luar Azure Databricks. Tabel eksternal didukung dalam beberapa format data. Setelah tabel eksternal terdaftar di metastore Unity Catalog, Anda dapat mengelola dan mengaudit akses Azure Databricks ke sana—dan bekerja dengannya—seperti yang Anda bisa dengan tabel terkelola.
• Volume terkelola dikelola sepenuhnya oleh Katalog Unity, yang berarti bahwa Unity Catalog mengelola akses ke lokasi penyimpanan volume di akun penyedia cloud Anda. Saat Anda membuat volume terkelola, volume tersebut secara otomatis disimpan di lokasi penyimpanan terkelola yang ditetapkan ke skema yang berisi.
• Volume eksternal mewakili data yang ada di lokasi penyimpanan yang dikelola di luar Azure Databricks, tetapi terdaftar di Unity Catalog untuk mengontrol dan mengaudit akses dari dalam Azure Databricks. Saat Anda membuat volume eksternal di Azure Databricks, Anda menentukan lokasinya, yang harus berada di jalur yang ditentukan di lokasi eksternal Katalog Unity.

Databricks merekomendasikan tabel dan volume terkelola untuk memanfaatkan sepenuhnya kemampuan tata kelola Dan pengoptimalan performa Katalog Unity.

Lihat Bekerja dengan tabel terkelola, Bekerja dengan tabel eksternal, dan Volume eksternal terkelola vs. .

Isolasi data menggunakan penyimpanan terkelola

Organisasi Anda mungkin mengharuskan jenis data tertentu disimpan dalam akun atau wadah tertentu di penyewa cloud Anda.

Unity Catalog memberikan kemampuan untuk mengonfigurasi lokasi penyimpanan di tingkat metastore, katalog, atau skema untuk memenuhi persyaratan tersebut. Sistem mengevaluasi hierarki lokasi penyimpanan dari skema ke katalog ke metastore.

Misalnya, organisasi Anda memiliki kebijakan kepatuhan perusahaan yang memerlukan data produksi yang berkaitan dengan sumber daya manusia untuk berada di kontainer abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net. Di Unity Catalog, Anda dapat mencapai persyaratan ini dengan mengatur lokasi pada tingkat katalog, membuat katalog yang disebut, misalnya hr_prod, dan menetapkan lokasi abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog ke dalamnya. Ini berarti bahwa tabel atau volume terkelola yang dibuat dalam hr_prod katalog (misalnya, menggunakan CREATE TABLE hr_prod.default.table …) menyimpan data mereka di abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog. Secara opsional, Anda dapat memilih untuk menyediakan lokasi tingkat skema untuk mengatur data dalam hr_prod catalog pada tingkat yang lebih terperinci.

Jika isolasi penyimpanan tidak diperlukan untuk beberapa katalog, Anda dapat secara opsional mengatur lokasi penyimpanan di tingkat metastore. Lokasi ini berfungsi sebagai lokasi default untuk tabel dan volume terkelola dalam katalog dan skema yang tidak memiliki penyimpanan yang ditetapkan. Namun, biasanya, Databricks merekomendasikan agar Anda menetapkan lokasi penyimpanan terkelola terpisah untuk setiap katalog.

Untuk informasi selengkapnya, lihat Menentukan lokasi penyimpanan terkelola di Unity Catalog dan Data dipisahkan secara fisik dalam penyimpanan.

Pengikatan katalog ruang kerja

Secara default, pemilik katalog (dan admin metastore, jika mereka didefinisikan untuk akun) dapat membuat katalog dapat diakses oleh pengguna di beberapa ruang kerja yang dilampirkan ke metastore Unity Catalog yang sama. Namun, jika Anda menggunakan ruang kerja untuk mengisolasi akses data pengguna, Anda mungkin ingin membatasi akses katalog ke ruang kerja tertentu di akun Anda, untuk memastikan bahwa jenis data tertentu hanya diproses di ruang kerja tersebut. Anda mungkin ingin ruang kerja produksi dan pengembangan terpisah, misalnya, atau ruang kerja terpisah untuk memproses data pribadi. Ini dikenal sebagai pengikatan katalog ruang kerja. Lihat Membatasi akses katalog ke ruang kerja tertentu.

Mengaudit akses data

Katalog Unity mengambil log audit tindakan yang dilakukan terhadap metastore, memungkinkan admin mengakses detail mendetail tentang siapa yang mengakses himpunan data tertentu dan tindakan yang mereka lakukan.

Anda dapat mengakses log audit akun anda menggunakan tabel sistem yang dikelola oleh Unity Catalog.

Lihat Mengaudit peristiwa Katalog Unity, peristiwa Katalog Unity, dan Memantau aktivitas akun dengan tabel sistem.

Melacak silsilah data

Anda dapat menggunakan Unity Catalog untuk mengambil silsilah data runtime di seluruh kueri dalam bahasa apa pun yang dijalankan pada kluster Azure Databricks atau gudang SQL. Jejak data diambil hingga tingkat kolom dan menyertakan buku catatan, tugas, dan dasbor yang terkait dengan kueri. Untuk mempelajari selengkapnya, lihat Mengambil dan melihat silsilah data menggunakan Katalog Unity.

Federasi Lakehouse dan Katalog Unity

Lakehouse Federation adalah platform federasi kueri untuk Azure Databricks. Istilah federasi kueri menjelaskan kumpulan fitur yang memungkinkan pengguna dan sistem menjalankan kueri terhadap beberapa sumber data yang di-silo tanpa perlu memigrasikan semua data ke sistem terpadu.

Azure Databricks menggunakan Unity Catalog untuk mengelola federasi kueri. Gunakan Unity Catalog untuk mengonfigurasi koneksi baca-saja ke sistem database eksternal populer dan membuat katalog asing yang mencerminkan database eksternal. Tata kelola data dan alat silsilah data Unity Catalog memastikan bahwa akses data dikelola dan diaudit untuk semua kueri federasi yang dibuat oleh pengguna di ruang kerja Azure Databricks Anda.

Lihat Apa itu Federasi Lakehouse?.

Berbagi Delta, Databricks Marketplace, dan Unity Catalog

Berbagi Delta adalah platform berbagi data aman yang memungkinkan Anda berbagi data dan aset AI dengan pengguna di luar organisasi Anda, baik pengguna tersebut menggunakan Databricks atau tidak. Meskipun Delta Sharing tersedia sebagai implementasi open source, di Databricks diperlukan Unity Catalog untuk sepenuhnya memanfaatkan fungsi yang diperluas. Lihat Apa itu Berbagi Delta?.

Databricks Marketplace, forum terbuka untuk bertukar produk data, dibangun di atas Berbagi Delta, dan dengan demikian, Anda harus memiliki ruang kerja yang mendukung Katalog Unity untuk menjadi penyedia Marketplace. Lihat Apa itu Databricks Marketplace?.

Bagaimana cara menyiapkan Katalog Unity untuk organisasi saya?

Untuk menggunakan Unity Catalog, ruang kerja Azure Databricks Anda harus diaktifkan untuk Unity Catalog, yang berarti bahwa ruang kerja dilampirkan ke metastore Unity Catalog.

Bagaimana ruang kerja dilampirkan ke metastore? Ini tergantung pada akun dan ruang kerja:

• Biasanya, saat Anda membuat ruang kerja Azure Databricks di wilayah untuk pertama kalinya, metastore dibuat secara otomatis dan dilampirkan ke ruang kerja.
• Untuk beberapa akun lama, admin akun harus membuat metastore dan menetapkan ruang kerja di wilayah tersebut ke metastore. Untuk petunjuknya, lihat Membuat metastore Unity Catalog.
• Jika akun sudah memiliki metastore yang ditetapkan untuk suatu wilayah, admin akun dapat memutuskan apakah akan melampirkan metastore secara otomatis ke semua ruang kerja baru di wilayah tersebut. Lihat Mengaktifkan metastore untuk ditetapkan secara otomatis ke ruang kerja baru.

Apakah ruang kerja Anda diaktifkan untuk Katalog Unity secara otomatis atau tidak, langkah-langkah berikut juga diperlukan untuk mulai menggunakan Katalog Unity:

• Buat katalog dan skema untuk berisi objek database seperti tabel dan volume.
• Buat lokasi penyimpanan terkelola untuk menyimpan tabel dan volume terkelola dalam katalog dan skema ini.
• Memberikan akses pengguna ke katalog, skema, dan objek database.

Ruang kerja yang diaktifkan secara otomatis untuk Katalog Unity menyediakan katalog ruang kerja dengan hak istimewa luas yang diberikan kepada semua pengguna ruang kerja. Katalog ini adalah titik awal yang nyaman untuk mencoba Katalog Unity.

Untuk instruksi penyiapan terperinci, lihat Menyiapkan dan mengelola Katalog Unity.

Memigrasikan ruang kerja yang sudah ada ke Katalog Unity

Jika Anda memiliki ruang kerja lama yang baru-baru ini Anda aktifkan untuk Unity Catalog, Anda mungkin memiliki data yang dikelola oleh metastore Apache Hive warisan. Anda dapat bekerja dengan data tersebut bersama data yang terdaftar di Unity Catalog, tetapi metastore Apache Hive warisan tidak digunakan lagi, dan Anda harus memigrasikan data di metastore Apache Hive Anda ke Katalog Unity sesegera mungkin untuk memanfaatkan kemampuan dan performa tata kelola Unity Catalog yang unggul.

Migrasi melibatkan hal-hal berikut:

1. Mengonversi grup ruang kerja-lokal ke grup tingkat akun. Katalog Unity mempusatkan manajemen identitas di tingkat akun.
2. Memigrasikan tabel dan tampilan yang dikelola di metastore Apache Hive ke Katalog Unity.
3. Perbarui kueri dan pekerjaan untuk mereferensikan tabel Katalog Unity baru alih-alih tabel metastore Apache Hive lama.

Berikut ini dapat membantu Anda mengelola migrasi:

• UCX, proyek Databricks Labs, menyediakan alat yang membantu Anda meningkatkan ruang kerja non-Unity-Catalog ke Unity Catalog. UCX adalah pilihan yang baik untuk migrasi skala besar. Lihat Menggunakan utilitas UCX untuk meningkatkan ruang kerja Anda ke Unity Catalog.

• Jika Anda memiliki jumlah tabel yang lebih kecil untuk dimigrasikan, Azure Databricks menyediakan wizard UI dan perintah SQL yang dapat Anda gunakan. Lihat Meningkatkan tabel dan tampilan Apache Hive ke Katalog Unity.

• Untuk mempelajari cara menggunakan tabel di metastore Apache Hive bersama objek database di Katalog Unity di ruang kerja yang sama, lihat Bekerja dengan Katalog Unity dan metastore Apache Hive warisan.

Persyaratan dan pembatasan Katalog Unity

Katalog Unity memerlukan jenis format komputasi dan file tertentu, yang dijelaskan di bawah ini. Juga tercantum di bawah ini adalah beberapa fitur Azure Databricks yang tidak sepenuhnya didukung di Unity Catalog pada semua versi Databricks Runtime.

Dukungan wilayah

Semua wilayah mendukung Katalog Unity. Untuk detailnya, lihat Wilayah Azure Databricks.

Persyaratan komputasi

Unity Catalog didukung pada kluster yang menjalankan Databricks Runtime 11.3 LTS atau lebih tinggi. Unity Catalog didukung secara default pada semua versi komputasi gudang SQL.

Kluster yang berjalan pada versi Databricks Runtime yang lebih lama tidak menyediakan dukungan untuk semua fitur dan fungsionalitas Ga Katalog Unity.

Untuk mengakses data pada Katalog Unity, kluster harus dikonfigurasi dengan mode akses yang benar. Katalog Unity itu aman secara default. Jika kluster tidak dikonfigurasi dengan mode akses pengguna bersama atau tunggal, kluster tidak dapat mengakses data di Katalog Unity. Lihat Mode akses.

Untuk informasi terperinci tentang perubahan fungsionalitas Unity Catalog di setiap versi Databricks Runtime, lihat catatan rilis.

Batasan untuk Unity Catalog bervariasi menurut mode akses dan versi Databricks Runtime. Lihat Batasan mode akses komputasi untuk Katalog Unity.

Dukungan format file

Katalog Unity mendukung format tabel berikut:

• Tabel terkeloladelta harus menggunakan format tabel.
• Tabel eksternal dapat menggunakan delta, , CSVJSON, avro, parquet, ORC, atau text.

Batasan

Katalog Unity memiliki batasan berikut. Beberapa di antaranya khusus untuk versi Databricks Runtime yang lebih lama dan mode akses komputasi.

Beban kerja Streaming Terstruktur memiliki batasan tambahan, tergantung pada Databricks Runtime dan mode akses. Lihat Batasan mode akses komputasi untuk Katalog Unity.

Databricks merilis fungsionalitas baru yang menyusutkan daftar ini secara teratur.

• Grup yang sebelumnya dibuat di ruang kerja (yaitu, grup tingkat ruang kerja) tidak dapat digunakan dalam pernyataan Katalog GRANT Unity. Hal ini untuk memastikan tampilan grup yang konsisten yang dapat menjangkau seluruh ruang kerja. Untuk menggunakan grup dalam GRANpernyataan T, buat grup Anda di tingkat akun dan perbarui otomatisasi apa pun untuk manajemen utama atau grup (seperti konektor SCIM, Okta dan Microsoft Entra ID, dan Terraform) untuk mereferensikan titik akhir akun alih-alih titik akhir ruang kerja. Lihat jenis grup di Azure Databricks.
• Beban kerja di R tidak mendukung penggunaan tampilan dinamis untuk keamanan tingkat baris atau tingkat kolom pada komputasi yang menjalankan Databricks Runtime 15.3 ke bawah.

Gunakan sumber daya komputasi pengguna tunggal yang menjalankan Databricks Runtime 15.4 LTS atau lebih tinggi untuk beban kerja di R yang mengkueri tampilan dinamis. Beban kerja semacam itu juga memerlukan ruang kerja yang diaktifkan untuk komputasi tanpa server. Untuk detailnya, lihat Kontrol akses terperinci pada komputasi pengguna tunggal.

• Kloning dangkal tidak didukung di Unity Catalog pada komputasi yang menjalankan Databricks Runtime 12.2 LTS dan di bawahnya. Anda dapat menggunakan kloning dangkal untuk membuat tabel terkelola pada Databricks Runtime 13.3 LTS ke atas. Anda tidak dapat menggunakannya untuk membuat tabel eksternal, terlepas dari versi Databricks Runtime. Lihat Kloning dangkal untuk tabel Unity Catalog.

• Bucketing tidak didukung untuk tabel Unity Catalog. Jika Anda menjalankan perintah yang mencoba membuat tabel yang di-bucket di Katalog Unity, perintah tersebut akan melemparkan pengecualian.

• Menulis ke jalur yang sama atau tabel Delta Lake dari ruang kerja di beberapa wilayah dapat menyebabkan performa yang tidak dapat diandalkan jika beberapa kluster mengakses Katalog Unity dan yang lain tidak.

• Memanipulasi partisi untuk tabel eksternal menggunakan perintah seperti ALTER TABLE ADD PARTITION mengharuskan pengelogan metadata partisi diaktifkan. Lihat Penemuan partisi untuk tabel eksternal.

• Saat menggunakan mode timpa untuk tabel yang tidak dalam format Delta, pengguna harus memiliki hak istimewa CREATE TABLE pada skema induk dan harus menjadi pemilik objek yang ada ATAU memiliki hak istimewa MODIFIKASI pada objek.

• UDF Python tidak didukung di Databricks Runtime 12.2 LTS dan di bawahnya. Ini termasuk UDAF, UDTF, dan Panda di Spark (applyInPandas dan mapInPandas). UDF skalar Python didukung di Databricks Runtime 13.3 LTS ke atas.

• UDF Scala tidak didukung di Databricks Runtime 14.1 ke bawah pada kluster bersama. UDF skalar Scala didukung di Databricks Runtime 14.2 ke atas pada kluster bersama.

• Kumpulan utas Scala standar tidak didukung. Sebagai gantinya, gunakan kumpulan utas khusus di org.apache.spark.util.ThreadUtils, misalnya, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Namun, kumpulan utas berikut di ThreadUtils tidak didukung: ThreadUtils.newForkJoinPool dan kumpulan utas apa pun ScheduledExecutorService .

• Pengelogan audit hanya didukung untuk peristiwa Katalog Unity di tingkat ruang kerja. Peristiwa yang berlangsung di tingkat akun tanpa referensi ke ruang kerja, seperti membuat metastore, tidak dicatat.

Model yang terdaftar di Unity Catalog memiliki batasan tambahan. Lihat Batasan.

Kuota sumber daya

Katalog Unity memberlakukan kuota sumber daya pada semua objek yang dapat diamankan. Kuota ini tercantum dalam batas Sumber Daya. Jika Anda berharap melebihi batas sumber daya ini, hubungi tim akun Azure Databricks Anda.

Anda dapat memantau penggunaan kuota menggunakan API kuota sumber daya Unity Catalog. Lihat Memantau penggunaan kuota sumber daya Unity Catalog Anda.