Membuat katalog

Artikel ini memperlihatkan cara membuat katalog di Katalog Unity. Katalog berisi skema (database), dan skema berisi tabel, tampilan, volume, model, dan fungsi.

Untuk mempelajari selengkapnya tentang katalog, lihat Apa itu katalog di Azure Databricks?.

Persyaratan

Untuk membuat katalog, terlepas dari jenis katalog:

• Anda harus menjadi admin metastore Azure Databricks atau memiliki CREATE CATALOG hak istimewa di metastore.
• Sumber daya komputasi yang Anda gunakan untuk menjalankan buku catatan untuk membuat katalog harus berada di Databricks Runtime 11.3 atau lebih tinggi dan harus menggunakan mode akses yang mematuhi Katalog Unity. Lihat Mode akses. Gudang SQL selalu mendukung Katalog Unity.

Untuk membuat katalog bersama:

• Berbagi Berbagi Delta harus sudah ada di ruang kerja Anda. Lihat Bagaimana cara membuat data bersama tersedia untuk tim saya?.
• Anda harus menjadi admin metastore, memiliki USE PROVIDER hak istimewa pada metastore, atau memiliki objek penyedia yang menyertakan berbagi.

Untuk membuat katalog standar :

• Jika Anda menentukan lokasi penyimpanan terkelola untuk katalog, Anda harus memiliki hak istimewa CREATE MANAGED STORAGE pada lokasi eksternal target.
• Jika tidak ada penyimpanan terkelola tingkat metastore, maka Anda harus menentukan lokasi penyimpanan terkelola untuk katalog.

Untuk membuat katalog asing:

• Anda harus menjadi pemilik koneksi yang Anda gunakan untuk membuat katalog asing atau memiliki privilege CREATE FOREIGN CATALOG pada koneksi.
• Anda harus menggunakan komputasi pada Databricks Runtime 13.1 atau lebih tinggi. Gudang SQL harus Pro atau Tanpa Server.

Membuat katalog

Untuk membuat katalog, Anda dapat menggunakan Catalog Explorer, perintah SQL, REST API, Databricks CLI, atau Terraform. Saat Anda membuat katalog, dua skema (database) secara otomatis dibuat: default dan information_schema.

Penjelajah Katalog

1. Masuk ke ruang kerja yang ditautkan ke metastore.

2. Klik ikon Katalog Katalog.

3. Klik tombol Buat Katalog.

4. Pada dialog Buat katalog baru, masukkan Nama katalog dan pilih Jenis katalog yang ingin Anda buat:

   • Katalog Standar: objek yang dapat diamankan yang mengatur data dan aset AI yang dikelola oleh Katalog Unity. Untuk semua kasus penggunaan kecuali Federasi Lakehouse dan katalog yang dibuat dari pembagian Delta Sharing.
   • Katalog asing: objek yang aman yang merefleksikan database dalam sistem data eksternal menggunakan Lakehouse Federation. Lihat Ringkasan penyiapan Federasi Lakehouse.
   • Katalog bersama: objek yang dapat diamankan yang mengatur data dan aset lain yang dibagikan dengan Anda sebagai Berbagi Delta berbagi. Membuat katalog dari sumber berbagi membuat aset tersebut tersedia untuk diakses oleh pengguna di ruang kerja Anda. Lihat Apa itu berbagi?.

5. Bergantung pada jenis katalog, tentukan opsi berikut:

   • Untuk katalog standar: Ini opsional tetapi sangat disarankan agar Anda menentukan lokasi Penyimpanan terkelola. Anda harus memiliki CREATE MANAGED STORAGE hak istimewa pada lokasi eksternal target yang Anda gunakan sebagai lokasi penyimpanan terkelola. Lihat Menentukan lokasi penyimpanan terkelola di Unity Catalog.

     Anda dapat secara opsional menentukan subpath dari lokasi eksternal yang ditentukan. Jika Anda tidak memiliki lokasi eksternal yang ditentukan, Anda bisa membuatnya dengan mengklik Buat lokasi eksternal baru.

     Penting

     Jika ruang kerja Anda tidak memiliki lokasi penyimpanan tingkat metastore, Anda harus menentukan lokasi penyimpanan terkelola saat membuat katalog.

   • Untuk katalog asing: Anda harus memilih Koneksi, yang merupakan objek yang dapat diamankan di Katalog Unity yang menentukan jalur dan kredensial untuk mengakses sistem database eksternal. Lihat Ringkasan penyiapan Federasi Lakehouse.

     Saat Anda telah memilih koneksi, masukkan nama Database atau Catalog Databricks lainnya yang ingin Anda duplikasi.

     Persyaratan berbeda tergantung pada sumber data:

     • MySQL menggunakan namespace dua lapisan dan oleh karena itu tidak memerlukan nama database.
     • Untuk koneksi ke katalog di ruang kerja Databricks lain, masukkan nama Databricks Catalog, bukan nama database.

     Jika Anda tidak memiliki koneksi yang ditentukan, Anda bisa membuatnya dengan mengklik Buat koneksi baru.

   • Untuk katalog bersama: Anda harus memilih Penyedia dan Berbagi. Setelah Anda memilih penyedia, Anda dapat memilih salah satu saham penyedia tersebut.

     Jika Anda tidak yakin penyedia mana dan berbagi yang Anda inginkan, Anda mungkin merasa lebih mudah untuk menelusuri atau mencari penyedia dan berbagi menggunakan browser Catalog Explorer. Lihat Lihat penyedia dan Lihat berbagi dari penyedia yang telah dibagikan kepada Anda.

6. Klik Buat.

7. Pada dialog Katalog dibuat!, klik Lihat katalog untuk menerima katalog yang dikonfigurasi secara otomatis, atau klik Konfigurasi katalog (disarankan) untuk mengonfigurasi izin katalog, pengikatan ruang kerja, dan metadata.

   Jika Anda mengklik Lihat katalog, katalog akan dapat diakses oleh semua ruang kerja yang dilampirkan ke metastore, dan hak akses BROWSE akan diberikan kepada semua pengguna akun. Anda dapat melewati langkah-langkah lainnya dalam prosedur ini dan melanjutkan untuk menambahkan skema ke katalog. Lihat Membuat skema.

   Anda dapat kembali ke halaman detail katalog di Catalog Explorer kapan saja untuk memperbarui pemilik, tag, komentar, pengikatan ruang kerja, izin, dan skema.

8. Pada halaman Konfigurasi katalog > Ruang Kerja, tentukan ruang kerja tempat katalog dihubungkan.

   Secara default, katalog dibagikan dengan semua ruang kerja yang dilampirkan ke metastore saat ini. Jika katalog akan berisi data yang harus dibatasi untuk ruang kerja tertentu, kosongkan opsi Semua ruang kerja memiliki akses dan gunakan tombol Tetapkan ke ruang kerja untuk menambahkan ruang kerja tersebut. Ruang kerja saat ini harus disertakan.

   Setelah Anda menetapkan ruang kerja, Anda bisa mengubah tingkat akses defaultnya yang berupa Baca & Tulis menjadi Baca Saja. Pilih ruang kerja dari daftar dan klik tombol Kelola Tingkat Akses.

   Untuk informasi selengkapnya, lihat Membatasi akses katalog ke ruang kerja tertentu.

9. Klik Berikutnya untuk menetapkan Izin untuk katalog Anda.

   Semua pengguna akun memiliki hak istimewa BROWSE secara default, memberi mereka kemampuan untuk menemukan metadata katalog tanpa memiliki akses baca ke data.

   Untuk memberikan hak istimewa kepada pengguna, grup, atau perwakilan layanan, klik Berikan dan ikuti instruksi di hak istimewa Katalog Unity dan objek yang dapat diamankan.

10. Klik Berikutnya untuk menambahkan tag opsional dan komentar Metadata.

    Tag adalah pasangan kunci-nilai yang dapat Anda gunakan untuk mengatur dan mengategorikan katalog untuk menyederhanakan pencarian dan penemuan aset data Anda. Nilai bersifat opsional. Lihat Menerapkan tag ke objek yang diamankan Katalog Unity.

    Comment adalah bidang terbuka yang sering digunakan untuk memberikan deskripsi guna membantu pengguna menemukan aset data di katalog. Lihat Menambahkan komentar ke data dan aset AI.

11. Klik Simpan.

12. Tambahkan skema dan objek data ke katalog.

    Lihat Membuat skema.

Anda dapat menggunakan Catalog Explorer untuk memperbarui pemilik, tag, komentar, pengikatan ruang kerja, dan izin kapan saja setelah Anda membuat katalog.

SQL

Untuk membuat katalog standar, jalankan perintah SQL berikut ini di notebook atau editor kueri SQL. Item dalam tanda kurung bersifat opsional. Ganti nilai placeholder:

• <catalog-name>: Nama untuk katalog.

• <location-path>: Opsional tetapi sangat disarankan. Berikan jalur lokasi penyimpanan jika Anda ingin tabel terkelola dalam katalog ini disimpan di lokasi yang berbeda dari penyimpanan akar default yang dikonfigurasi untuk metastore.

  Penting

  Jika ruang kerja Anda tidak memiliki lokasi penyimpanan tingkat metastore, Anda harus menentukan lokasi penyimpanan terkelola saat membuat katalog.

  Jalur ini harus ditentukan dalam konfigurasi lokasi eksternal, dan Anda harus memiliki CREATE MANAGED STORAGE hak istimewa pada konfigurasi lokasi eksternal. Anda dapat menggunakan jalur yang ditentukan dalam konfigurasi lokasi eksternal atau subpath (dengan kata lain, 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance' atau 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product').

• <comment>: Deskripsi opsional atau komentar lainnya.

CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
   [ MANAGED LOCATION '<location-path>' ]
   [ COMMENT <comment> ];

Misalnya, untuk membuat katalog bernama example:

CREATE CATALOG IF NOT EXISTS example;

Untuk membuat katalog bersama, jalankan perintah berikut ini di notebook atau editor kueri SQL. Item dalam tanda kurung bersifat opsional.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];

Untuk membuat katalog asing, jalankan perintah berikut ini di notebook atau editor kueri SQL. Item dalam tanda kurung bersifat opsional. Ganti nilai placeholder:

• <catalog-name>: Nama untuk katalog di Azure Databricks.
• <connection-name>: Objek koneksi yang menentukan sumber data, jalur, dan kredensial akses.
• <database-name>: Nama database yang ingin Anda cerminkan sebagai katalog di Azure Databricks. Tidak diperlukan untuk MySQL, yang menggunakan namespace dua lapisan. Untuk Databricks-ke-Databricks Lakehouse Federation, gunakan catalog '<external-catalog-name>' sebagai gantinya.
• <external-catalog-name>: hanya Databricks-to-Databricks: Nama katalog di ruang kerja Databricks eksternal yang Anda cerminkan. Lihat Menjalankan kueri federasi di ruang kerja Databricks lain.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];

Lihat juga Membuat katalog asing.

Untuk membatasi akses katalog ke ruang kerja tertentu di akun Anda, juga dikenal sebagai pengikatan katalog ruang kerja, lihat Membatasi akses katalog ke ruang kerja tertentu.

Untuk deskripsi parameter terperinci, lihat CREATE CATALOG.

Setelah Anda membuat katalog, tetapkan hak istimewa ke katalog. Lihat hak istimewa Katalog Unity dan objek yang bisa diamankan.

Lainnya

Terraform: Anda dapat membuat katalog menggunakan penyedia Databricks Terraform dan databricks_catalog. Anda dapat mengambil informasi tentang katalog menggunakan databricks_catalogs.

REST API: Gunakan POST /api/2.1/unity-catalog/catalogs.

Databricks CLI: databricks catalogs create <catalog-name> [options] Untuk daftar opsi, jalankan databricks catalogs create -h. Opsi juga dijelaskan dalam referensi API. Ikuti tautan API di paragraf sebelumnya.

Setelah Anda membuat katalog, tetapkan hak istimewa ke katalog. Lihat hak istimewa Katalog Unity dan objek yang dapat diamankan.

Informasi selengkapnya

• Mengelola katalog
• Mengelola katalog default
• Membatasi akses katalog ke ruang kerja tertentu