Apa itu Berbagi Delta?
Artikel ini memperkenalkan Berbagi Delta di Azure Databricks, platform berbagi data aman yang memungkinkan Anda berbagi data dan aset AI di Azure Databricks dengan pengguna di luar organisasi Anda, baik pengguna tersebut menggunakan Databricks atau tidak. Delta Sharing juga merupakan dasar untuk Databricks Marketplace, forum terbuka untuk bertukar produk data, dan Clean Rooms, lingkungan yang aman dan melindungi privasi di mana beberapa pihak dapat bekerja sama pada data perusahaan yang sensitif.
Berbagi Delta juga tersedia sebagai proyek sumber terbuka yang dapat Anda gunakan untuk berbagi tabel Delta dari platform lain.
Catatan
Untuk mempelajari cara mengakses data yang telah dibagikan dengan Anda menggunakan Berbagi Delta, lihat Mengakses data yang dibagikan dengan Anda menggunakan Berbagi Delta (untuk penerima).
Bagaimana cara kerja Berbagi Delta?
Berbagi Delta adalah protokol terbuka yang dikembangkan oleh Databricks untuk berbagi data yang aman dengan organisasi lain terlepas dari platform komputasi yang mereka gunakan.
Ada tiga cara untuk berbagi data menggunakan Berbagi Delta:
protokol berbagi Databricks-ke-Databricks, yang memungkinkan Anda berbagi data dan aset AI dari ruang kerja yang didukung Katalog Unity Anda dengan pengguna yang juga memiliki akses ke ruang kerja Databricks yang mendukung Katalog Unity.
Pendekatan ini menggunakan server Berbagi Delta yang dibangun ke dalam Azure Databricks. Ini mendukung beberapa fitur Delta Sharing yang tidak didukung dalam protokol lain, termasuk berbagi buku catatan, berbagi volume Unity Catalog, berbagi model AI Unity Catalog, tata kelola data Unity Catalog, audit, dan pelacakan penggunaan untuk penyedia dan penerima. Integrasi dengan Unity Catalog menyederhanakan penyiapan dan tata kelola untuk penyedia dan penerima dan meningkatkan performa.
Lihat Bagikan data dengan protokol Delta Sharing Databricks-to-Databricks (untuk penyedia).
Protokol berbagi terbuka Databricks, yang memungkinkan Anda berbagi data tabular yang Anda kelola di ruang kerja Databricks yang didukung oleh Unity Catalog dengan pengguna di platform komputasi apa pun.
Pendekatan ini menggunakan server Berbagi Delta yang disertakan dalam Azure Databricks dan berguna saat Anda mengelola data menggunakan Unity Catalog dan ingin membagikannya dengan pengguna yang tidak menggunakan Databricks atau tidak memiliki akses ke ruang kerja Databricks yang mendukung Unity Catalog. Integrasi dengan Unity Catalog di sisi penyedia menyederhanakan penyiapan dan tata kelola untuk penyedia.
Lihat Membagikan data menggunakan protokol terbuka Delta Sharing (untuk penyedia).
Implementasi yang dikelola pelanggan dari server Delta Sharing sumber terbuka, yang memungkinkan Anda berbagi dari platform apa pun ke platform apa pun, baik Databricks atau tidak.
Dokumentasi Azure Databricks tidak mencakup instruksi untuk menyiapkan server Berbagi Delta Anda sendiri. Lihat github.com/delta-io/delta-sharing.
Berbagi, penyedia, dan penerima
Konsep utama Berbagi Delta di Azure Databricks adalah berbagi, penyedia, dan penerima.
Apa itu berbagi?
Dalam Delta Sharing, berbagi adalah kumpulan tabel dan partisi tabel yang bersifat baca-saja yang ingin dibagikan penyedia dengan satu atau beberapa penerima. Jika penerima Anda menggunakan ruang kerja Databricks dengan dukungan Unity Catalog, Anda juga bisa menyertakan file buku catatan, tampilan (termasuk tampilan dinamis yang membatasi akses di tingkat baris dan kolom), volume Katalog Unity, dan model Katalog Unity dalam berbagi.
Anda dapat menambahkan atau menghapus tabel, tampilan, volume, model, dan file buku catatan dari berbagi kapan saja, dan Anda dapat menetapkan atau mencabut akses penerima data ke berbagi kapan saja.
Di ruang kerja Azure Databricks yang mendukung Unity Catalog, share adalah objek yang dapat diamankan dan terdaftar di Unity Catalog. Jika Anda menghapus berbagi dari metastore Unity Catalog Anda, semua penerima berbagi tersebut kehilangan kemampuan untuk mengaksesnya.
Lihat Membuat dan mengelola saham untuk Delta Sharing.
Apa itu penyedia?
Penyedia adalah entitas yang berbagi data dengan penerima. Jika Anda adalah penyedia dan ingin memanfaatkan server Berbagi Databricks Delta bawaan dan mengelola berbagi dan penerima menggunakan Unity Catalog, Anda memerlukan setidaknya satu ruang kerja Azure Databricks yang diaktifkan untuk Unity Catalog. Anda tidak perlu memigrasikan semua ruang kerja yang ada ke Unity Catalog. Anda cukup membuat ruang kerja baru yang mendukung Unity Catalog untuk kebutuhan Berbagi Delta Anda.
Jika penerima berada di ruang kerja Databricks yang mendukung Katalog Unity, penyedia juga merupakan objek yang dapat diamankan dalam Katalog Unity, yang mewakili organisasi penyedia dan mengaitkan organisasi tersebut dengan serangkaian pembagian data.
Apa itu penerima?
Penerima adalah entitas yang menerima saham dari penyedia. Di Katalog Unity, sebuah "share" adalah objek yang dapat diamankan yang mewakili organisasi dan mengaitkannya dengan pengidentifikasi berbagi yang terkait dengan kredensial atau yang aman, yang memungkinkan organisasi tersebut mengakses satu atau beberapa "share".
Sebagai penyedia data (sharer), Anda dapat menentukan beberapa penerima untuk metastore Unity Catalog tertentu, tetapi jika Anda ingin berbagi data dari beberapa metastore dengan pengguna atau grup pengguna tertentu, Anda harus menentukan penerima secara terpisah untuk setiap metastore. Penerima dapat memiliki akses ke beberapa saham.
Jika penyedia menghapus penerima dari metastore Unity Catalog mereka, penerima tersebut kehilangan akses ke semua berbagi yang sebelumnya dapat diaksesnya.
Lihat Membuat dan mengelola penerima data untuk Delta Sharing.
Berbagi secara terbuka versus berbagi secara Databricks-ke-Databricks
Bagian ini menjelaskan dua protokol untuk berbagi dari ruang kerja Databricks yang diaktifkan untuk Unity Catalog.
Catatan
Bagian ini mengasumsikan bahwa penyedia berada di ruang kerja Azure Databricks yang mendukung Unity Catalog. Untuk mempelajari tentang menyiapkan server sumber terbuka Delta Sharing untuk berbagi dari platform non-Databricks atau ruang kerja Katalog non-Unity, lihat github.com/delta-io/delta-sharing.
Cara penyedia menggunakan Berbagi Delta di Azure Databricks bergantung pada dengan siapa mereka berbagi data:
- Berbagi terbuka memungkinkan Anda berbagi data dengan pengguna mana pun, baik mereka memiliki akses ke Azure Databricks atau tidak.
- Pembagian "Databricks-ke-Databricks" memungkinkan Anda berbagi data dengan pengguna Azure Databricks yang ruang kerjanya terhubung ke metastore "Unity Catalog" yang berbeda dari metastore Anda. Databricks-to-Databricks juga mendukung berbagi buku catatan, volume, dan model, yang tidak tersedia dalam berbagi terbuka.
Apa itu Open Delta Sharing?
Jika Anda ingin berbagi data dengan pengguna di luar ruang kerja Azure Databricks Anda, terlepas dari apakah mereka menggunakan Databricks, Anda dapat menggunakan Berbagi Delta terbuka untuk berbagi data Anda dengan aman. Sebagai penyedia data, Anda menghasilkan token dan membagikannya dengan aman kepada penerima. Mereka menggunakan token untuk mengautentikasi dan mendapatkan akses baca ke tabel yang telah Anda sertakan dalam berbagi yang Anda berikan kepada mereka.
Penerima dapat mengakses data bersama menggunakan banyak alat dan platform komputasi, termasuk:
- Azure Databricks
- Apache Spark
- Pandas
- Power BI
Untuk daftar lengkap konektor Delta Sharing dan informasi tentang cara menggunakannya, lihat dokumentasi Delta Sharing.
Lihat juga Berbagi data menggunakan protokol berbagi terbuka Delta Sharing (untuk penyedia).
Apa itu Databricks-to-Databricks Delta Sharing?
Jika Anda ingin berbagi data dengan pengguna yang memiliki ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda dapat menggunakan Databricks-to-Databricks Delta Sharing. Berbagi Databricks-ke-Databricks memungkinkan Anda berbagi data dengan pengguna di akun Databricks lainnya, baik di AWS, Azure, maupun GCP. Ini juga merupakan cara yang baik untuk berbagi data dengan aman di berbagai metastore Unity Catalog pada akun Databricks Anda sendiri. Perhatikan bahwa tidak perlu menggunakan Berbagi Delta untuk berbagi data antar ruang kerja yang dilampirkan ke metastore Katalog Unity yang sama, karena dalam skenario tersebut Anda dapat menggunakan Katalog Unity itu sendiri untuk mengelola akses ke data di seluruh ruang kerja.
Salah satu keuntungan dari berbagi Databricks-ke-Databricks adalah bahwa penerima berbagi tidak memerlukan token untuk mengakses berbagi, dan penyedia tidak perlu mengelola token penerima. Keamanan koneksi berbagi—termasuk semua verifikasi identitas, autentikasi, dan audit—dikelola sepenuhnya melalui Berbagi Delta dan platform Databricks. Keuntungan lainnya adalah kemampuan berbagi file notebook Databricks, tampilan, volume Unity Catalog, dan model Unity Catalog.
Lihat juga Berbagi data menggunakan protokol Delta Sharing Databricks-to-Databricks (untuk penyedia).
Bagaimana admin penyedia layanan menyiapkan Delta Sharing?
Bagian ini memberikan gambaran umum tentang bagaimana penyedia dapat mengaktifkan Berbagi Delta dan memulai berbagi dari ruang kerja Azure Databricks yang mendukung Katalog Unity. Untuk Delta Sharing sumber terbuka, lihat github.com/delta-io/delta-sharing.
Berbagi antar Databricks dalam Unity Catalog metastore di akun yang sama selalu diaktifkan. Jika Anda adalah penyedia yang ingin mengaktifkan Berbagi Delta untuk berbagi data dengan ruang kerja Databricks di akun lain atau klien non-Databricks, admin akun Azure Databricks atau admin metastore melakukan langkah-langkah penyiapan berikut (pada tingkat tinggi):
Aktifkan Delta Sharing untuk metastore Unity Catalog tersebut yang mengelola data yang ingin Anda bagikan.
Catatan
Anda tidak perlu mengaktifkan Berbagi Delta di metastore Anda jika Anda berniat menggunakan Berbagi Delta untuk berbagi data hanya dengan pengguna di metastore Katalog Unity lainnya di akun Anda. Berbagi antar metastore dalam satu akun Azure Databricks sudah diaktifkan secara bawaan.
Buat pembagian yang menyertakan aset data yang terdaftar di metastore Katalog Unity.
Jika Anda berbagi dengan penerima non-Databricks (dikenal sebagai berbagi terbuka) Anda dapat menyertakan tabel dalam format Delta atau Parquet. Jika Anda berencana untuk menggunakan sistem berbagi Databricks-ke-Databricks, Anda juga dapat menambahkan view, volume Unity Catalog, model Unity Catalog, dan file notebook untuk berbagi.
Buat penerima.
Lihat Membuat dan mengelola penerima data untuk Delta Sharing.
Jika penerima Anda bukan pengguna Databricks, atau tidak memiliki akses ke ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda harus menggunakan fitur berbagi terbuka. Sekumpulan kredensial berbasis token dihasilkan untuk penerima tersebut.
Jika penerima Anda memiliki akses ke ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda dapat menggunakan pembagian Databricks ke Databricks, dan tidak diperlukan kredensial berbasis token. Anda meminta identitas berbagi dari penerima dan menggunakannya untuk membentuk koneksi yang aman.
Petunjuk
Gunakan diri Anda sebagai penerima pengujian untuk mencoba proses penyiapan.
Berikan akses kepada penerima ke satu atau beberapa saham.
Lihat Mengelola akses ke data Delta Sharing (untuk penyedia).
Catatan
Langkah ini juga dapat dilakukan oleh pengguna non-admin dengan
USE SHARE
hak istimewa ,USE RECIPIENT
danSET SHARE PERMISSION
. Lihat hak istimewa Katalog Unity dan objek yang dapat diamankan.Kirimkan kepada penerima informasi yang mereka butuhkan untuk mengakses berbagi (hanya berbagi terbuka).
Lihat Mengirim informasi koneksi mereka kepada penerima.
Untuk berbagi terbuka, gunakan saluran aman untuk mengirim tautan aktivasi kepada penerima yang memungkinkan mereka mengunduh kredensial berbasis token mereka.
Dalam berbagi dari Databricks ke Databricks, data yang disertakan dalam pembagian menjadi tersedia di ruang kerja Databricks penerima segera setelah Anda memberikan akses kepada mereka.
Penerima sekarang dapat mengakses data bersama.
Bagaimana penerima mengakses data bersama?
Penerima mengakses aset data bersama dalam format baca-saja. File buku catatan bersama bersifat baca-saja, tetapi dapat dikloning lalu dimodifikasi dan dijalankan di ruang kerja penerima sama seperti buku catatan lainnya.
Akses aman tergantung pada model berbagi:
- Berbagi terbuka (penerima tidak memiliki workspace Databricks yang diaktifkan untuk Unity Catalog): Penerima memberikan kredensial setiap kali mereka mengakses data menggunakan alat pilihan mereka, termasuk Apache Spark, pandas, Power BI, Databricks, dan banyak lagi. Lihat Baca data yang dibagikan menggunakan berbagi terbuka Delta Sharing (untuk penerima).
- Databricks-to-Databricks (ruang kerja penerima diaktifkan untuk Unity Catalog): Penerima mengakses data menggunakan Databricks. Mereka dapat menggunakan Unity Catalog untuk memberikan dan menolak akses ke pengguna lain di akun Databricks mereka. Lihat Baca data yang dibagikan melalui Databricks-to-Databricks Delta Sharing (untuk penerima).
Setiap kali penyedia data memperbarui tabel data atau volume di akun Databricks mereka sendiri, pembaruan muncul mendekati real time dalam sistem penerima.
Bagaimana Anda melacak siapa yang berbagi dan mengakses data bersama?
Penyedia data di workspaces Azure Databricks yang mendukung Unity Catalog dapat menggunakan audit logging Azure Databricks dan tabel sistem untuk memantau pembuatan dan modifikasi berbagi data dan penerima berbagi data, serta dapat memantau aktivitas penerima berbagi data. Lihat Mengaudit dan memantau berbagi data.
Penerima data yang menggunakan data bersama di ruang kerja Databricks dapat menggunakan pengelogan audit Databricks dan tabel sistem untuk memahami siapa yang mengakses data mana. Lihat Mengaudit dan memantau berbagi data.
Berbagi volume
Anda dapat berbagi volume penyimpanan menggunakan alur berbagi Databricks-to-Databricks. Lihat Menambahkan volume ke sebuah bagikan (untuk penyedia) dan Membaca data yang dibagikan dengan menggunakan Databricks ke Databricks Delta Sharing (untuk penerima).
Berbagi model
Anda dapat berbagi model menggunakan alur berbagi Databricks-to-Databricks. Lihat Tambahkan model ke suatu pembagian (untuk penyedia) dan Baca data yang dibagikan menggunakan Pembagian Delta antar Databricks (untuk penerima).
Berbagi buku catatan
Anda dapat menggunakan Berbagi Delta untuk berbagi file catatan menggunakan alur berbagi dari Databricks ke Databricks. Lihat Menambahkan file buku catatan ke berbagi (untuk penyedia) dan Membaca buku catatan yang dibagikan (untuk penerima).
Membatasi akses di tingkat baris dan kolom
Anda dapat berbagi tampilan dinamis yang membatasi akses ke data tabel tertentu berdasarkan properti penerima. Berbagi tampilan dinamis memerlukan alur berbagi Databricks-ke-Databricks. Lihat Tambahkan tampilan dinamis ke dalam berbagi untuk memfilter baris dan kolom.
Berbagi dan streaming Delta
Delta Sharing mendukung Spark Structured Streaming. Penyedia dapat berbagi tabel dengan riwayat sehingga penerima dapat menggunakannya sebagai sumber Streaming Terstruktur, memproses data bersama secara bertahap dengan latensi rendah. Penerima juga dapat melakukan kueri perjalanan waktu Delta Lake pada tabel yang dibagikan beserta dengan riwayatnya.
Untuk mempelajari cara berbagi tabel beserta riwayatnya, lihat Menambahkan tabel ke pembagian. Untuk mempelajari cara menggunakan tabel bersama sebagai sumber streaming, lihat Melakukan query pada tabel menggunakan Streaming Terstruktur Spark Apache (untuk penerima berbagi dari Databricks ke Databricks) atau Mengakses tabel bersama menggunakan Streaming Terstruktur Spark Apache (untuk penerima data berbagi terbuka).
Lihat juga Streaming di Azure Databricks.
Matriks dukungan fitur Delta Lake
"Delta Sharing" mendukung sebagian besar fitur Delta Lake ketika Anda membagikan tabel. Daftar matriks dukungan ini:
- Fitur Delta yang memerlukan versi tertentu dari Databricks Runtime, konektor Delta Sharing Spark sumber terbuka, atau konektor Delta Sharing Python sumber terbuka.
- Fitur yang didukung sebagian.
Fitur | Penyedia | Penerima Databricks | Penerima sumber terbuka |
---|---|---|---|
Vektor penghapusan | Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum. |
|
|
Pemetaan kolom | Berbagi tabel dengan fitur ini sedang dalam tahap Pratinjau Umum. |
|
|
Format seragam | Berbagi tabel dengan fitur ini sedang dalam Pratinjau Umum. |
|
|
Titik pemeriksaan V2 | Didukung dengan batasan | Didukung dengan batasan | Didukung dengan batasan |
Tanda waktuNTZ | Didukung | Databricks Runtime 14.1+ | Konektor Delta Pembagian Spark 3.3+ |
Pengklusteran cairan | Didukung dengan batasan | Didukung dengan batasan | Didukung dengan batasan |
Tanya Jawab Seputar Berbagi Delta
Berikut ini adalah tanya jawab umum tentang Berbagi Delta.
Apakah saya memerlukan Katalog Unity untuk menggunakan Berbagi Delta?
Tidak, Anda tidak memerlukan Unity Catalog untuk berbagi (sebagai penyedia) atau menggunakan data bersama (sebagai penerima). Namun, Unity Catalog memberikan manfaat seperti dukungan untuk berbagi aset non-tabular dan AI, tata kelola siap pakai, kesederhanaan, dan performa kueri.
Penyedia dapat berbagi data dengan dua cara:
Letakkan aset untuk dibagikan di bawah manajemen Katalog Unity dan bagikan menggunakan server Berbagi Delta Azure Databricks bawaan.
Anda tidak perlu memigrasikan semua aset ke Unity Catalog. Anda hanya memerlukan satu ruang kerja Azure Databricks yang diaktifkan untuk Unity Catalog untuk mengelola aset yang ingin Anda bagikan. Di beberapa akun, ruang kerja baru secara otomatis diaktifkan untuk Katalog Unity. Lihat Pengaktifan otomatis untuk Unity Catalog.
Terapkan Server Delta Sharing yang terbuka untuk berbagi data, tanpa perlu menggunakan akun Azure Databricks Anda.
Penerima dapat menggunakan data dengan dua cara:
Tidak ada ruang kerja Databricks. Gunakan konektor Berbagi Delta sumber terbuka yang tersedia untuk banyak platform data, termasuk Power BI, panda, dan sumber terbuka Apache Spark. Lihat Membaca data yang dibagikan menggunakan Delta Sharing berbagi terbuka (untuk penerima) dan proyek sumber terbuka Delta Sharing .
Di ruang kerja Databricks. Ruang kerja penerima tidak perlu diaktifkan untuk Unity Catalog, tetapi jika diaktifkan, ada keuntungan dalam hal tata kelola, kesederhanaan, dan performa.
Organisasi penerima yang menginginkan keuntungan ini tidak perlu memigrasikan semua aset ke Unity Catalog. Anda hanya memerlukan satu ruang kerja Azure Databricks yang diaktifkan untuk Unity Catalog untuk mengelola aset yang dibagikan dengan Anda. Di beberapa akun, ruang kerja baru secara otomatis diaktifkan untuk Katalog Unity. Lihat Pengaktifan otomatis untuk Unity Catalog.
Lihat Membaca data yang dibagikan menggunakan Delta Sharing secara terbuka (untuk penerima) dan Membaca data yang dibagikan menggunakan Delta Sharing dari Databricks ke Databricks (untuk penerima).
Apakah saya harus menjadi pelanggan Databricks untuk menggunakan Berbagi Delta?
Tidak, Berbagi Delta adalah protokol terbuka. Anda dapat berbagi data non-Databricks dengan penerima di platform data apa pun. Penyedia dapat mengonfigurasi server Berbagi Delta terbuka untuk dibagikan dari platform komputasi apa pun. Penerima dapat mengonsumsi data yang dibagikan menggunakan konektor Delta Sharing sumber terbuka untuk banyak produk data, termasuk Power BI, pandas sumber terbuka, dan Spark sumber terbuka.
Namun, menggunakan Berbagi Delta di Azure Databricks, terutama berbagi dari ruang kerja yang mendukung Katalog Unity, memiliki banyak keuntungan.
Untuk detailnya, lihat pertanyaan pertama dalam FAQ ini.
Apakah penggunaan Delta Sharing dikenakan biaya keluar?
Berbagi Delta dalam suatu wilayah tidak dikenakan biaya keluar. Tidak seperti platform berbagi data lainnya, Berbagi Delta tidak memerlukan replikasi data. Model ini memiliki banyak keuntungan, tetapi artinya vendor cloud Anda dapat membebankan biaya keluar data saat Anda berbagi data di seluruh cloud atau wilayah. Azure Databricks mendukung berbagi dari Cloudflare R2, yang tidak dikenakan biaya keluar, dan menyediakan alat dan rekomendasi lain untuk memantau dan menghindari biaya keluar. Lihat Memantau dan mengelola biaya keluaran Delta Sharing (untuk penyedia).
Dapatkah penyedia mencabut akses penerima?
Ya, akses penerima dapat dicabut sesuai permintaan dan pada tingkat granularitas tertentu. Anda dapat menolak akses penerima ke berbagi tertentu dan alamat IP tertentu, memfilter data tabular untuk penerima, mencabut token penerima, dan menghapus penerima sepenuhnya. Lihat Mencabut akses penerima terhadap berbagi dan Membuat serta mengelola penerima data untuk Delta Sharing.
Bukankah tidak aman untuk menggunakan URL yang telah ditandatangani sebelumnya?
Berbagi Delta menggunakan URL yang telah ditandatangani sebelumnya untuk menyediakan akses sementara ke file di penyimpanan objek. Mereka hanya diberikan kepada penerima yang sudah memiliki akses ke data bersama. Mereka aman karena berumur pendek dan tidak memperluas tingkat akses di luar apa yang telah diberikan kepada penerima.
Apakah token yang digunakan dalam protokol berbagi terbuka Berbagi Delta aman?
Karena Berbagi Delta memungkinkan berbagi lintas platform—tidak seperti platform berbagi data lain yang tersedia—protokol berbagi memerlukan token terbuka. Penyedia dapat memastikan keamanan token dengan mengonfigurasi masa pakai token, mengatur kontrol jaringan, dan mencabut akses sesuai permintaan. Selain itu, token tidak memperluas tingkat akses di luar apa yang telah diberikan kepada para penerima. Lihat Pertimbangan keamanan untuk token.
Jika Anda lebih suka tidak menggunakan token untuk mengelola akses ke saham penerima, Anda sebaiknya menggunakan berbagi Databricks-ke-Databricks atau menghubungi tim akun Databricks Anda untuk alternatif lain.
Apakah Delta Sharing mendukung pembagian tampilan?
Iya, Delta Sharing mendukung berbagi tampilan. Lihat Tambahkan tampilan ke berbagi.
Untuk mempelajari tentang peningkatan yang direncanakan untuk berbagi tampilan, hubungi tim akun Databricks Anda.
Batasan
- Data tabular harus dalam format tabel Delta . Anda dapat dengan mudah mengonversi tabel Parquet ke Delta—dan kembali lagi. Lihat CONVERT TO DELTA.
- Delta Sharing mendukung tabel yang menggunakan pengelompokan liquid dan checkpoint V2, dengan batasan berikut:
- Penerima hanya dapat menjalankan kueri cuplikan. Mereka tidak dapat menjalankan umpan data perubahan (CDF) atau kueri streaming.
- Penyedia tidak dapat berbagi tabel dengan pemfilteran partisi.
- Penyedia tidak dapat membagikan tabel R2 dengan pengelompokan dinamis dan titik pemeriksaan V2.
- Batasan tabel (batasan kunci primer dan asing) tidak tersedia dalam tabel bersama.
- Tampilan yang dapat dibagikan harus ditentukan pada tabel Delta atau tampilan lain yang dapat dibagikan. Lihat Tambahkan tampilan ke berbagi (untuk penyedia) dan Baca tampilan bersama (untuk penerima).
- Berbagi buku catatan hanya didukung dalam berbagi Databricks-ke-Databricks. Lihat Menambahkan file buku catatan ke dalam pembagian dan Membaca data yang dibagikan menggunakan Berbagi Delta Databricks-ke-Databricks (untuk penerima).
- Pembagian volume hanya didukung di dalam pembagian antar Databricks. Lihat Menambahkan volume ke pembagian (untuk penyedia) dan Membaca data yang dibagikan melalui Delta Sharing Databricks-ke-Databricks (untuk penerima).
- Berbagi model hanya didukung dalam berbagi Databricks-ke-Databricks. Lihat Menambahkan model ke berbagi sumber daya (untuk penyedia) dan Membaca data yang dibagikan menggunakan fitur Berbagi Delta antar-Databricks (untuk penerima).
- Ada batasan jumlah file dalam metadata yang diizinkan untuk tabel bersama. Untuk mempelajari selengkapnya, lihat Kesalahan batas sumber daya terlampaui.
- Skema bernama
information_schema
tidak dapat diimpor ke metastore Unity Catalog, karena nama skema tersebut dicadangkan dalam Unity Catalog. - Berbagi tabel
SHALLOW CLONE
tidak didukung dalam Delta Sharing. Azure Databricks tidak mendukung prasigning URL untuk log Delta yang mereferensikan jalur absolut.
Lihat juga matriks dukungan fitur Delta Lake.
Kuota sumber daya
Azure Databricks menerapkan kuota sumber daya pada semua objek Delta Sharing yang dapat diamankan. Kuota ini tercantum dalam batas Sumber Daya. Jika Anda berharap melebihi batas sumber daya ini, hubungi tim akun Azure Databricks Anda.
Anda dapat memantau penggunaan kuota menggunakan API kuota sumber daya Unity Catalog. Lihat Memantau penggunaan kuota sumber daya Unity Catalog Anda.