Apa itu Azure Databricks Clean Rooms?
Artikel ini memperkenalkan Clean Rooms, fitur Azure Databricks yang menggunakan Berbagi Delta dan komputasi tanpa server untuk menyediakan lingkungan yang aman dan melindungi privasi di mana beberapa pihak dapat bekerja sama pada data perusahaan sensitif tanpa akses langsung ke data satu sama lain.
Persyaratan
Agar memenuhi syarat untuk menggunakan kamar bersih, Anda harus memiliki:
- Akun yang diaktifkan untuk komputasi tanpa server. Lihat Mengaktifkan komputasi tanpa server.
- Ruang kerja yang telah diaktifkan untuk Katalog Unity. Lihat Mengaktifkan ruang kerja pada Unity Catalog.
- Fitur Berbagi Delta diaktifkan untuk metastore Anda di Katalog Unity. Lihat Aktifkan Delta Sharing pada Metastore.
Bagaimana cara kerja Clean Rooms?
Saat membuat ruang bersih, Anda membuat yang berikut ini:
- Objek ruangan bersih yang aman di metastore Unity Catalog Anda.
- Ruang bersih "pusat", yang merupakan lingkungan ephemeral terisolasi yang dikelola oleh Databricks.
- Objek clean room yang dapat diamankan dalam metastore Unity Catalog milik kolaborator Anda.
Tabel, volume (data non-tabular), tampilan, dan notebook yang dibagikan oleh kolaborator di dalam ruang bersih hanya dibagikan dengan ruang bersih pusat, menggunakan Delta Sharing.
Kolaborator tidak dapat melihat data dalam tabel, tampilan, atau volume kolaborator lain, tetapi mereka dapat melihat nama kolom dan jenis kolom, dan mereka dapat menjalankan kode buku catatan yang disetujui yang beroperasi melalui aset data. Kode notebook berjalan di ruang bersih utama. Notebook juga dapat menghasilkan tabel output yang memungkinkan kolaborator Anda menyimpan output baca-saja untuk sementara ke metastore Unity Catalog mereka sehingga mereka dapat bekerja dengannya di ruang kerja mereka.
Bagaimana Clean Rooms memastikan lingkungan tanpa kepercayaan?
Model Databricks Clean Rooms adalah "tanpa kepercayaan." Semua kolaborator di ruang bersih tanpa kepercayaan memiliki hak istimewa yang sama, termasuk pembuat ruang bersih. Clean Rooms dirancang untuk mencegah berjalannya kode yang tidak sah dan berbagi data yang tidak sah. Misalnya, semua kolaborator harus menyetujui buku catatan sebelum dapat dijalankan. Kepercayaan ini diberlakukan secara implisit dengan mencegah kolaborator menjalankan buku catatan apa pun yang telah mereka buat sendiri: Anda hanya dapat menjalankan buku catatan yang dibuat oleh kolaborator lain.
Perlindungan atau pembatasan tambahan
Perlindungan berikut diberlakukan selain proses persetujuan notebook implisit yang disebutkan di atas:
Setelah ruang bersih dibuat, ruang tersebut dikunci untuk mencegah kolaborator baru bergabung dengan ruang bersih.
Jika ada kolaborator yang menghapus ruang bersih, ruang bersih pusat menjadi batal dan tidak ada tugas ruang bersih yang dapat dijalankan oleh pengguna mana pun.
Setiap kamar bersih dibatasi hingga dua kolaborator.
Anda tidak dapat mengganti nama ruang bersih.
Nama kamar yang bersih harus unik di metastore setiap kolaborator, sehingga semua kolaborator dapat merujuk ke ruang bersih yang sama secara tidak ambigu.
Komentar mengenai ruangan bersih yang dapat diamankan di ruang kerja masing-masing kolaborator tidak akan disebarkan ke kolaborator lain.
Apa yang dibagikan dengan kolaborator lain?
- Nama kamar bersih.
- Cloud dan wilayah ruang bersih pusat.
- Nama organisasi Anda (yang bisa berupa nama apa pun yang Anda pilih).
- Pengidentifikasi berbagi ruang bersih Anda (ID metastore global + ID ruang kerja + alamat email pengguna).
- Alias dari tabel bersama, tampilan bersama, atau volume bersama.
- Metadata kolom (nama kolom atau alias dan jenis).
- Buku Catatan (baca-saja).
- Tabel Output (hanya baca, sementara).
- Tabel sistem acara ruang bersih.
- Riwayat pelaksanaan, termasuk:
- Nama buku catatan yang sedang dijalankan
- Kolaborator yang menjalankan buku catatan (bukan pengguna).
- Status pelaksanaan notebook.
- Waktu mulai eksekusi notebook.
Apa yang dibagikan dengan ruang bersih pusat?
Semua yang tercantum di bagian sebelumnya.
Tabel, volume, tampilan, dan notebook bacasaja.
Tabel, tampilan, dan volume terdaftar di metastore ruang bersih utama dengan alias yang disediakan. Aset data dibagikan sepanjang siklus hidup ruang bersih.
Tanya Jawab Umum Kamar Bersih
Berikut ini adalah pertanyaan yang sering diajukan tentang kamar bersih.
Bagaimana data saya dikelola di ruangan yang bersih?
Ruang bersih pusat dikelola oleh Azure Databricks. Di ruang bersih pusat:
- Kedua pihak tidak memiliki akses admin.
- Hanya metadata yang terlihat oleh semua pihak.
- Setiap pihak dapat menambahkan data ke ruang bersih pusat.
- Ruang bersih menggunakan Delta Sharing untuk berbagi data dengan aman di dalam ruang bersih, tetapi tidak di antara peserta. Lihat Apa yang dimaksud dengan Delta Sharing?.
Bagaimana data saya tetap privat?
Ruang bersih pusat berjalan pada platform komputasi tanpa server yang terisolasi dan dikelola oleh Databricks, yang di-hosting di wilayah penyedia cloud yang dipilih oleh pencipta ruang bersih.
Kamar bersih menyediakan:
- Persetujuan kode: Pembuat dan kolaborator ruang steril dapat berbagi tabel dan volume dengan ruang steril utama tetapi hanya dapat menjalankan notebook yang diunggah oleh pihak lain. Anda dapat meninjau kode yang ditambahkan oleh pihak lain sebelum menyetujui. Jika Anda menjalankan buku catatan yang ditambahkan oleh pihak lain, Anda secara implisit menyetujui kode.
- Kontrol versi: Notebook digital di clean rooms memiliki kontrol versi untuk memastikan bahwa semua pihak hanya dapat menjalankan notebook digital yang telah mendapatkan persetujuan penuh. Hanya versi terbaru buku catatan yang dapat dijalankan. Anda dapat menggunakan tabel sistem ruangan bersih untuk melihat versi buku catatan mana yang dijalankan dan memantau perubahan apa pun yang dibuat.
- Akses terbatas: Saat membuat ruang bersih, Anda dapat menggunakan kontrol keluar tanpa server untuk mengelola koneksi jaringan keluar. Jika Anda membatasi akses dari ruang bersih Anda, akses ke penyimpanan yang tidak sah akan diblokir. Lihat Apa itu kontrol keluar tanpa server?.
Untuk mempelajari selengkapnya tentang keamanan dan bidang komputasi tanpa server, lihat jaringan sarana komputasi Tanpa Server.
Bagaimana tindakan direkam?
Tindakan kamar bersih yang diambil oleh Anda atau kolaborator Anda direkam dalam tabel sistem acara kamar bersih. Catatan ini mencakup metadata terperinci tentang tindakan tertentu yang diambil. Lihat referensi tabel sistem peristiwa ruangan bersih .
Tindakan terkait clean room juga dicatat di log audit akun Anda di bawah layanan clean-room. Lihat referensi tabel sistem log audit .
Bagaimana cara kerja penagihan?
Untuk mempelajari selengkapnya tentang harga Databricks Clean Rooms, lihat tautan .
Batasan
Batasan berikut berlaku:
- Tidak ada kredensial layanan pustaka Scala yang disertakan dalam versi Databricks Runtime yang diperlukan.
Kuota sumber daya
Azure Databricks memberlakukan kuota sumber daya pada semua objek yang dapat diamankan Clean Room. Kuota ini tercantum dalam batas Sumber Daya. Jika Anda berharap melebihi batas sumber daya ini, hubungi tim akun Azure Databricks Anda.
Anda dapat memantau penggunaan kuota menggunakan API kuota sumber daya Unity Catalog. Lihatlah cara memantau penggunaan kuota sumber daya Unity Catalog Anda .