Mencerminkan Azure Cosmos DB (Pratinjau)
Pencerminan di Microsoft Fabric memberikan pengalaman tanpa ETL yang mulus untuk mengintegrasikan data Azure Cosmos DB Anda yang ada dengan data Anda lainnya di Microsoft Fabric. Data Azure Cosmos DB Anda terus direplikasi secara langsung ke Fabric OneLake hampir real-time, tanpa dampak performa pada beban kerja transaksional Anda atau menggunakan Unit Permintaan (RUs).
Data di OneLake disimpan dalam format delta sumber terbuka dan secara otomatis tersedia untuk semua mesin analitik di Fabric.
Anda dapat menggunakan kemampuan Power BI bawaan untuk mengakses data dalam OneLake dalam mode DirectLake. Dengan Copilot penyempurnaan dalam Fabric, Anda dapat menggunakan kekuatan AI generatif untuk mendapatkan wawasan utama tentang data bisnis Anda. Selain Power BI, Anda bisa menggunakan T-SQL untuk menjalankan kueri agregat kompleks atau menggunakan Spark untuk eksplorasi data. Anda dapat mengakses data dengan mulus di notebook dan menggunakan ilmu data untuk membangun model pembelajaran mesin.
Penting
Pencerminan untuk Azure Cosmos DB sedang dalam pratinjau. Beban kerja produksi tidak didukung selama pratinjau. Saat ini, hanya Azure Cosmos DB untuk akun NoSQL yang didukung.
Mengapa menggunakan pencerminan di Fabric?
Dengan Mirroring in Fabric, Anda tidak perlu mengumpulkan layanan yang berbeda dari beberapa vendor. Sebagai gantinya, Anda dapat menikmati produk yang sangat terintegrasi, end-to-end, dan mudah digunakan yang dirancang untuk menyederhanakan kebutuhan analitik Anda dan dibangun untuk kebukaan.
Jika Anda mencari pelaporan atau analitik BI pada data operasional Anda di Azure Cosmos DB, pencerminan menyediakan:
- Tanpa ETL, hemat biaya mendekati akses real-time ke data Azure Cosmos DB Anda tanpa memengaruhi konsumsi unit permintaan Anda
- Kemudahan membawa data di berbagai sumber ke Fabric OneLake
- Pengoptimalan tabel Delta dengan Urutan V untuk pembacaan super cepat
- Integrasi satu klik dengan Power BI dengan Direct Lake dan Copilot
- Wawasan bisnis yang kaya dengan menggabungkan data di berbagai sumber
- Integrasi aplikasi yang lebih mendalam untuk mengakses kueri dan tampilan
Data OneLake disimpan dalam format Delta Lake sumber terbuka, memungkinkan Anda menggunakannya dengan berbagai solusi di dalam dan di luar Microsoft. Format data ini membantu mempermudah pembangunan satu data estate untuk kebutuhan analitik Anda.
Pengalaman analitik apa yang sudah terpasang?
Database yang dicerminkan adalah item di Fabric Data Warehousing berbeda dari Data Warehouse dan titik akhir analitik SQL.
Setiap database Azure Cosmos DB Mirrored memiliki tiga item yang dapat Anda berinteraksi di ruang kerja Fabric Anda:
- Item database yang dicerminkan. Pencerminan mengelola replikasi data ke OneLake dan konversi menjadi Parquet, dalam format yang siap untuk analisis. Ini memungkinkan skenario hilir seperti rekayasa data, ilmu data, dan banyak lagi.
- Titik akhir analitik SQL, yang dibuat secara otomatis
- Model semantik default, yang secara otomatis dihasilkan
Basis data pencerminan
Database yang dicerminkan menunjukkan status replikasi dan kontrol untuk menghentikan atau memulai replikasi di Fabric OneLake. Anda juga dapat melihat database sumber Anda, dalam mode baca-saja, menggunakan penjelajah data Azure Cosmos DB. Dengan menggunakan penjelajah data, Anda dapat menampilkan kontainer di database Azure Cosmos DB sumber Anda dan mengkuerinya. Operasi ini menggunakan unit permintaan (RU) dari akun Azure Cosmos DB Anda. Setiap perubahan pada database sumber segera tercermin dalam tampilan database sumber Fabric. Menulis ke database sumber tidak diizinkan dari Fabric, karena Anda hanya dapat melihat data.
Ujung Analitik SQL
Setiap database yang dicerminkan memiliki titik akhir analisis SQL yang dihasilkan otomatis yang memberikan fasilitas analitis yang kaya berbasis pada tabel Delta OneLake yang dibuat oleh proses pencerminan. Anda memiliki akses ke perintah T-SQL yang familier yang dapat menentukan dan mengkueri objek data tetapi tidak memanipulasi data dari titik akhir analitik SQL, karena ini adalah salinan baca-saja.
Anda dapat melakukan tindakan berikut di titik akhir analitik SQL:
- Jelajahi tabel Delta Lake menggunakan T-SQL. Setiap tabel dipetakan ke kontainer dari database Azure Cosmos DB Anda.
- Buat kueri dan tampilan tanpa kode dan jelajahi secara visual tanpa menulis baris kode.
- Gabungkan dan kueri data di database, Gudang, dan Lakehouse yang dicerminkan lainnya di ruang kerja yang sama.
- Anda dapat dengan mudah memvisualisasikan dan membangun laporan BI berdasarkan kueri atau tampilan SQL.
Selain editor kueri SQL, ada ekosistem alat yang beragam dan luas. Alat-alat ini termasuk ekstensi mssql dengan Visual Studio Code, SQL Server Management Studio (SSMS), dan bahkan GitHub Copilot. Anda dapat meningkatkan analisis dan penyusunan wawasan dari alat yang Anda pilih.
Model semantik
Model semantik default adalah Model Semantik Power BI yang disediakan secara otomatis. Fitur ini memungkinkan metrik bisnis dibuat, dibagikan, dan digunakan kembali. Untuk informasi selengkapnya, lihat model semantik.
Bagaimana cara kerja replikasi mendekati real-time?
Saat Anda mengaktifkan pencerminan pada database Azure Cosmos DB Anda, operasi penyisipan, pembaruan, dan penghapusan pada data pemrosesan transaksi online (OLTP) Anda terus direplikasi ke dalam Fabric OneLake untuk tujuan analisis.
Fitur pencadangan kontinu adalah prasyarat untuk penggandaan. Anda dapat mengaktifkan pencadangan berkelanjutan untuk periode 7 hari atau 30 hari di akun Azure Cosmos DB Anda. Jika Anda mengaktifkan pencadangan berkelanjutan khusus untuk pencerminan, pencadangan berkelanjutan 7 hari disarankan, karena bebas biaya.
Catatan
Pencerminan tidak menggunakan penyimpanan analitik Azure Cosmos DB atau umpan perubahan sebagai sumber penangkapan data perubahan. Anda dapat terus menggunakan kemampuan ini secara independen, bersama dengan pencerminan.
Dibutuhkan beberapa menit untuk mereplikasi Data Azure Cosmos DB Anda ke Fabric OneLake. Bergantung pada rekam jepret awal data Anda atau frekuensi pembaruan/penghapusan, replikasi juga dapat memakan waktu lebih lama dalam beberapa kasus. Replikasi tidak memengaruhi unit permintaan (RU) yang Anda alokasikan untuk beban kerja transaksional Anda.
Apa yang diharapkan dari pencerminan
Ada beberapa pertimbangan dan skenario yang didukung yang harus Anda perhatikan sebelum melakukan mirroring.
Pertimbangan penyiapan
Untuk merefleksikan database, itu harus sudah disediakan di Azure. Anda harus mengaktifkan pencadangan berkelanjutan pada akun sebagai prasyarat.
- Anda hanya dapat mencerminkan setiap database satu per satu. Anda dapat memilih database mana yang akan dicerminkan.
- Anda dapat mereplikasi database yang sama beberapa kali dalam ruang kerja yang sama. Sebagai praktik terbaik, satu salinan basis data dapat digunakan kembali di berbagai rumah data, gudang, atau basis data cermin lainnya. Anda tidak perlu menyiapkan beberapa cermin ke database yang sama.
- Anda juga dapat menduplikasi database yang sama di berbagai ruang kerja atau tenant Fabric.
- Perubahan pada kontainer Azure Cosmos DB, seperti menambahkan kontainer baru dan menghapus kontainer yang ada, direplikasi dengan mulus ke Fabric. Anda dapat mulai mereplikasi database kosong tanpa kontainer, misalnya, dan replikasi akan secara mulus mengambil kontainer yang ditambahkan pada waktu berikutnya.
Dukungan untuk data berlapis
Data berlapis ditampilkan sebagai string JSON dalam tabel titik akhir analitik SQL. Anda dapat menggunakan OPENJSON, CROSS APPLY, dan OUTER APPLY dalam kueri atau tampilan T-SQL untuk memperluas data ini secara selektif. Jika Anda menggunakan Power Query, Anda juga bisa menerapkan ToJson fungsi untuk memperluas data ini.
Catatan
Fabric memiliki batasan untuk kolom string berukuran 8 KB. Untuk informasi selengkapnya, lihat batasan gudang data.
Menangani perubahan skema
Pencerminan secara otomatis mereplikasi properti di seluruh item Azure Cosmos DB, dengan perubahan skema. Setiap properti baru yang ditemukan dalam item ditampilkan sebagai kolom baru dan properti yang hilang, jika ada, dinyatakan sebagai null dalam Fabric.
Jika Anda mengganti nama properti dalam item, tabel Fabric akan mempertahankan kolom lama dan baru. Kolom lama akan menampilkan null dan yang baru akan menampilkan nilai terbaru, untuk item apa pun yang direplikasi setelah operasi penggantian nama.
Jika Anda mengubah jenis data properti di item Azure Cosmos DB, perubahan didukung untuk jenis data yang kompatibel yang dapat dikonversi. Jika jenis data tidak kompatibel untuk konversi di Delta, jenis data tersebut direpresentasikan sebagai nilai null.
Tabel titik akhir analitik SQL mengonversi jenis data Delta menjadi jenis data T-SQL.
Nama kolom yang duplikat
Azure Cosmos DB mendukung nama kolom yang tidak sensitif terhadap huruf besar/kecil, berdasarkan standar JSON. Pencerminan mendukung nama kolom duplikat ini dengan menambahkan _n ke nama kolom, di mana n akan menjadi nilai numerik.
Misalnya, jika item Azure Cosmos DB memiliki addressName dan AddressName sebagai properti unik, tabel Fabric memiliki kolom addressName dan AddressName_1 yang sesuai. Untuk informasi selengkapnya, lihat batasan replikasi.
Keamanan
Koneksi ke database sumber Anda didasarkan pada kunci akun untuk akun Azure Cosmos DB Anda. Jika Anda memutar atau meregenerasi kunci, Anda perlu memperbarui koneksi untuk memastikan replikasi berfungsi. Untuk informasi selengkapnya, lihat koneksi.
Kunci akun tidak langsung terlihat oleh pengguna Fabric lain setelah koneksi disiapkan. Anda dapat membatasi siapa yang memiliki akses ke koneksi yang dibuat di Fabric. Penulisan tidak diizinkan ke database Azure Cosmos DB baik dari penjelajah data atau titik akhir analitik di database cermin Anda.
Pencerminan saat ini tidak mendukung autentikasi menggunakan kunci akun baca-saja, akses menyeluruh (SSO) dengan ID Microsoft Entra dan kontrol akses berbasis peran, atau identitas terkelola.
Setelah data direplikasi ke Fabric OneLake, Anda perlu mengamankan akses ke data ini.
Fitur perlindungan data
Keamanan terperinci dapat dikonfigurasi dalam database cermin di Microsoft Fabric. Untuk informasi selengkapnya, lihat izin terperinci di Microsoft Fabric.
Anda dapat mengamankan filter kolom dan filter baris berbasis predikat pada tabel ke peran dan pengguna di Microsoft Fabric:
Anda juga dapat menutupi data sensitif dari pengguna non admin menggunakan masking data dinamis:
Keamanan jaringan
Saat ini, pencerminan tidak mendukung titik akhir privat atau kunci yang dikelola pelanggan (Customer Managed Keys/CMK) di OneLake. Pencerminan tidak didukung untuk akun Azure Cosmos DB dengan konfigurasi keamanan jaringan kurang permisif daripada semua jaringan, menggunakan titik akhir layanan, menggunakan titik akhir privat, menggunakan alamat IP, atau menggunakan pengaturan lain yang dapat membatasi akses jaringan publik ke akun. Akun Azure Cosmos DB harus terbuka untuk semua jaringan-jaringan agar dapat bekerja dengan pencerminan.
Pemulihan bencana dan latensi replikasi
Di Fabric, Anda dapat menyebarkan konten ke pusat data di wilayah selain wilayah asal penyewa Fabric. Untuk informasi selengkapnya, lihat dukungan multi-geo.
Untuk akun Azure Cosmos DB dengan wilayah tulis utama dan beberapa wilayah baca, pencerminan memilih wilayah baca Azure Cosmos DB yang paling dekat dengan wilayah tempat kapasitas Fabric dikonfigurasi. Pilihan ini membantu menyediakan replikasi latensi rendah untuk pencerminan.
Saat Anda mengalihkan akun Azure Cosmos DB Anda ke wilayah pemulihan, pencerminan secara otomatis memilih wilayah Azure Cosmos DB terdekat lagi.
Catatan
Pencerminan tidak mendukung akun dengan beberapa wilayah penulisan.
Data Cosmos DB Anda yang direplikasi ke OneLake perlu dikonfigurasi untuk menangani pemadaman di seluruh wilayah. Untuk informasi selengkapnya, lihat pemulihan bencana di OneLake.
Menjelajahi data Anda dengan pencerminan
Anda dapat langsung melihat dan mengakses data yang dicerminkan di OneLake. Anda juga dapat mengakses data yang dicerminkan dengan lancar tanpa memindahkan data lebih lanjut.
Pelajari selengkapnya tentang cara mengakses OneLake menggunakan API atau SDK ADLS Gen2, Penjelajah File OneLake, dan penjelajah Azure Storage.
Anda dapat menyambungkan ke titik akhir analitik SQL dari alat seperti SQL Server Management Studio (SSMS) atau menggunakan driver seperti Microsoft Open Database Connectivity (ODBC) dan Java Database Connectivity (JDBC). Untuk informasi selengkapnya, lihat Konektivitas titik akhir analitik SQL.
Anda juga dapat mengakses data yang direplikasi dengan layanan seperti:
- Layanan Azure seperti Azure Databricks, Azure HDInsight, atau Azure Synapse Analytics
- Fabric Lakehouse menggunakan pintasan untuk skenario rekayasa data dan ilmu data
- Database atau gudang cermin lainnya di ruang kerja Fabric
Anda juga dapat membangun solusi arsitektur medali, membersihkan dan mengubah data yang mendarat menjadi database cermin sebagai lapisan perunggu. Untuk informasi selengkapnya, lihat dukungan arsitektur medali di Fabric.
Harga
Fabric compute yang digunakan untuk mereplikasi data Cosmos DB Anda ke dalam Fabric OneLake gratis. Penyimpanan di OneLake bebas biaya berdasarkan ukuran kapasitas. Untuk informasi selengkapnya, lihat Harga OneLake untuk replikasi. Penggunaan komputasi untuk mengkueri data melalui SQL, Power BI, atau Spark masih dikenakan biaya berdasarkan Kapasitas Fabric.
Jika Anda menggunakan penjelajah data di pencerminan Fabric, Anda akan dikenakan biaya standar berdasarkan penggunaan unit permintaan (RU) untuk menjelajahi kontainer dan melakukan kueri pada item di database sumber Azure Cosmos DB. Fitur pencadangan berkelanjutan Azure Cosmos DB adalah prasyarat untuk melakukan pencerminan: biaya standar untuk pencadangan berkelanjutan dikenakan. Tidak ada biaya tambahan untuk pencerminan pada penagihan cadangan berkelanjutan. Untuk informasi selengkapnya, lihat Harga Azure Cosmos DB.