Apa itu Mirroring in Fabric?
Mirroring in Fabric adalah solusi bernilai rendah dan latensi rendah untuk menyatukan data dari berbagai sistem ke dalam satu platform analitik. Anda dapat terus mereplikasi data estate yang ada langsung ke OneLake Fabric dari berbagai database Azure dan sumber data eksternal.
Dengan data terbaru dalam format yang dapat dikueri di OneLake, Anda sekarang dapat menggunakan semua layanan berbeda di Fabric, seperti menjalankan analitik dengan Spark, menjalankan notebook, rekayasa data, memvisualisasikan melalui Laporan Power BI, dan banyak lagi.
Mirroring in Fabric memungkinkan pengguna untuk menikmati produk yang sangat terintegrasi, end-to-end, dan mudah digunakan yang dirancang untuk menyederhanakan kebutuhan analitik Anda. Dibangun untuk keterbukaan dan kolaborasi antara Microsoft dan solusi teknologi yang dapat membaca format tabel Delta Lake sumber terbuka, Mirroring adalah solusi turnkey berbiaya rendah dan latensi rendah yang memungkinkan Anda membuat replika data Anda di OneLake, yang dapat digunakan untuk semua kebutuhan analitik Anda.
Tabel Delta kemudian dapat digunakan di mana-mana Fabric, memungkinkan pengguna untuk mempercepat perjalanan mereka ke Fabric.
Mengapa menggunakan Mirroring in Fabric?
Saat ini banyak organisasi memiliki data operasional atau analitik misi penting yang berada di silo.
Mengakses dan bekerja dengan data ini memerlukan alur ETL (Ekstrak, Transformasi, Muat) yang kompleks, proses bisnis, dan silo keputusan, yang menciptakan:
- Akses dibatasi dan terbatas ke data penting yang selalu berubah
- Gesekan antara orang, proses, dan teknologi
- Waktu tunggu yang lama untuk membuat jalur data dan memproses data yang sangat penting.
- Tidak ada kebebasan untuk menggunakan alat yang Anda butuhkan untuk menganalisis dan berbagi wawasan dengan nyaman
- Kurangnya fondasi yang tepat bagi orang untuk berbagi dan berkolaborasi pada data
- Tidak ada format data terbuka umum untuk semua skenario analitik - BI, AI, Integrasi, Teknik, dan bahkan Aplikasi
Mirroring dalam Fabric memberikan pengalaman yang mudah untuk mempercepat waktu untuk mendapatkan nilai dari wawasan dan keputusan, serta menghilangkan pemisahan data antar solusi teknologi.
- Replikasi data dan metadata mendekati real time ke dalam data lake SaaS, dengan analitik bawaan bawaan untuk BI dan AI
Platform Microsoft Fabric dibangun di atas fondasi Software as a Service (SaaS), yang mengambil kesederhanaan dan integrasi ke tingkat yang sama sekali baru. Untuk mempelajari selengkapnya tentang Microsoft Fabric, lihat Apa itu Microsoft Fabric?
Pencerminan membuat tiga item di ruang kerja Fabric Anda:
- Pencerminan mengelola replikasi data dan metadata ke OneLake dan konversi ke Parquet, dalam format siap analitik. Ini memungkinkan skenario hilir seperti rekayasa data, ilmu data, dan banyak lagi.
- Titik akhir analitik SQL
- Model semantik bawaan
Selain editor query SQL, terdapat ekosistem alat yang luas termasuk SQL Server Management Studio (SSMS), ekstensi mssql dengan Visual Studio Code, dan bahkan GitHub Copilot.
Berbagi memungkinkan kemudahan kontrol dan manajemen akses, untuk memastikan Anda dapat mengontrol akses ke informasi sensitif. Berbagi juga memungkinkan pengambilan keputusan yang aman dan demokratisasi di seluruh organisasi Anda.
Jenis pencerminan
Fabric menawarkan tiga pendekatan berbeda dalam membawa data ke OneLake melalui pencerminan.
- Pencerminan database – Pencerminan database di Microsoft Fabric memungkinkan replikasi seluruh database dan tabel, memungkinkan Anda untuk menyatukan data dari berbagai sistem ke dalam satu platform analitik.
- Pencerminan metadata – Pencerminan metadata di Fabric menyinkronkan metadata (seperti nama katalog, skema, dan tabel) alih-alih memindahkan data secara fisik. Pendekatan ini memanfaatkan pintasan, memastikan data tetap berada di sumbernya sambil tetap mudah diakses dalam Fabric.
- Pencerminan terbuka - Pencerminan terbuka di Fabric dirancang untuk memperluas pencerminan berdasarkan format tabel Delta Lake terbuka. Kemampuan ini memungkinkan pengembang untuk menulis data perubahan aplikasi mereka langsung ke item database cermin di Microsoft Fabric, berdasarkan pendekatan pencerminan terbuka dan API publik.
Saat ini, database eksternal berikut ini tersedia:
| Platforma | Replikasi mendekati real-time | Jenis pencerminan | Tutorial menyeluruh |
|---|---|---|---|
| Database direplikasi Microsoft Fabric dari Azure Cosmos DB (pratinjau) | Ya | Pencerminan Database | Tutorial: Azure Cosmos DB |
| Database digandakan Microsoft Fabric dari Azure Databricks (pratinjau) | Ya | Pencerminan metadata | Tutorial: Azure Databricks |
| Database yang dicerminkan Microsoft Fabric dari Azure SQL Database | Ya | Pemantulan Basis Data | Tutorial: Azure SQL Database |
| Database terpantul Microsoft Fabric dari Azure SQL Managed Instance (pratinjau) | Ya | Replikasi Database | Tutorial: Azure SQL Managed Instance |
| Microsoft Fabric menduplikasi database dari Snowflake | Ya | Pencerminan Database | Tutorial: Snowflake |
| Database cermin buka (pratinjau) | Ya | Buka cerminan layar | Tutorial: Membuka mirroring |
| Microsoft Fabric memantulkan basis data dari Fabric SQL database (pratinjau) | Ya | Pencerminan Database | Dikonfigurasi secara otomatis |
Bagaimana cara kerja replikasi pencerminan database yang hampir real time?
Pencerminan diaktifkan dengan membuat koneksi aman ke sumber data operasional Anda. Anda memilih apakah akan mereplikasi seluruh database atau tabel individual dan Pencerminan akan secara otomatis menjaga data Anda tetap sinkron. Setelah disiapkan, data akan terus direplikasi ke dalam OneLake untuk konsumsi analitik.
Berikut ini adalah tenet inti Mirroring:
Mengaktifkan Mirroring in Fabric sederhana dan intuitif, tanpa perlu membuat alur ETL yang kompleks, mengalokasikan sumber daya komputasi lainnya, dan mengelola pergerakan data.
Mirroring in Fabric adalah layanan yang dikelola sepenuhnya, jadi Anda tidak perlu khawatir tentang hosting, pemeliharaan, atau pengelolaan replikasi koneksi cermin.
Bagaimana cara kerja pencerminan metadata?
Pencerminan tidak hanya memungkinkan replikasi data tetapi juga dapat dicapai melalui pintasan atau pencerminan metadata daripada replikasi data penuh, memungkinkan data tersedia tanpa memindahkan atau menduplikasinya secara fisik. Pencerminan dalam konteks ini mengacu pada replikasi hanya metadata—seperti nama katalog, skema, dan tabel—bukan data aktual itu sendiri. Pendekatan ini memungkinkan Fabric untuk membuat data dari berbagai sumber dapat diakses tanpa menduplikasinya, menyederhanakan manajemen data dan meminimalkan kebutuhan penyimpanan.
Misalnya, saat mengakses data yang terdaftar di Unity Catalog, Fabric hanya mencerminkan struktur katalog dari Azure Databricks, yang memungkinkan data yang mendasar diakses melalui pintasan. Metode ini memastikan bahwa setiap perubahan dalam data sumber langsung tercermin dalam Fabric tanpa memerlukan pergerakan data, mempertahankan sinkronisasi real-time dan meningkatkan efisiensi dalam mengakses informasi terbaru.
Bagaimana cara kerja pencerminan terbuka?
Selain memungkinkan pencerminan untuk mengaktifkan replikasi data dengan membuat koneksi aman ke sumber data Anda, Anda juga dapat memilih penyedia data yang sudah ada atau menulis aplikasi Anda sendiri untuk menyimpan data ke dalam database yang dicerminkan. Setelah Anda membuat database cermin terbuka melalui API publik atau melalui portal Fabric, Anda akan dapat memperoleh URL zona pendaratan di OneLake, di mana Anda dapat mendaratkan data perubahan per spesifikasi pencerminan terbuka.
Setelah data berada di zona pendaratan dengan format yang tepat, replikasi akan mulai berjalan dan mengelola kompleksitas penggabungan perubahan dengan pembaruan, sisipkan, dan hapus untuk direfleksikan ke dalam tabel delta. Metode ini memastikan bahwa setiap data yang ditulis ke zona pendaratan akan segera diproses dan memastikan data di dalam Fabric selalu terbarui.
Berbagi
Berbagi memungkinkan kemudahan manajemen dan kontrol akses, sementara kontrol keamanan seperti Keamanan Tingkat Baris (RLS) dan Keamanan Tingkat Objek (OLS), serta lain-lain memastikan Anda dapat mengontrol akses ke informasi sensitif. Berbagi juga memungkinkan pengambilan keputusan yang aman dan demokratisasi di seluruh organisasi Anda.
Dengan berbagi, pengguna memberi pengguna lain atau sekelompok pengguna akses ke database cermin tanpa memberikan akses ke ruang kerja dan sisa itemnya. Saat seseorang berbagi database cermin, mereka juga memberikan akses ke titik akhir analitik SQL dan model semantik default terkait.
Untuk informasi selengkapnya, lihat Bagikan database yang dicerminkan Anda dan kelola izin.
Kueri lintas database
Dengan data dari database cermin Anda yang disimpan di OneLake, Anda dapat menulis kueri lintas database, menggabungkan data dari database cermin, gudang, dan titik akhir analitik SQL Lakehouses dalam satu kueri T-SQL. Untuk informasi selengkapnya, lihat Menulis kueri lintas database.
Misalnya, Anda dapat mereferensikan tabel dari database dan gudang yang dicerminkan menggunakan penamaan tiga bagian. Dalam contoh berikut, gunakan nama tiga bagian untuk merujuk ContosoSalesTable di gudang ContosoWarehouse. Dari database atau gudang data lainnya, bagian pertama dari konvensi penamaan tiga bagian SQL standar adalah nama database yang direplikasi.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Biaya pencerminan
Untuk pencerminan database dan pencerminan terbuka, komputasi Fabric dan penyimpanan OneLake hingga batas berbasis kapasitas gratis.
- Penyimpanan untuk replika bebas hingga batas berdasarkan ukuran kapasitas. Mirroring menawarkan penyimpanan pencerminan gratis sebesar satu terabyte untuk setiap unit kapasitas (CU) yang telah Anda beli. Misalnya, jika Anda membeli kapasitas F64, Anda mendapatkan penyimpanan senilai 64 terabyte gratis, yang secara eksklusif digunakan untuk pencerminan. Penyimpanan OneLake ditagih jika batas penyimpanan Mirroring gratis terlampaui, atau saat kapasitas dijeda. Untuk informasi selengkapnya, lihat Harga Microsoft Fabric .
- Komputasi fabric yang digunakan untuk mereplikasi data Anda ke Fabric OneLake gratis dan tidak mengonsumsi kapasitas. Permintaan ke OneLake sebagai bagian dari proses pencerminan mengonsumsi kapasitas sama seperti konsumsi komputasi OneLake pada umumnya. Komputasi untuk mengkueri data menggunakan SQL, Power BI, atau Spark dikenakan biaya reguler.
Rekayasa Data dengan data database cermin Anda
Microsoft Fabric menyediakan berbagai kemampuan rekayasa data untuk memastikan bahwa data Anda mudah diakses, terorganisir dengan baik, dan berkualitas tinggi. Dari Rekayasa Data Fabric, Anda dapat:
- Membuat dan mengelola data Anda sebagai Spark menggunakan lakehouse
- Merancang alur untuk menyalin data ke lakehouse Anda
- Menggunakan definisi kerja Spark untuk mengirimkan pekerjaan batch/streaming ke kluster Spark
- Menggunakan notebook untuk menulis kode untuk penyerapan, persiapan, dan transformasi data
Ilmu Data dengan data database cermin Anda
Microsoft Fabric menawarkan Fabric Data Science untuk mengizinkan pengguna menyelesaikan workflow ilmu data end-to-end demi pengayaan data dan mendapatkan wawasan bisnis. Anda dapat menyelesaikan berbagai aktivitas di seluruh proses ilmu data, mulai dari eksplorasi data, persiapan dan pembersihan hingga eksperimen, pemodelan, penilaian model, dan penyajian wawasan prediktif ke laporan BI.
Pengguna Microsoft Fabric dapat mengakses beban kerja Ilmu Data. Dari sana, mereka dapat menemukan dan mengakses berbagai sumber daya yang relevan. Misalnya, mereka dapat membuat Eksperimen, Model, dan Notebook pembelajaran mesin. Mereka juga dapat mengimpor Notebook yang sudah ada di halaman Beranda Ilmu Data.
Database SQL di Fabric
Anda juga dapat langsung membuat dan mengelola database SQL di Microsoft Fabric (Pratinjau) di dalam portal Fabric. Berdasarkan Azure SQL Database, database SQL di Fabric secara otomatis dicerminkan untuk tujuan analitik dan memungkinkan Anda untuk dengan mudah membuat database operasional Anda di Fabric. Database SQL adalah rumah dalam Fabric untuk beban kerja OLTP, dan dapat berintegrasi dengan integrasi kontrol sumber Fabric.