Apa yang baru dan direncanakan untuk Data Factory di Microsoft Fabric
Penting
Rencana rilis menjelaskan fungsionalitas yang mungkin atau mungkin belum dirilis. Garis waktu pengiriman dan fungsionalitas yang diproyeksikan dapat berubah atau mungkin tidak dikirim. Lihat kebijakan Microsoft untuk informasi selengkapnya.
Data Factory di Microsoft Fabric menggabungkan integrasi data warga dan kemampuan integrasi data pro ke dalam satu pengalaman integrasi data modern. Ini menyediakan konektivitas ke lebih dari 100 database relasional dan nonrelasional, lakehouse, gudang data, antarmuka generik seperti REST API, OData, dan banyak lagi.
Aliran data: Dataflow Gen2 memungkinkan Anda melakukan transformasi data skala besar, dan mendukung berbagai tujuan output yang menulis ke Azure SQL Database, Lakehouse, Gudang Data, dan banyak lagi. Editor aliran data menawarkan lebih dari 300 transformasi, termasuk opsi berbasis AI, dan memungkinkan Anda mengubah data dengan mudah dengan fleksibilitas yang lebih baik daripada alat lainnya. Baik Anda mengekstrak data dari sumber data yang tidak terstruktur seperti halaman web atau membentuk ulang tabel yang ada di editor Power Query, Anda dapat dengan mudah menerapkan Ekstraksi Data Menurut Contoh Power Query, yang menggunakan kecerdasan buatan (AI) dan menyederhanakan prosesnya.
Alur data: Alur data menawarkan kemampuan untuk membuat alur kerja orkestrasi data serbaguna yang menyatukan tugas seperti ekstraksi data, memuat ke penyimpanan data pilihan, eksekusi notebook, eksekusi skrip SQL, dan banyak lagi. Anda dapat dengan cepat membangun alur data berbasis metadata yang kuat yang mengotomatiskan tugas berulang. Misalnya, memuat dan mengekstrak data dari tabel yang berbeda dalam database, melakukan iterasi melalui beberapa kontainer di Azure Blob Storage, dan banyak lagi. Selain itu, dengan alur data, Anda dapat mengakses data dari Microsoft 365, menggunakan konektor Microsoft Graph Data Connection (MGDC).
Pekerjaan Salin: Menyalin pekerjaan menyederhanakan pengalaman penyerapan data dengan proses yang efisien dan mudah digunakan, memindahkan data dalam skala petabyte dari sumber apa pun ke tujuan mana pun. Anda dapat menyalin data dengan berbagai gaya pengiriman data, termasuk salinan batch, salinan bertahap, dan banyak lagi.
Pekerjaan Apache Airflow: Pekerjaan Apache Airflow adalah generasi berikutnya dari Manajer Orkestrasi Alur Kerja Azure Data Factory. Ini adalah cara sederhana dan efisien untuk membuat dan mengelola pekerjaan orkestrasi Apache Airflow, memungkinkan Anda menjalankan Directed Acyclic Graphs (DAG) dalam skala besar dengan mudah. Pekerjaan Apache Airflow memberdayakan Anda dengan pengalaman integrasi data modern untuk menyerap, menyiapkan, mengubah, dan mengatur data dari sekumpulan sumber data yang kaya menggunakan kode.
Pencerminan Database: Pencerminan Database dalam Fabric adalah solusi latensi rendah dan bernilai rendah, yang dirancang dengan standar terbuka (misalnya format tabel Delta Lake). Ini memungkinkan Anda untuk mereplikasi data dan metadata dari berbagai sistem dengan cepat. Dengan menggunakan Pencerminan Database, Anda dapat terus mereplikasi data estate Anda ke Microsoft Fabric OneLake untuk analitik. Dengan pengalaman yang sangat terintegrasi dan mudah digunakan, Anda sekarang dapat menyederhanakan cara memulai kebutuhan analitik Anda.
Untuk mempelajari lebih lanjut, lihat dokumentasi.
Area investasi
Selama beberapa bulan ke depan, Data Factory di Microsoft Fabric akan memperluas opsi konektivitasnya dan terus menambahkan ke pustaka transformasi dan aktivitas alur data yang kaya. Selain itu, ini memungkinkan Anda untuk melakukan replikasi data berperforma tinggi secara real time dari database operasional, dan membawa data ini ke lake untuk analitik.
Dukungan CI/CD dan API Publik Dataflow Gen2
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Kemampuan Dataflow Gen2 akan ditingkatkan untuk mendukung fitur-fitur berikut di Fabric, termasuk:
- Mampu menyertakan item Dataflow Gen2 dalam alur penyebaran ALM.
- Mampu memanfaatkan item Dataflow Gen2 dengan kemampuan kontrol sumber (integrasi Git).
- API CRUDLE publik untuk item Dataflow Gen2.
Ini adalah kemampuan yang sangat diminta dari banyak pelanggan, dan kami senang membuatnya tersedia sebagai fitur Pratinjau.
Tabel dan Partisi Refresh Model Semantik
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Pengguna alur sangat bersemangat dengan aktivitas alur Semantic Model Refresh kami yang sangat populer. Permintaan umum adalah meningkatkan alur pemrosesan ELT mereka dengan menyegarkan tabel dan partisi tertentu dalam model mereka. Kami sekarang telah mengaktifkan fitur ini menjadikan aktivitas alur cara paling efektif untuk menyegarkan model semantik Fabric Anda!
Impor dan Ekspor Alur Fabric Data Factory
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Ketersediaan umum
Sebagai pengembang alur Data Factory, Anda sering ingin mengekspor definisi alur Anda untuk membagikannya dengan pengembang lain atau menggunakannya kembali di ruang kerja lain. Kami sekarang telah menambahkan kemampuan untuk mengekspor dan mengimpor alur Data Factory Anda dari ruang kerja Fabric Anda. Fitur canggih ini akan memungkinkan kemampuan yang lebih kolaboratif dan akan sangat berharga ketika memecahkan masalah alur Anda dengan tim dukungan kami.
Salinan untuk Data Factory (Alur data)
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Copilot for Data Factory (Alur data) memberdayakan pelanggan untuk membangun alur data menggunakan bahasa alami dan memberikan panduan pemecahan masalah.
Pencerminan untuk Azure SQL DB
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Ketersediaan umum
Pencerminan memberikan pengalaman tanpa ETL yang mulus untuk mengintegrasikan data Azure SQL DB Anda yang ada dengan sisa data Anda di Microsoft Fabric. Anda dapat terus mereplikasi data Azure SQL DB Anda langsung ke Fabric OneLake mendekati real-time, tanpa berpengaruh pada performa beban kerja transaksional Anda.
Pelajari selengkapnya tentang Pencerminan di Microsoft Fabric
Buka Pencerminan
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Open Mirroring, adalah fitur canggih yang meningkatkan ekstensibilitas Fabric dengan memungkinkan aplikasi atau penyedia data apa pun untuk membawa data estate mereka langsung ke OneLake dengan upaya minimal. Dengan mengaktifkan penyedia data dan aplikasi untuk menulis data perubahan langsung ke database cermin dalam Fabric, Open Mirroring menyederhanakan penanganan perubahan data yang kompleks, memastikan bahwa semua data yang dicerminkan terus diperbarui dan siap untuk analisis.
Dukungan SPN API Publik Alur Data
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Untuk memanfaatkan REST API alur di Fabric jauh lebih mudah dan lebih aman, kami akan mengaktifkan dukungan SPN (perwakilan layanan) untuk API publik.
Dukungan Alur Data untuk variabel Fabric Workspace
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Saat menerapkan CICD di seluruh lingkungan alur Fabric Data Factory Anda, sangat penting untuk memperbarui nilai dari dev untuk diuji ke prod, dll. Dengan menggunakan variabel di dalam Fabric, Anda dapat mengganti nilai antara lingkungan dan juga berbagi nilai di seluruh alur yang mirip dengan parameter global ADF.
Pembaruan otomatis gateway data lokal
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Fitur peningkatan otomatis gateway data lokal memastikan bahwa gateway selalu menjalankan versi terbaru, menyediakan fungsionalitas yang ditingkatkan, pembaruan keamanan, dan fitur baru tanpa intervensi manual. Fitur ini menyederhanakan manajemen gateway dengan mengunduh dan menginstal pembaruan secara otomatis saat tersedia.
Dukungan Alur Data untuk gateway VNET
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Gateway data VNET akan mendukung Fabric Data Pipeline termasuk aktivitas penyalinan alur dan aktivitas alur lainnya. Pelanggan akan dapat terhubung dengan aman ke sumber data mereka dalam alur melalui gateway data VNET.
Tujuan Output Dataflow Gen2 ke File SharePoint
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Setelah membersihkan dan menyiapkan data dengan Dataflow Gen 2, fitur ini memungkinkan untuk memilih file SharePoint sebagai tujuan datanya. Fitur ini memudahkan untuk mengekspor data yang diubah menjadi file CSV dan menyimpannya di Microsoft SharePoint agar tersedia bagi semua orang dengan izin ke situs.
Dukungan Alur Data untuk pemicu jendela Tumbling
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Penjadwalan eksekusi alur menggunakan jendela waktu yang tidak tumpang tindih dan dapat "diputar ulang" adalah fitur yang sangat penting dalam alur yang telah dinikmati banyak pengguna ADF menggunakan. Kami sangat bersemangat untuk membawa fitur jendela tumbling ini ke penjadwalan alur ke Fabric Data Factory.
Item Azure Data Factory
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Ketersediaan umum
Kami sangat senang mengumumkan ketersediaan umum item Azure Data Factory di Fabric. Dengan kemampuan baru ini, pengguna ADF yang ada dapat dengan cepat dan mudah membuat pabrik data mereka dari Azure tersedia untuk ruang kerja Fabric mereka. Sekarang Anda dapat mengelola, mengedit, dan memanggil alur ADF Anda langsung dari Fabric!
Dukungan Aktivitas Salin Alur Data untuk sumber tambahan
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Ketersediaan umum
Kami memperluas dukungan untuk lebih banyak konektor sumber dalam aktivitas Salin, memungkinkan pelanggan menyalin data dengan lancar dari berbagai sumber, termasuk Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (dibundel) dan banyak lagi.
Eksekusi Paralel Aliran Data Gen 2
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
"Pengguna menginginkan cara yang fleksibel untuk menentukan logika transformasi Dataflow Gen2 mereka dan menyejajarkan eksekusi dengan argumen yang berbeda. Saat ini mereka perlu membuat beberapa aliran data atau beberapa kueri dalam aliran data tunggal mereka untuk memiliki logika yang dapat digunakan kembali dengan argumen yang berbeda.
Sebagai bagian dari peningkatan ini, kami akan mengaktifkan cara bagi pengguna untuk mengatur perulangan ""foreach"" untuk seluruh item aliran data mereka yang didorong dari kueri mandiri yang bertindak sebagai daftar nilai parameter untuk melakukan iterasi dan mendorong pendekatan kontainer ini untuk eksekusi paralel dan dinamis."
Manajemen identitas sumber data (Azure Key Vault)
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Dukungan untuk Azure Key Vault - Anda dapat menyimpan kunci dan rahasia Anda di Azure Key Vault dan menyambungkannya. Dengan cara ini, Anda dapat mengelola kunci Anda di satu tempat.
Pencerminan untuk CosmosDB
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Ketersediaan umum
Pencerminan memberikan pengalaman tanpa ETL yang mulus untuk mengintegrasikan data Azure Cosmos DB yang ada dengan sisa data Anda di Microsoft Fabric. Anda dapat terus mereplikasi data Azure Cosmos DB Anda langsung ke Fabric OneLake hampir secara real-time, tanpa berpengaruh pada performa beban kerja transaksional Anda.
Dukungan CI/CD dan API Publik Dataflow Gen2
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Ketersediaan umum
Item Dataflow Gen2 akan mendukung kemampuan CI/CD di Fabric, termasuk kontrol sumber (integrasi Git) serta Alur Penyebaran ALM. Selain itu, pelanggan akan dapat berinteraksi secara terprogram dengan item Dataflow Gen2 di Fabric melalui FABRIC REST API, memberikan dukungan untuk operasi CRUDLE melalui item Dataflow Gen2.
Dukungan SPN API Publik Dataflow Gen2
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Item Dataflow Gen2 akan didukung melalui FABRIC REST API dengan dukungan autentikasi Perwakilan Layanan.
Refresh Bertahap Dataflow Gen2
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Ketersediaan umum
Pada akhir September 2024, kami merilis Refresh Bertahap Dataflow Gen2 sebagai fitur Pratinjau Publik. Kami akan terus memantau umpan balik pelanggan dan meningkatkan fitur ini menjelang Ketersediaan Umumnya, yang direncanakan untuk akhir Q1CY2025.
Dukungan Refresh Bertahap Dataflow Gen2 untuk tujuan Lakehouse
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Refresh Bertambah Bertahap Dataflow Gen2 mengoptimalkan eksekusi aliran data untuk hanya mengambil data terbaru yang diubah di sumber data aliran data Anda, berdasarkan kolom partisi tanggalwaktu. Ini memastikan bahwa data dapat dimuat secara bertahap ke OneLake untuk transformasi hilir atau output ke tujuan output aliran data.
Sebagai bagian dari peningkatan ini, kami akan memberikan dukungan langsung untuk Refresh Bertahap untuk menghasilkan data langsung ke tabel Fabric Lakehouse.
Parameterisasi Aliran Data Gen2
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Pengguna terbiasa menjalankan alur berbasis metadata di mana mereka dapat menyuntikkan variabel atau parameter ke dalam berbagai aktivitas alur dan dengan demikian menjalankan hal-hal dengan cara yang lebih dinamis: Membuat sekali, menggunakan kembali beberapa kali.
Sebagai bagian dari penyempurnaan ini, kami akan membuatnya sewaktu-waktu aliran data yang dijalankan melalui Alur Data di Fabric dapat disediakan dengan nilai parameter untuk parameter aliran data yang ada.
Dukungan Dataflow Gen2 untuk item baru Simpan Sebagai
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Pelanggan sering ingin membuat ulang aliran data yang ada sebagai aliran data baru. Hari ini, untuk mencapai hal ini, mereka perlu membuat item Dataflow Gen2 baru dari awal dan menyalin-tempel kueri yang ada, atau memanfaatkan kemampuan templat Ekspor/Impor Power Query. Namun, ini tidak hanya merepotkan karena langkah-langkah yang tidak perlu, tetapi juga tidak membawa pengaturan aliran data tambahan, seperti Refresh Terjadwal dan properti item lainnya (nama, deskripsi, label sensitivitas, dll.).
Sebagai bagian dari peningkatan ini, kami akan memberikan gerakan "Simpan Sebagai" cepat dalam pengalaman pengeditan Dataflow Gen2, memungkinkan pengguna untuk menyimpan aliran data yang ada sebagai aliran data baru.
Dukungan Dataflow Gen1 untuk item baru Simpan Sebagai Aliran Data Gen2
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Pelanggan sering ingin membuat ulang item Dataflow Gen1 yang ada sebagai item Dataflow Gen2 baru. Hari ini, untuk mencapai hal ini, mereka perlu membuat item Dataflow Gen2 baru dari awal dan menyalin-tempel kueri yang ada, atau memanfaatkan kemampuan templat Ekspor/Impor Power Query. Namun, ini tidak hanya merepotkan karena langkah-langkah yang tidak perlu, tetapi juga tidak membawa pengaturan aliran data tambahan, seperti Refresh Terjadwal dan properti item lainnya (nama, deskripsi, label sensitivitas, dll.).
Sebagai bagian dari peningkatan ini, kami akan memberikan gerakan "Simpan Sebagai" cepat dalam pengalaman pengeditan Dataflow Gen1, memungkinkan pengguna untuk menyimpan item Dataflow Gen1 yang ada sebagai item Dataflow Gen2 baru.
Salin Pekerjaan - Salinan bertahap tanpa pengguna harus menentukan kolom marka air
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Kami akan memperkenalkan kemampuan CDC asli (Ubah Pengambilan Data) di Copy Job untuk konektor utama. Ini berarti salinan bertahap akan secara otomatis mendeteksi perubahan—tidak perlu pelanggan menentukan kolom bertahap.
Salin Pekerjaan
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Ketersediaan umum
Copy Job di Data Factory meningkatkan pengalaman penyerapan data ke proses yang lebih efisien dan mudah digunakan dari sumber apa pun ke tujuan mana pun. Sekarang, menyalin data Anda lebih mudah daripada sebelumnya. Pekerjaan salin mendukung berbagai gaya pengiriman data, termasuk salinan batch dan salinan bertahap, menawarkan fleksibilitas untuk memenuhi kebutuhan spesifik Anda.
Salin dukungan CI/CD Pekerjaan
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Item Copy Job akan mendukung kemampuan CI/CD di Fabric, termasuk kontrol sumber (integrasi Git) serta Alur Penyebaran ALM.
Salin dukungan API Publik Pekerjaan
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Pelanggan akan dapat berinteraksi secara terprogram dengan item Copy Job di Fabric melalui FABRIC Public API, memberikan dukungan untuk operasi CRUDLE melalui Copy Job Items
Dukungan Dataflow Gen2 untuk sumber Salinan Cepat tambahan
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Kami memperluas Salinan Cepat di Dataflow Gen2 untuk mendukung lebih banyak konektor sumber, memungkinkan pelanggan memuat data dengan performa yang lebih tinggi. Konektor baru akan mencakup file Fabric Lakehouse, Google BigQuery, Amazon Redshift, dan banyak lagi—memungkinkan integrasi data yang lebih cepat dan lebih efisien.
Dukungan Salin Pekerjaan untuk sumber tambahan
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Kami memperluas dukungan untuk lebih banyak konektor sumber di Copy Job, memungkinkan pelanggan menyalin data dengan lancar dari berbagai sumber. Pada saat yang sama, kami akan menyimpan pengalaman yang disederhanakan sambil menawarkan beragam pola salinan, termasuk salinan lengkap dan salinan bertambah bertahap.
Dukungan Alur Data untuk pemicu peristiwa penyimpanan OneLake
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Mekanisme populer yang digunakan untuk memanggil alur di Fabric Data Factory menggunakan pemicu file. Ketika peristiwa file (yaitu kedatangan file, penghapusan file ...) terdeteksi terhadap penyimpanan Blob atau ADLS Gen2, alur Fabric Data Factory Anda akan dipanggil. Sekarang kami telah menambahkan peristiwa file OneLake ke jenis peristiwa pemicu di Fabric.
Memungkinkan pelanggan untuk membuat parameter koneksi mereka
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Koneksi menyediakan kerangka kerja umum untuk menentukan konektivitas dan autentikasi untuk penyimpanan data Anda. Koneksi ini dapat dibagikan di berbagai item. Dengan dukungan parameterisasi, Anda akan dapat membangun alur, notebook, aliran data, dan jenis item yang kompleks dan dapat digunakan kembali.
Dukungan alur data untuk DBT
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Orkestrasi DBT CLI (Alat Build Data): Menggabungkan alat build data (dbt) untuk alur kerja transformasi data.
Dukungan Identitas Terkelola yang ditetapkan pengguna di Koneksi
Estimasi garis waktu rilis: Q2 2025
Jenis Rilis: Pratinjau publik
Peningkatan ini untuk mendukung identitas terkelola yang ditetapkan pengguna dalam Koneksi memberikan nilai signifikan dengan menawarkan metode autentikasi yang lebih aman dan fleksibel untuk mengakses sumber daya data. Ini menghindari kredensial hardcoding, menyederhanakan manajemen dengan menghilangkan kebutuhan untuk memutar rahasia, memastikan kepatuhan terhadap kebijakan keamanan, terintegrasi dengan mulus dengan layanan Azure, dan mendukung skalabilitas dalam koneksi dengan memungkinkan beberapa instans berbagi identitas yang sama.
Fitur yang dikirim
Azure Data Factory dalam Fabric
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Bawa Azure Data Factory (ADF) yang ada ke ruang kerja Fabric Anda! Ini adalah kemampuan pratinjau baru yang memungkinkan Anda terhubung ke pabrik ADF yang ada dari ruang kerja Fabric Anda.
Anda sekarang akan dapat sepenuhnya mengelola pabrik ADF Anda langsung dari UI ruang kerja Fabric! Setelah ADF ditautkan ke ruang kerja Fabric, Anda akan dapat memicu, menjalankan, dan memantau alur seperti yang Anda lakukan di ADF tetapi langsung di dalam Fabric.
Dukungan untuk memanggil alur data lintas ruang kerja
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Memanggil pembaruan aktivitas Alur: Kami mengaktifkan beberapa pembaruan baru dan menarik untuk aktivitas Invoke Pipeline. Sebagai respons terhadap permintaan pelanggan dan komunitas yang luar biasa, kami memungkinkan menjalankan alur data di seluruh ruang kerja. Anda sekarang akan dapat memanggil alur dari ruang kerja lain yang dapat Anda akses untuk dijalankan. Ini akan memungkinkan pola alur kerja data yang sangat menarik yang dapat menggunakan kolaborasi dari tim rekayasa dan integrasi data Anda di seluruh ruang kerja dan di seluruh tim fungsi.
Dukungan gateway data lokal (OPDG) ditambahkan ke alur data
Dikirim (Q3 2024)
Jenis Rilis: Ketersediaan umum
Fitur ini memungkinkan alur data menggunakan gateway data Fabric untuk mengakses data lokal dan di belakang jaringan virtual. Untuk pengguna yang menggunakan runtime integrasi yang dihost sendiri (SHIR), mereka akan dapat berpindah ke gateway data lokal di Fabric.
Salin Pekerjaan
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Copy Job menyederhanakan pengalaman bagi pelanggan yang perlu menyerap data, tanpa harus membuat alur Aliran Data atau Data. Copy Job mendukung salinan penuh dan bertahap dari sumber data apa pun ke tujuan data apa pun. Daftar untuk Pratinjau Privat sekarang.
Pencerminan untuk Snowflake
Dikirim (Q3 2024)
Jenis Rilis: Ketersediaan umum
Pencerminan memberikan pengalaman tanpa ETL yang mulus untuk mengintegrasikan data Snowflake yang ada dengan sisa data Anda di Microsoft Fabric. Anda dapat terus mereplikasi data Snowflake Anda langsung ke Fabric OneLake mendekati real-time, tanpa berpengaruh pada performa beban kerja transaksional Anda.
Pemberitahuan email yang disempurnakan untuk kegagalan Refresh
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Pemberitahuan email memungkinkan pembuat Dataflow Gen2 memantau hasil (berhasil/gagal) dari operasi refresh aliran data.
Dukungan Salinan Cepat di Dataflow Gen2
Dikirim (Q3 2024)
Jenis Rilis: Ketersediaan umum
Kami menambahkan dukungan untuk penyerapan data skala besar langsung dalam pengalaman Dataflow Gen2, menggunakan kemampuan Aktivitas Salin alur. Peningkatan ini secara signifikan meningkatkan kapasitas pemrosesan data Dataflow Gen2 yang menyediakan kemampuan ELT (Extract-Load-Transform) skala tinggi.
Dukungan refresh bertahap di Dataflow Gen2
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Kami menambahkan dukungan refresh bertambah bertahap di Dataflow Gen2. Fitur ini memungkinkan Anda mengekstrak data secara bertahap dari sumber data, menerapkan transformasi Power Query, dan memuat ke berbagai tujuan output.
Manajemen identitas sumber data (Identitas Terkelola)
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Ini memungkinkan Identitas terkelola dikonfigurasi pada tingkat ruang kerja. Anda dapat menggunakan identitas terkelola Fabric untuk terhubung ke sumber data Anda dengan aman.
Dukungan alur data untuk Pekerjaan Azure Databricks
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Kami memperbarui alur data Data Factory aktivitas Azure Databricks untuk sekarang menggunakan API pekerjaan terbaru yang memungkinkan kemampuan alur kerja yang menarik seperti menjalankan pekerjaan DLT.
Salinan untuk Data Factory (Aliran Data)
Dikirim (Q3 2024)
Jenis Rilis: Ketersediaan umum
Copilot for Data Factory (Aliran Data) memberdayakan pelanggan untuk mengekspresikan persyaratan mereka menggunakan bahasa alami saat membuat solusi integrasi data dengan Dataflows Gen2.
Dukungan alur data untuk SparkJobDefinition
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Sekarang Anda dapat menjalankan kode Spark Anda, termasuk file JAR, langsung dari aktivitas alur. Cukup arahkan ke kode Spark Anda dan alur akan menjalankan pekerjaan pada kluster Spark Anda di Fabric. Aktivitas baru ini memungkinkan pola alur kerja data menarik yang memanfaatkan kekuatan mesin Spark Fabric sekaligus menyertakan aliran kontrol Data Factory dan kemampuan aliran data dalam alur yang sama dengan Pekerjaan Spark Anda.
Dukungan alur data untuk Pemicu Berbasis Peristiwa
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Kasus penggunaan umum untuk memanggil alur data Data Factory adalah memicu alur pada peristiwa file seperti kedatangan file dan penghapusan file. Bagi pelanggan yang berasal dari ADF atau Synapse ke Fabric, menggunakan peristiwa penyimpanan ADLS/Blog sangat umum sebagai cara untuk memberi sinyal untuk eksekusi alur baru atau untuk mengambil nama file yang dibuat. Pemicu di Fabric Data Factory memanfaatkan kemampuan platform Fabric termasuk pemicu EventStreams dan Reflex. Di dalam kanvas desain alur Fabric Data Factory, Anda akan memiliki tombol Pemicu yang dapat Anda tekan untuk membuat pemicu Reflex untuk alur Anda atau Anda dapat membuat pemicu langsung dari pengalaman Data Activator.
Default penahapan untuk tujuan Output Dataflow Gen 2
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Dataflow Gen2 menyediakan kemampuan untuk menyerap data dari berbagai sumber data ke dalam Fabric OneLake. Setelah penahapan data ini, data dapat diubah pada skala tinggi yang memanfaatkan mesin Dataflows Gen2 Skala Tinggi (berdasarkan komputasi Fabric Lakehouse/Warehouse SQL).
Perilaku default untuk Dataflows Gen2 adalah mentahapkan data di OneLake untuk mengaktifkan transformasi data skala tinggi. Meskipun ini berfungsi dengan baik untuk skenario skala tinggi, ini tidak berfungsi juga untuk skenario yang melibatkan sejumlah kecil data yang diserap mengingat bahwa ia memperkenalkan hop tambahan (penahapan) untuk data sebelum akhirnya dimuat ke tujuan output aliran data.
Dengan peningkatan yang direncanakan, kami menyempurnakan perilaku Penahapan default untuk dinonaktifkan, untuk kueri dengan tujuan output yang tidak memerlukan penahapan (yaitu, Fabric Lakehouse dan Azure SQL Database).
Perilaku penahapan dapat dikonfigurasi secara manual per kueri melalui panel Pengaturan Kueri atau menu kontekstual kueri di panel Kueri.
Dukungan alur data untuk Azure HDInsight
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
HDInsight adalah layanan Azure PaaS untuk Hadoop yang memungkinkan pengembang membangun solusi big data yang sangat kuat di cloud. Aktivitas alur HDI baru akan memungkinkan aktivitas pekerjaan HDInsights di dalam alur data Data Factory Anda mirip dengan funkasi yang ada yang telah Anda analisa selama bertahun-tahun di alur ADF dan Synapse. Kami sekarang telah membawa kemampuan ini langsung ke dalam alur data Fabric.
Konektor baru untuk Aktivitas Salin
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Konektor baru akan ditambahkan untuk aktivitas Salin untuk memberdayakan pelanggan untuk menyerap dari sumber berikut, sambil memanfaatkan alur data: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Pekerjaan Apache Airflow: Membangun alur data yang didukung oleh Apache Airflow
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Pekerjaan Apache Airflow (sebelumnya disebut sebagai Alur kerja Data) didukung oleh Apache Airflow dan menawarkan lingkungan runtime Apache Airflow terintegrasi, memungkinkan Anda menulis, menjalankan, dan menjadwalkan DAG Python dengan mudah.
Manajemen identitas sumber data (SPN)
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Perwakilan layanan - Untuk mengakses sumber daya yang diamankan oleh penyewa Azure AD, entitas yang memerlukan akses harus diwakili oleh perwakilan keamanan. Anda akan dapat terhubung ke sumber data Anda dengan perwakilan layanan.
Integrasi Git Data Factory untuk alur data
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Anda dapat terhubung ke repositori Git untuk mengembangkan alur data dengan cara yang kolaboratif. Integrasi alur data dengan kemampuan Application Lifecycle Management (ALM) platform Fabric memungkinkan kontrol versi, pencabangan, penerapan, dan permintaan pull.
Penyempurnaan tujuan output di Dataflow Gen2 (skema kueri)
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Kami meningkatkan tujuan output di Dataflow Gen2 dengan kemampuan yang sangat diminta berikut:
- Kemampuan untuk menangani perubahan skema kueri setelah mengonfigurasi tujuan output.
- Pengaturan tujuan default untuk mempercepat pembuatan aliran data.
Untuk mempelajari selengkapnya, lihat Tujuan data Dataflow Gen2 dan pengaturan terkelola
Mendapatkan peningkatan pengalaman data (Telusuri Sumber Daya Azure)
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Menelusuri sumber daya Azure menyediakan navigasi yang mulus untuk menelusuri sumber daya Azure. Anda dapat dengan mudah menavigasi langganan Azure Anda dan menyambungkan ke sumber data Anda melalui antarmuka pengguna yang intuitif. Ini membantu Anda dengan cepat menemukan dan menyambungkan ke data yang Anda butuhkan.
Dukungan gateway data lokal (OPDG) ditambahkan ke alur data
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Fitur ini memungkinkan alur data menggunakan gateway data Fabric untuk mengakses data lokal dan di belakang jaringan virtual. Untuk pengguna yang menggunakan runtime integrasi yang dihost sendiri (SHIR), mereka akan dapat berpindah ke gateway data lokal di Fabric.
Dukungan Salinan Cepat di Dataflow Gen2
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Kami menambahkan dukungan untuk penyerapan data skala besar langsung dalam pengalaman Dataflow Gen2, menggunakan kemampuan Aktivitas Salin alur. Ini mendukung sumber seperti Azure SQL Database, CSV, dan file Parquet di Azure Data Lake Storage dan Blob Storage.
Peningkatan ini secara signifikan meningkatkan kapasitas pemrosesan data Dataflow Gen2 yang menyediakan kemampuan ELT (Extract-Load-Transform) skala tinggi.
Membatalkan dukungan refresh di Dataflow Gen2
Dikirim (Q4 2023)
Jenis Rilis: Pratinjau publik
Kami menambahkan dukungan untuk membatalkan refresh Dataflow Gen2 yang sedang berlangsung dari tampilan item ruang kerja.