Apa yang baru dan direncanakan untuk Fabric Rekayasa Data di Microsoft Fabric
Penting
Rencana rilis menjelaskan fungsionalitas yang mungkin atau mungkin belum dirilis. Garis waktu pengiriman dan fungsionalitas yang diproyeksikan dapat berubah atau mungkin tidak dikirim. Lihat kebijakan Microsoft untuk informasi selengkapnya.
Fabric Rekayasa Data memberdayakan teknisi data untuk dapat mengubah data mereka dalam skala besar menggunakan Spark dan membangun arsitektur lakehouse mereka.
Lakehouse untuk semua data organisasi Anda: Lakehouse menggabungkan yang terbaik dari data lake dan gudang data dalam satu pengalaman. Ini memungkinkan pengguna untuk menyerap, menyiapkan, dan berbagi data organisasi dalam format terbuka di lake. Nantinya Anda dapat mengaksesnya melalui beberapa mesin seperti Spark, T-SQL, dan Power BI. Ini menyediakan berbagai opsi integrasi data seperti aliran data dan alur, pintasan ke sumber data eksternal, dan kemampuan berbagi produk data.
Mesin Spark berkinerja & runtime: Rekayasa Data Fabric memberi pelanggan runtime Spark yang dioptimalkan dengan versi terbaru Spark, Delta, dan Python.. Ini menggunakan Delta Lake sebagai format tabel umum untuk semua mesin, memungkinkan berbagi dan pelaporan data yang mudah tanpa pergerakan data. Runtime dilengkapi dengan pengoptimalan Spark, meningkatkan performa kueri Anda tanpa konfigurasi apa pun. Ini juga menawarkan kumpulan pemula dan mode konkurensi tinggi untuk mempercepat dan menggunakan kembali sesi Spark Anda, menghemat waktu dan biaya Anda.
Admin & konfigurasi Spark: Admin ruang kerja dengan izin yang sesuai dapat membuat dan mengonfigurasi kumpulan kustom untuk mengoptimalkan performa dan biaya beban kerja Spark mereka. Pembuat dapat mengonfigurasi lingkungan untuk menginstal pustaka, memilih versi runtime, dan mengatur properti Spark untuk notebook dan pekerjaan Spark mereka.
Pengalaman Pengembang: Pengembang dapat menggunakan notebook, pekerjaan Spark, atau IDE pilihan mereka untuk menulis dan menjalankan kode Spark di Fabric. Mereka dapat mengakses data lakehouse secara asli, berkolaborasi dengan orang lain, menginstal pustaka, melacak riwayat, melakukan pemantauan sebaris, dan mendapatkan rekomendasi dari penasihat Spark. Mereka juga dapat menggunakan Data Wrangler untuk menyiapkan data dengan mudah dengan UI kode rendah.
Integrasi Platform: Semua item rekayasa data Fabric, termasuk notebook, pekerjaan Spark, lingkungan, dan lakehouse, terintegrasi secara mendalam ke dalam platform Fabric (kemampuan manajemen informasi perusahaan, silsilah data, label sensitivitas, dan dukungan).
Area investasi
Buku catatan Python
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Notebook Fabric mendukung pengalaman Python murni. Solusi baru ini menargetkan pengembang BI dan Ilmuwan Data yang bekerja dengan himpunan data yang lebih kecil (hingga beberapa GB) dan menggunakan Panda, dan Python sebagai bahasa utama mereka. Melalui pengalaman baru ini, mereka akan dapat memperoleh manfaat dari bahasa Python asli dan fitur dan pustaka aslinya di luar kotak, akan dapat beralih dari versi Python ke versi lain (awalnya dua versi akan didukung) dan akhirnya akan mendapat manfaat dengan pemanfaatan sumber daya yang lebih baik dengan menggunakan mesin 2VCore yang lebih kecil.
ArcGIS GeoAnalytics untuk Microsoft Fabric Spark
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Microsoft dan Esri telah bermitra untuk membawa analitik spasial ke Microsoft Fabric. Kolaborasi ini memperkenalkan pustaka baru, ArcGIS GeoAnalytics untuk Microsoft Fabric, memungkinkan serangkaian analitik spasial yang luas tepat dalam notebook Microsoft Fabric Spark dan definisi pekerjaan Spark (di seluruh pengalaman / beban kerja Rekayasa Data dan Ilmu Data).
Pengalaman produk terintegrasi ini memberdayakan pengembang Spark atau ilmuwan data untuk secara asli menggunakan kemampuan Esri untuk menjalankan fungsi dan alat ArcGIS GeoAnalytics dalam Fabric Spark untuk transformasi spasial, pengayaan, dan pola / analisis tren data - bahkan big data - di berbagai kasus penggunaan tanpa perlu instalasi dan konfigurasi terpisah.
Menginstal pustaka dari akun Penyimpanan ADLS Gen2
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Mendukung sumber baru bagi pengguna untuk menginstal pustaka. Melalui pembuatan saluran conda/PyPI kustom, yang dihosting di akun penyimpanan mereka, pengguna dapat menginstal pustaka dari akun penyimpanan mereka di Lingkungan Fabric mereka.
Penerapan versi langsung buku catatan
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Dengan penerapan versi langsung Fabric Notebook pengembang dapat melacak riwayat perubahan yang dibuat pada notebook mereka, membandingkan verion yang berbeda dan memulihkan versi sebelumnya jika diperlukan.
Ekstensi Satelit VSCode untuk Fungsi Data Pengguna di Fabric
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Ekstensi Satelit VSCode untuk Fungsi Data Pengguna akan menyediakan dukungan pengembang (pengeditan, pembuatan, penelusuran kesalahan, penerbitan) untuk Fungsi Data Pengguna di Fabric.
Fungsi Data Pengguna dalam Fabric
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Fungsi Data Pengguna akan menyediakan mekanisme yang kuat untuk menerapkan dan menggunakan kembali logika bisnis khusus kustom ke dalam ilmu data Fabric dan alur kerja rekayasa data, meningkatkan efisiensi dan fleksibilitas.
API pemantauan publik
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Fitur PUBLIC Monitoring API untuk Fabric Spark bertujuan untuk mengekspos API pemantauan Spark, memungkinkan pengguna memantau kemajuan pekerjaan Spark, melihat tugas eksekusi, dan mengakses log secara terprogram. Fitur ini selaras dengan standar API publik, memberikan pengalaman pemantauan yang mulus untuk aplikasi Spark.
Metadata Pintasan Lakehouse pada git dan alur penyebaran
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Untuk memberikan kisah manajemen siklus hidup aplikasi yang menarik, melacak metadata objek di git dan mendukung alur penyebaran sangat penting. Dalam modul Rekayasa Data, karena ruang kerja diintegrasikan ke git.
Dalam iterasi pertama ini, Pintasan OneLake akan secara otomatis disebarkan di seluruh tahap alur dan ruang kerja. Koneksi pintasan dapat dipetakan ulang di seluruh tahap menggunakan item Microsoft Fabric baru bernama pustaka variabel, memastikan isolasi yang tepat dan segmentasi lingkungan yang diharapkan pelanggan.
Peningkatan Delta Lake dalam pengalaman Spark
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Ketersediaan umum
Memiliki default yang tepat dan selaras dengan standar terbaru adalah yang paling penting bagi standar Delta Lake di Microsoft Fabric. INT64 akan menjadi jenis pengodean default baru untuk semua nilai tanda waktu. Ini menjauh dari pengodean INT96, yang tidak digunakan lagi oleh Apache Parquet beberapa tahun yang lalu. Perubahan tidak memengaruhi kemampuan membaca apa pun, ini transparan dan kompatibel secara default, tetapi memastikan bahwa semua file parket baru di tabel Delta Lake Anda ditulis dengan cara yang lebih efisien dan tahan di masa mendatang.
Kami juga merilis implementasi perintah OPTIMIZE yang lebih cepat, membuatnya melewati file yang sudah dipesan V.
Dukungan untuk rekam jepret pekerjaan Notebook yang sedang berlangsung
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Fitur ini memungkinkan pengguna untuk melihat rekam jepret Notebook saat masih berjalan, yang penting untuk memantau kemajuan dan memecahkan masalah performa. Pengguna dapat melihat kode sumber asli, parameter input, dan output sel untuk lebih memahami pekerjaan Spark, dan mereka dapat melacak kemajuan eksekusi Spark di tingkat sel. Pengguna juga dapat meninjau output sel yang telah selesai untuk memvalidasi akurasi aplikasi Spark dan memperkirakan pekerjaan yang tersisa. Selain itu, setiap kesalahan atau pengecualian dari sel yang sudah dijalankan ditampilkan, membantu pengguna mengidentifikasi dan mengatasi masalah lebih awal.
Dukungan RLS/CLS untuk Spark dan Lakehouse
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Pratinjau publik
Fitur ini memungkinkan pengguna menerapkan kebijakan keamanan untuk akses data dalam mesin Spark. Pengguna dapat menentukan keamanan tingkat Objek, Baris, atau Kolom, memastikan bahwa data diamankan sebagaimana didefinisikan oleh kebijakan ini ketika diakses melalui Fabric Spark dan selaras dengan inisiatif OneSecurity yang diaktifkan di seluruh Microsoft Fabric.
Konektor Spark untuk Gudang Data Fabric - Ketersediaan Umum
Estimasi garis waktu rilis: Q1 2025
Jenis Rilis: Ketersediaan umum
Konektor Spark untuk Microsoft Fabric Data Warehouse memungkinkan pengembang dan ilmuwan data Spark mengakses dan bekerja dengan data dari gudang dan titik akhir analitik SQL dari lakehouse. Ini menawarkan Spark API yang disederhanakan, mengabstraksi kompleksitas yang mendasar, dan beroperasi hanya dengan satu baris kode, sambil menjunjung tinggi model keamanan seperti keamanan tingkat objek (OLS), keamanan tingkat baris (RLS), dan keamanan tingkat kolom (CLS).
Fitur yang dikirim
Kemampuan untuk mengurutkan dan memfilter tabel dan folder di Lakehouse
Dikirim (Q4 2024)
Jenis Rilis: Ketersediaan umum
Fitur ini memungkinkan pelanggan untuk mengurutkan dan memfilter tabel dan folder mereka di Lakehouse dengan beberapa metode yang berbeda, termasuk abjad, tanggal yang dibuat, dan banyak lagi.
Buku catatan dalam aplikasi
Dikirim (Q4 2024)
Jenis Rilis: Pratinjau publik
Aplikasi organisasi tersedia sebagai item baru di Fabric dan Anda dapat menyertakan Notebook bersama laporan dan dasbor Power BI di aplikasi Fabric dan mendistribusikannya kepada pengguna bisnis. Konsumen aplikasi dapat berinteraksi dengan widget dan visual di notebook, sebagai mekanisme pelaporan dan eksplorasi data alternatif. Ini memungkinkan Anda membuat dan berbagi cerita yang kaya dan menarik dengan data Anda.
Ekstensi Inti VSCode untuk Fabric
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Core VSCode Extension for Fabric akan memberikan dukungan pengembang umum untuk layanan Fabric.
Buku catatan T-SQL
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Notebook Fabric mendukung bahasa T-SQL untuk menggunakan data terhadap Gudang Data. Dengan menambahkan titik akhir analitik Gudang Data atau SQL ke notebook, pengembang T-SQL dapat menjalankan kueri langsung di titik akhir yang terhubung. Analis BI juga dapat melakukan kueri lintas database untuk mengumpulkan wawasan dari beberapa gudang dan titik akhir analitik SQL. T-SQL Notebooks menawarkan alternatif penulisan yang bagus untuk alat yang ada untuk pengguna SQL dan menyertakan fitur asli Fabric, seperti, berbagi, integrasi GIT, dan kolaborasi.
Visual Studio Code untuk Web - dukungan penelusuran kesalahan
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Visual Studio Code untuk Web saat ini didukung dalam Pratinjau untuk skenario penulisan dan eksekusi. Kami menambahkan ke daftar kemampuan untuk men-debug kode menggunakan ekstensi ini untuk notebook.
Konkurensi tinggi dalam alur
Dikirim (Q3 2024)
Jenis Rilis: Ketersediaan umum
Selain konkurensi tinggi dalam notebook, kami juga akan mengaktifkan konkurensi tinggi dalam alur. Kemampuan ini akan memungkinkan Anda menjalankan beberapa buku catatan dalam alur dengan satu sesi.
Dukungan skema dan ruang kerja di namespace layanan di Lakehouse
Dikirim (Q3 2024)
Jenis Rilis: Pratinjau publik
Ini akan memungkinkan untuk menata tabel menggunakan skema dan data kueri di seluruh ruang kerja.
Mesin Eksekusi Asli Spark
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Mesin eksekusi asli adalah peningkatan groundbreaking untuk eksekusi pekerjaan Apache Spark di Microsoft Fabric. Mesin vektorisasi ini mengoptimalkan performa dan efisiensi kueri Spark Anda dengan menjalankannya langsung pada infrastruktur lakehouse Anda. Integrasi tanpa hambatan mesin berarti tidak memerlukan modifikasi kode dan menghindari penguncian vendor. Ini mendukung API Apache Spark dan kompatibel dengan Runtime 1.2 (Spark 3.4), dan berfungsi dengan format Parquet dan Delta. Terlepas dari lokasi data Anda di OneLake, atau jika Anda mengakses data melalui pintasan, mesin eksekusi asli memaksimalkan efisiensi dan performa
Konektor Spark untuk Gudang Data Fabric
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Konektor Spark untuk Fabric DW (Gudang Data) memberdayakan pengembang Spark atau ilmuwan data untuk mengakses dan mengerjakan data dari Fabric Data Warehouse dengan API Spark yang disederhanakan, yang secara harfiah hanya berfungsi dengan satu baris kode. Ini menawarkan kemampuan untuk mengkueri data, secara paralel, dari gudang data Fabric sehingga menskalakan dengan meningkatkan volume data dan menghormati model keamanan (OLS/RLS/CLS) yang ditentukan pada tingkat gudang data saat mengakses tabel atau tampilan. Rilis pertama ini akan mendukung pembacaan data saja dan dukungan untuk menulis data kembali akan segera hadir.
Microsoft Fabric API untuk GraphQL
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
API untuk GraphQL akan memungkinkan teknisi data Fabric, ilmuwan, arsitek solusi data untuk dengan mudah mengekspos dan mengintegrasikan data Fabric, untuk aplikasi analitik yang lebih responsif, berkinerja dan kaya, memanfaatkan kekuatan dan fleksibilitas GraphQL.
Membuat dan melampirkan lingkungan
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Untuk mengkustomisasi pengalaman Spark Anda pada tingkat yang lebih terperinci, Anda dapat membuat dan melampirkan lingkungan ke buku catatan dan pekerjaan Spark Anda. Di lingkungan, Anda dapat menginstal pustaka, mengonfigurasi kumpulan baru, mengatur properti Spark, dan mengunggah skrip ke sistem file. Ini memberi Anda lebih banyak fleksibilitas dan kontrol atas beban kerja Spark Anda, tanpa memengaruhi pengaturan default ruang kerja. Sebagai bagian dari GA, kami melakukan berbagai peningkatan pada lingkungan termasuk dukungan API dan integrasi CI/CD.
Antrean Pekerjaan untuk Pekerjaan Buku Catatan
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Fitur ini memungkinkan Spark Notebooks terjadwal untuk diantrekan ketika penggunaan Spark berada pada jumlah maksimum pekerjaan yang dapat dijalankan secara paralel dan kemudian dijalankan setelah penggunaan turun kembali di bawah jumlah maksimum pekerjaan paralel yang diizinkan.
Penerimaan Pekerjaan Optimis untuk Fabric Spark
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Dengan Penerimaan Pekerjaan Optimis, Fabric Spark hanya mencadangkan jumlah minimum inti yang perlu dimulai oleh pekerjaan, berdasarkan jumlah minimum simpul yang dapat diturunkan skala pekerjaannya. Hal ini memungkinkan lebih banyak pekerjaan untuk diakui jika ada cukup sumber daya untuk memenuhi persyaratan minimum. Jika pekerjaan perlu ditingkatkan nanti, permintaan peningkatan skala disetujui atau ditolak berdasarkan inti yang tersedia dalam kapasitas.
Spark autotune
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Autotune menggunakan pembelajaran mesin untuk menganalisis eksekusi pekerjaan Spark Anda sebelumnya secara otomatis dan menyetel konfigurasi untuk mengoptimalkan performa. Ini mengonfigurasi bagaimana data Anda dipartisi, digabungkan, dan dibaca oleh Spark. Dengan cara ini akan secara signifikan meningkatkan performa. Kami telah melihat pekerjaan pelanggan berjalan 2x lebih cepat dengan kemampuan ini.