Microsoft Fabric'teki Doku Veri Madenciliği ile ilgili yenilikler ve planlananlar
Önemli
Sürüm planları, henüz yayınlanmış veya yayımlanmamış olabilecek işlevleri açıklar. Teslim zaman çizelgeleri ve öngörülen işlevler değişebilir veya gönderilmeyebilir. Daha fazla bilgi için Microsoft ilkesine bakın.
Fabric Veri Madenciliği, veri mühendislerinin Spark kullanarak verilerini büyük ölçekte dönüştürebilmelerini ve göl evi mimarilerini oluşturmalarını sağlar.
Tüm kurumsal verileriniz için Lakehouse: Lakehouse, veri gölü ile veri ambarının en iyilerini tek bir deneyimde birleştirir. Kullanıcıların kuruluş verilerini gölde açık bir biçimde almalarını, hazırlamalarını ve paylaşmalarını sağlar. Daha sonra Spark, T-SQL ve Power BI gibi birden çok altyapıdan erişebilirsiniz. Veri akışları ve işlem hatları, dış veri kaynaklarına kısayollar ve veri ürün paylaşımı özellikleri gibi çeşitli veri tümleştirme seçenekleri sağlar.
Performanslı Spark altyapısı ve çalışma zamanı: Doku Veri mühendisliği müşterilere Spark, Delta ve Python'ın en son sürümleriyle iyileştirilmiş bir Spark çalışma zamanı sağlar... Delta Lake'i tüm altyapılar için ortak tablo biçimi olarak kullanarak veri taşıma olmadan kolay veri paylaşımına ve raporlamaya olanak tanır. Çalışma zamanı Spark iyileştirmeleriyle birlikte gelir ve herhangi bir yapılandırma olmadan sorgu performansınızı geliştirir. Ayrıca Spark oturumlarınızı hızlandırmak ve yeniden kullanmak için başlangıç havuzları ve yüksek eşzamanlılık modu seçip zamandan ve maliyetlerden tasarruf edin.
Spark Yöneticisi ve yapılandırmaları: Uygun izinlere sahip çalışma alanı yöneticileri, Spark iş yüklerinin performansını ve maliyetini iyileştirmek için özel havuzlar oluşturabilir ve yapılandırabilir. Oluşturucular ortamları kitaplıkları yükleyecek şekilde yapılandırabilir, çalışma zamanı sürümünü seçebilir ve not defterleri ile Spark işleri için Spark özelliklerini ayarlayabilir.
Geliştirici Deneyimi: Geliştiriciler, Doku'da Spark kodu yazmak ve yürütmek için not defterlerini, Spark işlerini veya tercih ettikleri IDE'yi kullanabilir. Göl evi verilerine yerel olarak erişebilir, başkalarıyla işbirliği yapabilir, kitaplıkları yükleyebilir, geçmişi izleyebilir, satır içi izleme yapabilir ve Spark danışmanından öneriler alabilirler. Düşük kodlu bir kullanıcı arabirimiyle verileri kolayca hazırlamak için Data Wrangler'ı da kullanabilirler.
Platform Tümleştirmesi: Not defterleri, Spark işleri, ortamlar ve lakehouse'lar dahil olmak üzere tüm Doku veri mühendisliği öğeleri Doku platformuyla (kurumsal bilgi yönetimi özellikleri, köken, duyarlılık etiketleri ve onaylar) derinlemesine tümleştirilir.
Yatırım alanları
Python not defteri
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Doku not defterleri saf Python deneyimini destekler. Bu yeni çözüm, daha küçük veri kümeleriyle (birkaç GB'a kadar) çalışan ve Birincil dil olarak Pandas ve Python kullanan BI geliştiricileri ve Veri Bilimci hedeflemektedir. Bu yeni deneyim sayesinde yerel Python dilinden ve yerel özellikleriyle kitaplıklarından yararlanabilecekler, Python sürümünden başka bir sürüme geçebilecekler (başlangıçta iki sürüm desteklenecektir) ve son olarak daha küçük bir 2VCore makinesi kullanarak daha iyi bir kaynak kullanımı elde edebilecekler.
ArcGIS GeoAnalytics for Microsoft Fabric Spark
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Microsoft ve Esri, uzamsal analizleri Microsoft Fabric'e getirmek için iş ortaklığı yaptı. Bu işbirliği, Doğrudan Microsoft Fabric Spark not defterleri ve Spark iş tanımları (hem Veri Madenciliği hem de Veri Bilimi deneyimlerinde/iş yüklerinde) kapsamlı bir uzamsal analiz kümesi sağlayan yeni bir Microsoft Fabric için ArcGIS GeoAnalytics kitaplığını kullanıma sunar.
Bu tümleşik ürün deneyimi Spark geliştiricilerine veya veri bilim adamlarına, ayrı yükleme ve yapılandırmaya gerek kalmadan farklı kullanım örneklerinde verilerin (hatta büyük verilerin bile) uzamsal dönüşüm, zenginleştirme ve desen/eğilim analizi için ArcGIS GeoAnalytics işlevlerini ve araçlarını Doku Spark'ta çalıştırmak için yerel olarak Esri özelliklerini kullanma gücü verir.
ADLS 2. Nesil Depolama hesabından kitaplıkları yükleme
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Kullanıcıların kitaplıkları yüklemesi için yeni bir kaynak destekleme. Kullanıcılar, depolama hesaplarında barındırılan özel bir conda/PyPI kanalı oluşturarak kitaplıkları Yapı Ortamlarına kendi depolama hesaplarından yükleyebilir.
Not defteri canlı sürümü oluşturma
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Canlı sürüm oluşturma ile Doku Not Defteri geliştiricileri not defterlerinde yapılan değişikliklerin geçmişini izleyebilir, farklı köşeleri karşılaştırabilir ve gerekirse önceki sürümleri geri yükleyebilir.
Dokuda Kullanıcı Verileri İşlevleri için VSCode Uydu Uzantısı
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Kullanıcı Verileri İşlevleri için VSCode Uydu uzantısı, Dokudaki Kullanıcı Verileri İşlevleri için geliştirici desteği (düzenleme, derleme, hata ayıklama, yayımlama) sağlar.
Dokuda Kullanıcı Verileri İşlevleri
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Kullanıcı Veri İşlevleri, doku veri bilimi ve veri mühendisliği iş akışlarında özel, özel iş mantığı uygulamak ve yeniden kullanmak için güçlü bir mekanizma sağlayarak verimliliği ve esnekliği artıracaktır.
Genel izleme API'leri
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Fabric Spark için Genel İzleme API'sinin özelliği Spark izleme API'lerini kullanıma seçerek kullanıcıların Spark işinin ilerleme durumunu izlemesine, yürütme görevlerini görüntülemesine ve günlüklere program aracılığıyla erişmesine olanak tanır. Bu özellik genel API standartlarıyla uyumludur ve Spark uygulamaları için sorunsuz bir izleme deneyimi sağlar.
Git ve dağıtım işlem hatlarında Lakehouse Kısayolları meta verileri
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
İlgi çekici bir uygulama yaşam döngüsü yönetimi hikayesi sunmak için git'te nesne meta verilerini izleme ve dağıtım işlem hatlarını destekleme zorunludur. çalışma alanları git ile tümleştirildiğinden Veri Madenciliği modüllerinde.
Bu ilk yinelemede OneLake Kısayolları işlem hattı aşamaları ve çalışma alanları arasında otomatik olarak dağıtılacaktır. Kısayol bağlantıları, değişken kitaplığı adlı yeni bir Microsoft Fabric öğesi kullanılarak aşamalar arasında yeniden eşlenebilir ve böylece müşterilerin beklediği uygun yalıtım ve ortam segmentasyonu kullanılabilir.
Spark deneyimlerinde Delta Lake geliştirmeleri
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel kullanılabilirlik
Microsoft Fabric'teki Delta Lake standartları için en önemli önem, doğru varsayılanlara sahip olmak ve en son standartlarla uyumlu hale getirmektir. INT64, tüm zaman damgası değerleri için yeni varsayılan kodlama türü olacaktır. Bu, Apache Parquet'in yıllar önce kullanım dışı bırakıldığı INT96 kodlamalarından uzaklaşır. Değişiklikler okuma özelliklerini etkilemez, varsayılan olarak saydam ve uyumludur, ancak Delta Lake tablonuzdaki tüm yeni parquet dosyalarının daha verimli ve gelecekteki bir şekilde yazılmasını sağlar.
Ayrıca OPTIMIZE komutunun daha hızlı bir uygulamasını kullanıma seçerek zaten V Sıralı dosyaları atlayacağız.
Devam eden Not Defteri işlerinin anlık görüntüleri için destek
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Bu özellik, kullanıcıların çalışma sırasında not defteri anlık görüntüsünü görüntülemesine olanak tanır. Bu, ilerleme durumunu izlemek ve performans sorunlarını gidermek için gereklidir. Kullanıcılar Spark işini daha iyi anlamak için özgün kaynak kodunu, giriş parametrelerini ve hücre çıkışlarını görebilir ve Spark yürütme ilerleme durumunu hücre düzeyinde izleyebilir. Kullanıcılar, Spark uygulamasının doğruluğunu doğrulamak ve kalan çalışmayı tahmin etmek için tamamlanmış hücrelerin çıkışını da gözden geçirebilir. Ayrıca, zaten yürütülen hücrelerden gelen tüm hatalar veya özel durumlar görüntülenir ve bu da kullanıcıların sorunları erken tanımlamalarına ve çözmelerine yardımcı olur.
Spark ve Lakehouse için RLS/CLS Desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Bu özellik kullanıcıların Spark altyapısında veri erişimi için güvenlik ilkeleri uygulamasına olanak tanır. Kullanıcılar Nesne, Satır veya Sütun düzeyinde güvenlik tanımlayarak Verilerin Fabric Spark aracılığıyla erişildiğinde bu ilkeler tarafından tanımlandığı şekilde güvenli hale getirilmesini ve Microsoft Fabric genelinde etkinleştirilmekte olan OneSecurity girişimiyle uyumlu olmasını sağlar.
Doku Veri Ambarı için Spark Bağlayıcısı - Genel Kullanılabilirlik
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel kullanılabilirlik
Microsoft Fabric Veri Ambarı için Spark bağlayıcısı, Spark geliştiricilerinin ve veri bilimciler tarafından bir ambardaki verilere ve bir lakehouse'un SQL analiz uç noktasından verilere erişmesine ve verilerle çalışmasına olanak tanır. Basitleştirilmiş bir Spark API'sini sunar, temel karmaşıklığı soyutlar ve nesne düzeyi güvenlik (OLS), satır düzeyi güvenlik (RLS) ve sütun düzeyi güvenlik (CLS) gibi güvenlik modellerini desteklerken yalnızca bir kod satırıyla çalışır.
Sevk edilen özellikler
Lakehouse'da tablo ve klasörleri sıralama ve filtreleme olanağı
Gönderildi (Q4 2024)
Yayın Türü: Genel kullanılabilirlik
Bu özellik, müşterilerin Lakehouse'daki tablo ve klasörlerini alfabetik olarak, oluşturulan tarih ve daha fazlası gibi çeşitli yöntemlerle sıralamalarına ve filtrelemelerine olanak tanır.
Uygulamadaki not defterleri
Gönderildi (Q4 2024)
Yayın Türü: Genel önizleme
Kuruluş uygulamaları, Fabric'te yeni bir öğe olarak sunulur ve Fabric uygulamalarındaki Power BI raporlarının ve panolarının yanı sıra Not Defterlerini de dahil edebilir ve bunları iş kullanıcılarına dağıtabilirsiniz. Uygulama tüketicileri alternatif bir raporlama ve veri araştırma mekanizması olarak not defterindeki pencere öğeleri ve görsellerle etkileşimde bulunabilir. Bu, verilerinizle zengin ve ilgi çekici hikayeler oluşturmanıza ve paylaşmanıza olanak tanır.
Doku için VSCode Core Uzantısı
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Doku için Çekirdek VSCode Uzantısı, Doku hizmetleri için ortak geliştirici desteği sağlar.
T-SQL not defteri
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Doku not defterleri, Veri Ambarı'na karşı veri kullanmak için T-SQL dilini destekler. T-SQL geliştiricileri, not defterine Veri Ambarı veya SQL analiz uç noktası ekleyerek sorguları doğrudan bağlı uç noktada çalıştırabilir. BI analistleri, birden çok ambardan ve SQL analiz uç noktasından içgörü toplamak için veritabanları arası sorgular da gerçekleştirebilir. T-SQL Not Defterleri, SQL kullanıcılarına mevcut araçlara harika bir yazma alternatifi sunar ve paylaşım, GIT tümleştirmesi ve işbirliği gibi Doku yerel özelliklerini içerir.
Web için VS Code - hata ayıklama desteği
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Web için Visual Studio Code şu anda yazma ve yürütme senaryoları için Önizleme'de desteklenmektedir. Not defteri için bu uzantıyı kullanarak kodda hata ayıklama özelliği özellikleri listesine ekliyoruz.
İşlem hatlarında yüksek eşzamanlılık
Gönderildi (Q3 2024)
Yayın Türü: Genel kullanılabilirlik
Not defterlerinde yüksek eşzamanlılığa ek olarak, işlem hatlarında yüksek eşzamanlılığı da etkinleştireceğiz. Bu özellik, tek bir oturumla işlem hattında birden çok not defteri çalıştırmanıza olanak sağlar.
Lakehouse'da ad alanında şema desteği ve çalışma alanı
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Bu, çalışma alanları arasında şemaları kullanarak tabloları düzenlemeye ve verileri sorgulamaya olanak sağlar.
Spark Yerel Yürütme Altyapısı
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Yerel yürütme altyapısı, Microsoft Fabric'teki Apache Spark iş yürütmeleri için çığır açan bir geliştirmedir. Bu vektörleştirilmiş altyapı, Spark sorgularınızı doğrudan göl evi altyapınızda çalıştırarak performansı ve verimliliğini iyileştirir. Altyapının sorunsuz tümleştirmesi kod değişikliği gerektirmemesi ve satıcının kilitlenmesini önlemesi anlamına gelir. Apache Spark API'lerini destekler ve Çalışma Zamanı 1.2 (Spark 3.4) ile uyumludur ve hem Parquet hem de Delta biçimleriyle çalışır. Verilerinizin OneLake içindeki konumuna bakılmaksızın veya verilere kısayollar aracılığıyla erişiyorsanız, yerel yürütme altyapısı verimliliği ve performansı en üst düzeye çıkarır
Doku Veri Ambarı için Spark Bağlayıcısı
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Doku DW için Spark Bağlayıcısı (Veri Ambarı), spark geliştiricisini veya veri bilimcisini, yalnızca bir kod satırıyla çalışan basitleştirilmiş bir Spark API'siyle Doku Veri Ambarı'ndan verilere erişme ve bunlar üzerinde çalışma gücü sağlar. Verileri paralel olarak Doku veri ambarından sorgulayarak artan veri hacmiyle ölçeklendirilmesini ve tabloya veya görünüme erişirken veri ambarı düzeyinde tanımlanan güvenlik modelini (OLS/RLS/CLS) dikkate almalarını sağlar. Bu ilk sürüm yalnızca veri okumayı destekleyecek ve verileri geri yazma desteği yakında sunulacaktır.
GraphQL için Microsoft Fabric API
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
GraphQL için API, Doku veri mühendislerinin, bilim adamlarının, veri çözümü mimarlarının GraphQL'in gücünden ve esnekliğinden yararlanarak daha hızlı, performanslı ve zengin analitik uygulamalar için Doku verilerini zahmetsizce kullanıma sunmalarına ve tümleştirmelerine olanak tanır.
Ortam oluşturma ve ekleme
Gönderildi (Q2 2024)
Yayın Türü: Genel kullanılabilirlik
Spark deneyimlerinizi daha ayrıntılı bir düzeyde özelleştirmek için, not defterlerinize ve Spark işlerinize ortamlar oluşturabilir ve ekleyebilirsiniz. Bir ortamda kitaplıkları yükleyebilir, yeni bir havuz yapılandırabilir, Spark özelliklerini ayarlayabilir ve betikleri bir dosya sistemine yükleyebilirsiniz. Bu, çalışma alanının varsayılan ayarlarını etkilemeden Spark iş yükleriniz üzerinde daha fazla esneklik ve denetim sağlar. GA'nın bir parçası olarak, API desteği ve CI/CD tümleştirmesi gibi ortamlarda çeşitli geliştirmeler yapıyoruz.
Not Defteri İşleri için İş Kuyruğu Oluşturma
Gönderildi (Q2 2024)
Yayın Türü: Genel kullanılabilirlik
Bu özellik, Spark kullanımı paralel olarak yürütebileceği en fazla iş sayısına ulaştığında zamanlanmış Spark Not Defterlerinin kuyruğa alınmasına ve kullanım izin verilen paralel iş sayısı üst sınırının altına düştüğünde yürütülmesine olanak tanır.
Fabric Spark için İyimser İş Kabulü
Gönderildi (Q2 2024)
Yayın Türü: Genel kullanılabilirlik
İyimser İş Kabulü ile Fabric Spark, işin ölçeğini azaltabileceği en düşük düğüm sayısına bağlı olarak yalnızca işin başlaması gereken minimum çekirdek sayısını ayırır. Bu, minimum gereksinimleri karşılamak için yeterli kaynak varsa daha fazla işin kabul edilmesini sağlar. Bir işin daha sonra ölçeği artırması gerekiyorsa, kapasitedeki kullanılabilir çekirdekler temelinde ölçeği artırma istekleri onaylanır veya reddedilir.
Spark autotune
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
Autotune, Spark işlerinizin önceki çalıştırmalarını otomatik olarak analiz etmek ve performansı iyileştirmek için yapılandırmaları ayarlamak için makine öğrenmesini kullanır. Verilerinizin Spark tarafından nasıl bölümlendiğini, birleştiğini ve okunmasını yapılandırır. Bu şekilde performansı önemli ölçüde geliştirecektir. Bu özellik sayesinde müşteri işlerinin 2 kat daha hızlı çalıştığını gördük.