Microsoft Fabric'teki Data Factory'deki yenilikler ve planlananlar
Önemli
Sürüm planları, henüz yayınlanmış veya yayımlanmamış olabilecek işlevleri açıklar. Teslim zaman çizelgeleri ve öngörülen işlevler değişebilir veya gönderilmeyebilir. Daha fazla bilgi için Microsoft ilkesine bakın.
Microsoft Fabric'teki Data Factory, vatandaş veri tümleştirmesi ve profesyonel veri tümleştirme özelliklerini tek, modern bir veri tümleştirme deneyiminde birleştirir. 100'den fazla ilişkisel ve ilişkisel olmayan veritabanına, lakehouse'lara, veri ambarlarına, REST API'leri, OData gibi genel arabirimlere ve daha fazlasına bağlantı sağlar.
Veri akışları: Veri Akışı 2. Nesil, büyük ölçekli veri dönüştürmeleri gerçekleştirmenize olanak tanır ve Azure SQL Veritabanı, Lakehouse, Veri Ambarı ve daha fazlasına yazılan çeşitli çıkış hedeflerini destekler. Veri akışları düzenleyicisi, yapay zeka tabanlı seçenekler de dahil olmak üzere 300'den fazla dönüştürme sunar ve diğer araçlardan daha iyi esneklikle verileri kolayca dönüştürmenize olanak tanır. Web sayfası gibi yapılandırılmamış bir veri kaynağından veri ayıklarken veya Power Query düzenleyicisinde var olan bir tabloyu yeniden şekillendiriyor olun, Power Query'nin Yapay Zeka (AI) kullanan ve işlemi basitleştiren Veri Ayıklamayı Örnek Olarak kolayca uygulayabilirsiniz.
Veri işlem hatları: Veri işlem hatları, veri ayıklama, tercih edilen veri depolarına yükleme, not defteri yürütme, SQL betiği yürütme gibi görevleri bir araya getiren çok yönlü veri düzenleme iş akışları oluşturma özelliği sunar. Yinelenen görevleri otomatik hale getiren güçlü meta veri temelli veri işlem hatlarını hızla oluşturabilirsiniz. Örneğin, veritabanındaki farklı tablolardan veri yükleme ve ayıklama, Azure Blob Depolama birden çok kapsayıcıda yineleme ve daha fazlası. Ayrıca, veri işlem hatlarıyla Microsoft Graph Veri Bağlantısı ion (MGDC) bağlayıcısını kullanarak Microsoft 365'ten verilere erişebilirsiniz.
İşi Kopyalama: Kopyalama işi, kolaylaştırılmış ve kullanıcı dostu bir işlemle veri alımı deneyimini basitleştirerek petabayt ölçeğindeki verileri herhangi bir kaynaktan herhangi bir hedefe taşır. Toplu kopyalama, artımlı kopyalama ve daha fazlası dahil olmak üzere çeşitli veri teslim stilleriyle verileri kopyalayabilirsiniz.
Apache Airflow İşi: Apache Airflow işi, Azure Data Factory İş Akışı Düzenleme Yöneticisi'nin yeni neslidir. Apache Airflow düzenleme işleri oluşturmanın ve yönetmenin basit ve verimli bir yoludur ve Directed Acyclic Graphs'i (DAG) büyük ölçekte kolayca çalıştırmanızı sağlar. Apache Airflow işi, kod kullanarak zengin bir veri kaynağı kümesinden verileri alma, hazırlama, dönüştürme ve düzenleme konusunda modern bir veri tümleştirme deneyimi sunar.
Veritabanı Yansıtma: Dokuda Veritabanı Yansıtma, açık standartlarla (örneğin Delta Lake tablo biçimi) tasarlanmış düşük maliyetli, düşük gecikme süreli bir çözümdür. Çeşitli sistemlerdeki verileri ve meta verileri hızla çoğaltmanızı sağlar. Veritabanı Yansıtma'yı kullanarak, veri varlığınızı analiz için Microsoft Fabric OneLake'e sürekli olarak çoğaltabilirsiniz. Yüksek oranda tümleşik, kullanımı kolay bir deneyimle artık analiz gereksinimlerinizi kullanmaya başlamayı basitleştirebilirsiniz.
Daha fazla bilgi edinmek için belgelere bakın.
Yatırım alanları
Önümüzdeki birkaç ay içinde, Microsoft Fabric'teki Data Factory bağlantı seçeneklerini genişletecek ve zengin dönüşümler ve veri işlem hattı etkinlikleri kitaplığına eklemeye devam edecektir. Ayrıca, işletimsel veritabanlarından gerçek zamanlı, yüksek performanslı veri çoğaltması gerçekleştirmenizi ve analiz için bu verileri göle getirmenizi sağlar.
Veri Akışı 2. Nesil CI/CD ve Genel API'ler desteği
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Veri akışı 2. Nesil özellikleri, Doku'da aşağıdaki özellikleri destekleyecek şekilde geliştirilecektir:
- ALM dağıtım işlem hatlarına Veri Akışı 2. Nesil öğelerini ekleyebilme.
- Veri Akışı 2. Nesil öğelerini kaynak denetimi (Git tümleştirmesi) özellikleriyle kullanabilme.
- Veri Akışı 2. Nesil öğeleri için genel CRUDLE API'leri.
Bunlar birçok müşteriden yüksek oranda istenen özelliklerdir ve bunları Önizleme özelliği olarak kullanıma sunmaktan heyecanlıyız.
AnlamSal Model Yenileme Tabloları ve Bölümleri
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
İşlem hattı kullanıcıları çok popüler Semantik Model Yenileme işlem hattı etkinliğimiz hakkında çok heyecanlı. Sık sorulan sorulardan biri, modellerindeki belirli tabloları ve bölümleri yenileyerek ELT işleme işlem hattını geliştirmektir. Bu özelliği etkinleştirerek işlem hattı etkinliğini doku anlam modellerinizi yenilemenin en etkili yolu yaptık!
Doku Data Factory İşlem Hattı İçeri ve Dışarı Aktarma
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel kullanılabilirlik
Data Factory işlem hattı geliştiricisi olarak genellikle işlem hattı tanımınızı diğer geliştiricilerle paylaşmak veya diğer çalışma alanlarında yeniden kullanmak için dışarı aktarmak istersiniz. Data Factory işlem hatlarınızı Doku çalışma alanınızdan dışarı ve içeri aktarma özelliğini ekledik. Bu güçlü özellik daha da işbirliğine dayalı özellikler sağlayacak ve destek ekiplerimizle işlem hatlarınızın sorunlarını giderirken çok değerli olacaktır.
Data Factory için Copilot (Veri işlem hattı)
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Data Factory için Copilot (Veri işlem hattı), müşterilerin doğal dil kullanarak veri işlem hatları oluşturmasına olanak sağlar ve sorun giderme yönergeleri sağlar.
Azure SQL DB için yansıtma
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel kullanılabilirlik
Yansıtma, mevcut Azure SQL DB verilerinizi Microsoft Fabric'teki verilerinizin geri kalanıyla tümleştirmek için sorunsuz bir ETL deneyimi sağlar. İşlem iş yüklerinizin performansını etkilemeden Azure SQL DB verilerinizi neredeyse gerçek zamanlı olarak doğrudan Fabric OneLake'e sürekli çoğaltabilirsiniz.
Microsoft Fabric'te Yansıtma hakkında daha fazla bilgi edinin
Yansıtmayı Açma
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Açık Yansıtma, herhangi bir uygulama veya veri sağlayıcısının veri varlıklarını en az çabayla doğrudan OneLake'e getirmesine izin vererek Doku'nun genişletilebilirliğini geliştiren güçlü bir özelliktir. Açık Yansıtma, veri sağlayıcılarının ve uygulamaların değişiklik verilerini doğrudan Doku'nun içindeki yansıtılmış bir veritabanına yazmasına olanak sağlayarak karmaşık veri değişikliklerinin işlenmesini basitleştirir ve yansıtılan tüm verilerin sürekli güncel ve analize hazır olmasını sağlar.
Veri İşlem Hatları Genel API'leri SPN desteği
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Doku'da işlem hattı REST API'lerinin kullanımını çok daha kolay ve daha güvenli hale getirmek için genel API'ler için SPN (hizmet sorumlusu) desteğini etkinleştireceğiz.
Doku Çalışma Alanı değişkenleri için Veri İşlem Hattı desteği
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Doku Data Factory işlem hattı ortamlarınızda CICD uygularken, geliştirmeden testten üretime vb. değerleri güncelleştirmek çok önemlidir. Doku içindeki değişkenleri kullanarak ortamlar arasındaki değerleri değiştirebilir ve ayrıca ADF'nin genel parametrelerine benzer işlem hatlarında değerleri paylaşabilirsiniz.
Şirket içi veri ağ geçidi otomatik güncelleştirmesi
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Şirket içi veri ağ geçidi otomatik yükseltme özelliği, ağ geçidinin her zaman en son sürümü çalıştırmasını sağlar ve el ile müdahale olmadan gelişmiş işlevsellik, güvenlik güncelleştirmeleri ve yeni özellikler sağlar. Bu özellik, kullanılabilir hale geldikçe güncelleştirmeleri otomatik olarak indirip yükleyerek ağ geçidinin yönetimini basitleştirir.
VNET ağ geçitleri için Veri İşlem Hattı desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
VNET veri ağ geçidi, işlem hattı kopyalama etkinliği ve diğer işlem hattı etkinlikleri dahil olmak üzere Doku Veri İşlem Hattı'na destek sağlar. Müşteriler, sanal ağ veri ağ geçidi aracılığıyla işlem hattındaki veri kaynaklarına güvenli bir şekilde bağlanabilir.
SharePoint Dosyalarına Veri Akışı 2. Nesil Çıkış Hedefi
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Dataflow 2. Nesil ile verileri temizleyip hazırladıktan sonra, bu özellik veri hedefi olarak SharePoint dosyalarının seçilmesine olanak tanır. Bu özellik, dönüştürülmüş verileri CSV dosyasına aktarmayı ve site izni olan herkesin kullanımına sunulması için Microsoft SharePoint'te depolamayı kolaylaştırır.
Atlayan pencere tetikleyicileri için Veri İşlem Hattı desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
İşlem hattı çalıştırmalarını çakışmayan ve "yeniden oynatılabilen" zaman pencerelerini kullanarak zamanlamak, birçok ADF kullanıcılarının kullanmaktan keyif aldığı işlem hatlarında çok önemli bir özelliktir. Bu atlayan pencere özelliğini işlem hattı zamanlaması için Fabric Data Factory'ye getirmek için çok heyecanlıyız.
Azure Data Factory öğesi
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel kullanılabilirlik
Doku'da Azure Data Factory öğesinin genel kullanıma sunulduğunu duyurmaktan dolayı çok heyecanlıyız. Bu yeni özellik sayesinde, mevcut ADF kullanıcıları Azure'daki veri fabrikalarını Doku çalışma alanlarında hızlı ve kolay bir şekilde kullanılabilir hale getirebiliyor. Artık ADF işlem hatlarınızı doğrudan Doku'dan yönetebilir, düzenleyebilir ve çağırabilirsiniz!
Ek kaynaklar için Veri İşlem Hattı Kopyalama Etkinliği desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel kullanılabilirlik
Kopyalama etkinliği'da daha fazla kaynak bağlayıcısı için desteği genişleterek müşterilerin Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (paketlenmiş) ve daha fazlası dahil olmak üzere çok çeşitli kaynaklardan sorunsuz bir şekilde veri kopyalamasına olanak tanıyoruz.
Veri Akışları 2. Nesil Paralel Yürütme
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
"Kullanıcılar, Veri Akışı 2. Nesil dönüşümlerinin mantığını tanımlamak ve yürütmeyi farklı bağımsız değişkenlerle paralelleştirmek için esnek bir yol istiyor. Bugün, farklı bağımsız değişkenlerle yeniden kullanılabilecek bir mantığın olması için tek veri akışlarında birden çok veri akışı veya birden çok sorgu oluşturmaları gerekir.
Bu geliştirmenin bir parçası olarak, kullanıcıların bu kapsayıcılı yaklaşımı paralel ve dinamik yürütme için yinelemek ve yönlendirmek üzere parametre değerleri listesi işlevi gören tek başına bir sorgudan yönlendirilmiş tüm veri akışı öğeleri için ""foreach"" döngüsü ayarlama yollarını etkinleştireceğiz."
Veri kaynağı kimlik yönetimi (Azure Key Vault)
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Azure Key Vault desteği - Anahtarlarınızı ve gizli dizilerinizi Azure Key Vault'ta depolayabilir ve bu anahtara bağlanabilirsiniz. Bu şekilde anahtarlarınızı tek bir yerde yönetebilirsiniz.
CosmosDB için yansıtma
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel kullanılabilirlik
Yansıtma, mevcut Azure Cosmos DB verilerinizi Microsoft Fabric'teki verilerinizin geri kalanıyla tümleştirmek için sorunsuz bir ETL deneyimi sağlar. İşlem iş yüklerinizin performansını etkilemeden Azure Cosmos DB verilerinizi neredeyse gerçek zamanlı olarak doğrudan Fabric OneLake'e sürekli olarak çoğaltabilirsiniz.
Veri Akışı 2. Nesil CI/CD ve Genel API'ler desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel kullanılabilirlik
Veri akışı 2. Nesil öğeleri, kaynak denetimi (Git tümleştirmesi) ve ALM Dağıtım İşlem Hatları dahil olmak üzere Doku'daki CI/CD özelliklerini destekleyecektir. Ayrıca müşteriler Doku REST API'leri aracılığıyla Doku'daki Dataflow 2. Nesil öğeleriyle program aracılığıyla etkileşim kurabilecek ve Dataflow 2. Nesil öğeleri üzerinde CRUDLE işlemleri için destek sağlayacaktır.
Veri Akışı 2. Nesil Genel API'ler SPN desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Veri akışı 2. Nesil öğeleri, Hizmet Sorumlusu kimlik doğrulaması desteğine sahip Doku REST API'leri aracılığıyla desteklenecektir.
Veri Akışı 2. Nesil Artımlı Yenileme
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel kullanılabilirlik
Eylül 2024'ün sonunda Dataflow 2. Nesil Artımlı Yenileme'yi Genel Önizleme özelliği olarak yayımladık. Müşteri geri bildirimlerini izlemeye ve Q1CY2025 sona ermesi planlanan Genel Kullanılabilirliğe yol açan bu özelliği geliştirmeye devam edeceğiz.
Lakehouse hedefi için Veri Akışı 2. Nesil Artımlı Yenileme desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Veri Akışı 2. Nesil Artımlı Yenileme, veri akışı yürütmeyi en iyi duruma getirerek veri akışınızın veri kaynaklarında değiştirilen en son verileri bir tarih saat bölümü sütununa göre alır. Bu, verilerin aşağı akış dönüştürmeleri veya veri akışı çıkış hedefine çıkış yapmak için OneLake'e artımlı olarak yüklenebilmesini sağlar.
Bu geliştirmenin bir parçası olarak, verileri doğrudan Fabric Lakehouse tablolarına aktarmak için Artımlı Yenileme için doğrudan destek sağlayacağız.
Veri Akışı 2. Nesil Parametreleştirme
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Kullanıcılar, bir işlem hattının farklı etkinliklerine değişken veya parametre ekleyebildiği ve böylece öğeleri daha dinamik bir şekilde yürütebildiği meta veri temelli işlem hatlarını çalıştırmaya alışkındır: Bir kez oluşturma, birden çok kez yeniden kullanma.
Bu geliştirmenin bir parçası olarak, Dokudaki Veri İşlem Hattı aracılığıyla yürütülen veri akışlarının mevcut veri akışı parametreleri için parametre değerleriyle sağlanabilmesini sağlayacağız.
Farklı Kaydet yeni öğesi için Veri Akışı 2. Nesil desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Müşteriler genellikle mevcut bir veri akışını yeni veri akışı olarak yeniden oluşturmak ister. Bugün, bunu başarmak için sıfırdan yeni Veri Akışı 2. Nesil öğesini oluşturmaları ve var olan sorgularını kopyalayıp yapıştırmaları veya Power Query şablonunu dışarı/içeri aktarma özelliklerinden yararlanmaları gerekir. Ancak bu, gereksiz adımlardan dolayı yalnızca uygunsuz olmakla kalmaz, aynı zamanda Zamanlanmış Yenileme ve diğer öğe özellikleri (ad, açıklama, duyarlılık etiketi vb.) gibi ek veri akışı ayarlarını da taşımaz.
Bu geliştirmenin bir parçası olarak, Veri Akışı 2. Nesil düzenleme deneyiminde hızlı bir ""Farklı Kaydet"" hareketi sağlayarak kullanıcıların mevcut veri akışlarını yeni bir veri akışı olarak kaydetmelerini sağlayacağız.
Farklı Kaydet Veri Akışı 2. Nesil yeni öğesi için Veri Akışı 1. Nesil desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Müşteriler genellikle mevcut Bir Veri Akışı 1. Nesil öğesini yeni bir Veri Akışı 2. Nesil öğesi olarak yeniden oluşturmak ister. Bugün, bunu başarmak için sıfırdan yeni Veri Akışı 2. Nesil öğesini oluşturmaları ve var olan sorgularını kopyalayıp yapıştırmaları veya Power Query şablonunu dışarı/içeri aktarma özelliklerinden yararlanmaları gerekir. Ancak bu, gereksiz adımlardan dolayı yalnızca uygunsuz olmakla kalmaz, aynı zamanda Zamanlanmış Yenileme ve diğer öğe özellikleri (ad, açıklama, duyarlılık etiketi vb.) gibi ek veri akışı ayarlarını da taşımaz.
Bu geliştirmenin bir parçası olarak, Veri Akışı 1. Nesil düzenleme deneyiminde hızlı bir ""Farklı Kaydet"" hareketi sağlayarak kullanıcıların mevcut Dataflow 1. Nesil öğelerini yeni Bir Veri Akışı 2. Nesil öğesi olarak kaydetmelerini sağlayacağız.
İşi Kopyalama - Kullanıcıların filigran sütunlarını belirtmesi gerekmeden artımlı kopyalama
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Anahtar bağlayıcıları için Kopyalama İşi'nde yerel CDC (Veri Yakalamayı Değiştir) özelliğini tanıtacağız. Bu, artımlı kopyalamanın değişiklikleri otomatik olarak algılanacağı anlamına gelir; müşterilerin artımlı sütunlar belirtmesine gerek yoktur.
İşi Kopyala
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel kullanılabilirlik
Data Factory'de İşi Kopyalama, veri alımı deneyimini herhangi bir kaynaktan herhangi bir hedefe daha kolay ve kullanıcı dostu bir işleme yükseltir. Artık verilerinizi kopyalamak hiç olmadığı kadar kolay. Kopyalama işi, hem toplu kopyalama hem de artımlı kopyalama dahil olmak üzere çeşitli veri teslim stillerini destekler ve özel gereksinimlerinizi karşılama esnekliği sunar.
İş CI/CD desteğini kopyalama
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Kopyalama İşi öğeleri, kaynak denetimi (Git tümleştirmesi) ve ALM Dağıtım İşlem Hatları dahil olmak üzere Doku'daki CI/CD özelliklerini destekler.
İşi Kopyalama Genel API'leri desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Müşteriler, İş Öğelerini Kopyalama üzerinden CRUDLE işlemleri için destek sağlayarak Doku Genel API'leri aracılığıyla Dokudaki İşi Kopyalama öğeleriyle programlı olarak etkileşim kurabilecek
Ek Hızlı Kopyalama kaynakları için Veri Akışı 2. Nesil desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Dataflow 2. Nesil'deki Hızlı Kopyalama'yı, daha fazla kaynak bağlayıcısını destekleyecek şekilde genişleterek müşterilerin daha yüksek performansla veri yüklemesine olanak sunuyoruz. Yeni bağlayıcılar Arasında Fabric Lakehouse dosyaları, Google BigQuery, Amazon Redshift ve daha fazlası yer alacak ve bu sayede daha hızlı ve daha verimli veri tümleştirmesi sağlanacaktır.
Ek kaynaklar için İşi Kopyalama desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Kopyalama İşi'nde daha fazla kaynak bağlayıcısı için desteği genişleterek müşterilerin çok çeşitli kaynaklardan sorunsuz bir şekilde veri kopyalamasına olanak tanıyoruz. Aynı zamanda, hem tam kopya hem de artımlı kopyalama dahil olmak üzere çeşitli kopyalama desenleri sunarken basitleştirilmiş deneyimi de sürdüreceğiz.
OneLake depolama olayı tetikleyicileri için Veri İşlem Hattı desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Doku Data Factory'de işlem hatlarını çağırmak için kullanılan popüler bir mekanizma, dosya tetikleyicisini kullanıyor. Blob deposu veya ADLS 2. Nesil'de dosya olayları (örneğin, dosya gelişi, dosya silme ...) algılandığında, Doku Data Factory işlem hattınız çağrılır. Şimdi Doku'daki tetikleyici olay türlerine OneLake dosya olayları ekledik.
Müşterilerin bağlantılarını parametreleştirmesine olanak sağlama
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
Bağlantılar, veri depolarınız için bağlantı ve kimlik doğrulaması tanımlamak için ortak bir çerçeve sağlar. Bu bağlantılar farklı öğeler arasında paylaşılabilir. Parametreleştirme desteğiyle karmaşık ve yeniden kullanılabilir işlem hatları, not defterleri, veri akışları ve diğer öğe türleri oluşturabileceksiniz.
DBT için veri işlem hattı desteği
Tahmini sürüm zaman çizelgesi: Q1 2025
Yayın Türü: Genel önizleme
DBT CLI Düzenlemesi (Veri Derleme Aracı): Veri dönüştürme iş akışları için veri derleme aracını (dbt) birleştirir.
Bağlantılar'da kullanıcı tarafından atanan Yönetilen Kimlikler desteği
Tahmini sürüm zaman çizelgesi: Q2 2025
Yayın Türü: Genel önizleme
Bağlantılar'da kullanıcı tarafından atanan yönetilen kimlikleri desteklemeye yönelik bu geliştirme, veri kaynaklarına erişmek için daha güvenli ve esnek bir kimlik doğrulama yöntemi sunarak önemli bir değer sağlar. Kimlik bilgilerinin sabit kodlanmasını önler, gizli dizileri döndürme gereksinimini ortadan kaldırarak yönetimi basitleştirir, güvenlik ilkeleriyle uyumluluğu sağlar, Azure hizmetleriyle sorunsuz bir şekilde tümleştirilir ve birden çok örneğin aynı kimliği paylaşmasına izin vererek bağlantılarda ölçeklenebilirliği destekler.
Sevk edilen özellikler
Dokuda Azure Data Factory
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Mevcut Azure Data Factory'nizi (ADF) Doku çalışma alanınıza getirin! Bu, Doku çalışma alanınızdan mevcut ADF fabrikalarınıza bağlanmanızı sağlayan yeni bir önizleme özelliğidir.
Artık ADF fabrikalarınızı doğrudan Doku çalışma alanı kullanıcı arabiriminden tam olarak yönetebileceksiniz! ADF'niz Doku çalışma alanınıza bağlandıktan sonra, ADF'de olduğu gibi ancak doğrudan Doku'nun içinde işlem hatlarınızı tetikleyebilir, yürütebilecek ve izleyebilirsiniz.
Çalışma alanları arası veri işlem hatlarını çağırma desteği
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
İşlem Hatlarını Çağırma etkinlik güncelleştirmesi: İşlem Hattını Çağır etkinliğinde bazı yeni ve heyecan verici güncelleştirmeleri etkinleştiriyoruz. Yoğun müşteri ve topluluk isteklerine yanıt olarak, çalışma alanları arasında veri işlem hatlarının çalıştırılmasını etkinleştiriyoruz. Artık yürütme erişiminiz olan diğer çalışma alanlarından işlem hatlarını çağırabileceksiniz. Bu, çalışma alanları ve işlevsel ekipler arasında veri mühendisliği ve tümleştirme ekiplerinizin işbirliğini kullanabilen çok heyecan verici veri iş akışı desenlerini etkinleştirir.
Veri işlem hatlarına şirket içi veri ağ geçidi (OPDG) desteği eklendi
Gönderildi (Q3 2024)
Yayın Türü: Genel kullanılabilirlik
Bu özellik, veri işlem hatlarının şirket içinde ve bir sanal ağın arkasındaki verilere erişmek için Doku veri ağ geçitlerini kullanmasına olanak tanır. Şirket içinde barındırılan tümleştirme çalışma zamanlarını (SHIR) kullanan kullanıcılar, Fabric'teki şirket içi veri ağ geçitlerine geçebilir.
İşi Kopyala
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Kopyalama İşi, Veri Akışı veya Veri işlem hattı oluşturmak zorunda kalmadan verileri almaları gereken müşteriler için deneyimi basitleştirir. Kopyalama İşi, herhangi bir veri kaynağından herhangi bir veri hedefine tam ve artımlı kopyalamayı destekler. Şimdi Özel Önizleme'ye kaydolun.
Snowflake için Yansıtma
Gönderildi (Q3 2024)
Yayın Türü: Genel kullanılabilirlik
Yansıtma, mevcut Snowflake verilerinizi Microsoft Fabric'teki diğer verilerinizle tümleştirmek için sorunsuz bir ETL deneyimi sağlar. Snowflake verilerinizi işlem iş yüklerinizin performansını etkilemeden neredeyse gerçek zamanlı olarak doğrudan Fabric OneLake'e çoğaltabilirsiniz.
Yenileme hataları için geliştirilmiş e-posta bildirimleri
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
E-posta bildirimleri, Dataflow 2. Nesil oluşturucularının bir veri akışının yenileme işleminin sonuçlarını (başarılı/başarısız) izlemesine olanak tanır.
Dataflow 2. Nesil'de Hızlı Kopyalama desteği
Gönderildi (Q3 2024)
Yayın Türü: Genel kullanılabilirlik
İşlem hatlarının Kopyalama Etkinliği özelliğini kullanarak doğrudan Veri Akışı 2. Nesil deneyimi içinde büyük ölçekli veri alımı için destek ekliyoruz. Bu geliştirme, yüksek ölçekli ELT (Ayıklama-Yük-Dönüştürme) özellikleri sağlayan Dataflow 2. Nesil'in veri işleme kapasitesini önemli ölçüde büyütür.
Dataflow 2. Nesil'de artımlı yenileme desteği
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Dataflow 2. Nesil'e artımlı yenileme desteği ekliyoruz. Bu özellik veri kaynaklarından artımlı olarak veri ayıklamanıza, Power Query dönüşümleri uygulamanıza ve çeşitli çıkış hedeflerine yüklemenize olanak tanır.
Veri kaynağı kimlik yönetimi (Yönetilen Kimlik)
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Bu, Yönetilen kimliğin çalışma alanı düzeyinde yapılandırılmasını sağlar. Veri kaynağınıza güvenli bir şekilde bağlanmak için Doku tarafından yönetilen kimlikleri kullanabilirsiniz.
Azure Databricks İşleri için veri işlem hattı desteği
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Data Factory veri işlem hatlarını Azure Databricks etkinliklerini, DLT işlerini yürütme gibi heyecan verici iş akışı özelliklerine olanak tanıyan en son işler API'sini kullanacak şekilde güncelleştiriyoruz.
Data Factory için Copilot (Veri Akışı)
Gönderildi (Q3 2024)
Yayın Türü: Genel kullanılabilirlik
Data Factory için Copilot (Dataflow), müşterilerin Dataflows 2. Nesil ile veri tümleştirme çözümleri oluştururken gereksinimlerini doğal dil kullanarak ifade etmelerini sağlar.
SparkJobDefinition için veri işlem hattı desteği
Gönderildi (Q2 2024)
Yayın Türü: Genel kullanılabilirlik
Artık JAR dosyaları da dahil olmak üzere Spark kodunuzu doğrudan bir işlem hattı etkinliğinden yürütebilirsiniz. Spark kodunuzun üzerine gelin; işlem hattı işi Doku'daki Spark kümenizde yürütür. Bu yeni etkinlik, Spark İşlerinizle aynı işlem hattında Data Factory denetim akışı ve veri akışı özelliklerini de dahil ederken Doku'nun Spark altyapısının gücünden yararlanan heyecan verici veri iş akışı desenleri sağlar.
Olay Odaklı Tetikleyiciler için veri işlem hattı desteği
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Data Factory veri işlem hatlarını çağırmak için yaygın bir kullanım örneği, dosya gelişi ve dosya silme gibi dosya olaylarında işlem hattını tetiklemedir. ADF veya Synapse'ten Doku'ya gelen müşteriler için ADLS/Blog depolama olaylarını kullanmak, yeni bir işlem hattı yürütme sinyali vermenin veya oluşturulan dosyaların adlarını yakalamanın bir yolu olarak çok yaygındır. Fabric Data Factory'deki tetikleyiciler, EventStreams ve Reflex tetikleyicileri de dahil olmak üzere Doku platformu özelliklerinden yararlanıyor. Doku Data Factory işlem hattı tasarım tuvalinin içinde, işlem hattınız için bir Refleks tetikleyicisi oluşturmak için basabileceğiniz bir Tetikleyici düğmesine sahip olursunuz veya tetikleyiciyi doğrudan Data Activator deneyiminden oluşturabilirsiniz.
Veri Akışı 2. Nesil Çıkış hedefi için hazırlama varsayılanları
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Veri Akışı 2. Nesil, çok çeşitli veri kaynaklarından Fabric OneLake'e veri alma özellikleri sağlar. Bu veriler hazırlandıktan sonra, Yüksek Ölçekli Veri Akışları 2. Nesil altyapısından (Fabric Lakehouse/Warehouse SQL işlemini temel alarak) yararlanarak yüksek ölçekli olarak dönüştürülebilir.
Veri Akışları 2. Nesil için varsayılan davranış, yüksek ölçekli veri dönüşümlerini etkinleştirmek için OneLake'te verileri hazırlamaktır. Bu, yüksek ölçekli senaryolar için harika olsa da, veri akışı çıkış hedefine yüklenmeden önce veriler için ek atlama (hazırlama) içerdiğinden az miktarda verinin alındığı senaryolar için de çalışmaz.
Planlanan geliştirmelerle, hazırlama gerektirmeyen bir çıkış hedefine sahip sorgular (fabric Lakehouse ve Azure SQL Veritabanı) için varsayılan Hazırlama davranışını devre dışı bırakılacak şekilde ayarlıyoruz.
Hazırlama davranışı, Sorgu Ayarları bölmesi veya Sorgular bölmesindeki sorgu bağlam menüsü aracılığıyla sorgu başına el ile yapılandırılabilir.
Azure HDInsight için veri işlem hattı desteği
Gönderildi (Q2 2024)
Yayın Türü: Genel kullanılabilirlik
HDInsight, geliştiricilerin bulutta çok güçlü büyük veri çözümleri oluşturmasını sağlayan Hadoop için Azure PaaS hizmetidir. Yeni HDI işlem hattı etkinliği, ADF ve Synapse işlem hatlarında yıllardır ziyaret ettiğiniz mevcut funcationality'ye benzer şekilde Data Factory veri işlem hatlarınızın içinde HDInsights iş etkinliklerini etkinleştirir. Şimdi bu özelliği doğrudan Doku veri işlem hatlarına getirdik.
Kopyalama Etkinliği için yeni bağlayıcılar
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Kopyalama etkinliği için veri işlem hattından yararlanırken müşteriyi şu kaynaklardan alma gücü veren yeni bağlayıcılar eklenecektir: Oracle, MySQL, Azure AI Search, Azure Dosyalar, Dynamics AX, Google BigQuery.
Apache Airflow işi: Apache Airflow tarafından desteklenen veri işlem hatları oluşturma
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Apache Airflow işi (daha önce Veri iş akışları olarak adlandırılır) Apache Airflow tarafından desteklenir ve tümleşik bir Apache Airflow çalışma zamanı ortamı sunarak Python DAG'lerini kolayca yazmanıza, yürütmenize ve zamanlamanıza olanak tanır.
Veri kaynağı kimlik yönetimi (SPN)
Gönderildi (Q2 2024)
Yayın Türü: Genel kullanılabilirlik
Hizmet sorumlusu - Azure AD kiracısı tarafından güvenliği sağlanan kaynaklara erişmek için erişim gerektiren varlığın bir güvenlik sorumlusu tarafından temsil edilmesi gerekir. Hizmet sorumlusuyla veri kaynaklarınıza bağlanabileceksiniz.
Veri işlem hatları için Data Factory Git tümleştirmesi
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
Veri işlem hatlarını işbirliğine dayalı bir şekilde geliştirmek için Git deponuza bağlanabilirsiniz. Veri işlem hatlarının Doku platformunun Uygulama Yaşam Döngüsü Yönetimi (ALM) özelliğiyle tümleştirilmesi sürüm denetimi, dallanma, işlemeler ve çekme isteklerine olanak tanır.
Dataflow 2. Nesil'de çıkış hedeflerine yönelik geliştirmeler (sorgu şeması)
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
Dataflow 2. Nesil'deki çıkış hedeflerini aşağıdaki yüksek düzeyde istenen özelliklerle geliştiriyoruz:
- Çıkış hedefini yapılandırdıktan sonra sorgu şeması değişikliklerini işleyebilme.
- Veri akışları oluşturmayı hızlandırmak için varsayılan hedef ayarları.
Daha fazla bilgi edinmek için bkz . Veri Akışı 2. Nesil veri hedefleri ve yönetilen ayarlar
Veri deneyimi geliştirmeleri alma (Azure Kaynaklarına Gözat)
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
Azure kaynaklarına göz atmak, Azure kaynaklarına göz atmak için sorunsuz gezinti sağlar. Azure aboneliklerinizde kolayca gezinebilir ve sezgisel bir kullanıcı arabirimi aracılığıyla veri kaynaklarınıza bağlanabilirsiniz. İhtiyacınız olan verileri hızla bulmanıza ve bağlanmanıza yardımcı olur.
Veri işlem hatlarına şirket içi veri ağ geçidi (OPDG) desteği eklendi
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
Bu özellik, veri işlem hatlarının şirket içinde ve bir sanal ağın arkasındaki verilere erişmek için Doku veri ağ geçitlerini kullanmasına olanak tanır. Şirket içinde barındırılan tümleştirme çalışma zamanlarını (SHIR) kullanan kullanıcılar, Fabric'teki şirket içi veri ağ geçitlerine geçebilir.
Dataflow 2. Nesil'de Hızlı Kopyalama desteği
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
İşlem hatlarının Kopyalama Etkinliği özelliğini kullanarak doğrudan Veri Akışı 2. Nesil deneyimi içinde büyük ölçekli veri alımı için destek ekliyoruz. Bu, Azure Data Lake Storage ve Blob Depolama'daki Azure SQL Veritabanı, CSV ve Parquet dosyaları gibi kaynakları destekler.
Bu geliştirme, yüksek ölçekli ELT (Ayıklama-Yük-Dönüştürme) özellikleri sağlayan Dataflow 2. Nesil'in veri işleme kapasitesini önemli ölçüde büyütür.
Dataflow 2. Nesil'de yenileme desteğini iptal etme
Gönderildi (Q4 2023)
Yayın Türü: Genel önizleme
Çalışma alanı öğeleri görünümünden devam eden Veri Akışı 2. Nesil yenilemelerini iptal etmek için destek ekliyoruz.