Veri Akışları 2. Nesil'de hızlı kopyalama

Bu makalede, Microsoft Fabric'teki Data Factory için DataFlows 2. Nesil'deki hızlı kopyalama özelliği açıklanmaktadır. Veri akışları, verileri alma ve dönüştürme konusunda yardımcı olur. SQL DW işlem ile veri akışının ölçeği genişletildi. Verilerinizi büyük ölçekte dönüştürebilirsiniz. Ancak önce verilerinizin alınması gerekir. Hızlı kopyalamanın kullanıma sunulmasıyla, kolay veri akışı deneyimiyle ancak işlem hattı Kopyalama Etkinliğinin ölçeklenebilir arka ucuyla terabaytlar kadar veri alabilirsiniz.

Bu özelliği etkinleştirdikten sonra, veri akışları yazma sırasında herhangi bir değişiklik yapmaya gerek kalmadan veri boyutu belirli bir eşiği aştığında Veri akışları otomatik olarak arka ucu değiştirir. Bir veri akışının yenilenmesinden sonra, burada görüntülenen Altyapı türüne bakarak çalıştırma sırasında hızlı kopyalamanın kullanılıp kullanılmadığını görmek için yenileme geçmişini kontrol edebilirsiniz.

Hızlı kopyalama gerektir seçeneği etkinleştirildiğinde, hızlı kopyalama kullanılmazsa veri akışı yenilemesi iptal edilir. Bu, yenileme zaman aşımının devam etmesi için beklemekten kaçınmanıza yardımcı olur. Bu davranış, veri akışı davranışını verilerinizle test ederken bekleme süresini kısaltmak için hata ayıklama oturumunda da yararlı olabilir. Sorgu adımları bölmesindeki hızlı kopyalama göstergelerini kullanarak, sorgunuzun hızlı kopyalama ile çalıştırılıp çalıştırılamadığını kolayca de kontrol edebilirsiniz.

Önkoşullar

• Doku kapasiteniz olmalıdır.
• Dosya verileri için dosyalar en az 100 MB .csv veya parquet biçimindedir ve Azure Data Lake Storage (ADLS) 2. Nesil veya Blob depolama hesabında depolanır.
• Azure SQL DB ve PostgreSQL dahil olmak üzere veritabanı için, veri kaynağında 5 milyon satır veya daha fazla veri.

Bağlayıcı desteği

Hızlı kopyalama şu anda aşağıdaki Veri Akışı 2. Nesil bağlayıcıları için desteklenmektedir:

• ADLS 2. Nesil
• Blob depolama
• Azure SQL DB
• Göl evi
• PostgreSQL
• Şirket içi SQL Server
• Ambar
• Oracle
• Snowflake

Kopyalama etkinliği, bir dosya kaynağına bağlanırken yalnızca birkaç dönüştürmeyi destekler:

• Dosyaları birleştir
• Sütunları seçin
• Veri türlerini değiştirme
• Sütunu yeniden adlandırma
• Sütun kaldırma

Yine de alma ve dönüştürme adımlarını ayrı sorgulara bölerek diğer dönüştürmeleri uygulayabilirsiniz. İlk sorgu aslında verileri alır ve ikinci sorgu DW işleminin kullanılabilmesi için sonuçlarına başvurur. SQL kaynakları için yerel sorgunun parçası olan tüm dönüştürmeler desteklenir.

Sorguyu doğrudan bir çıkış hedefine yüklediğinizde, şu anda yalnızca Lakehouse hedefleri desteklenir. Başka bir çıkış hedefi kullanmak istiyorsanız, sorguyu önce hazırlayıp daha sonra başvurabilirsiniz.

Hızlı kopyalamayı kullanma

1. Uygun Doku uç noktasına gidin.

2. Premium çalışma alanına gidin ve 2. Nesil veri akışı oluşturun.

3. Yeni veri akışının Giriş sekmesinde Seçenekler'i seçin:

   

4. Ardından Seçenekler iletişim kutusundaki Ölçek sekmesini seçin ve hızlı kopyalamayı açmak için Hızlı kopyalama bağlayıcılarının kullanımına izin ver onay kutusunu seçin. Ardından Seçenekler iletişim kutusunu kapatın.

   

5. Veri al'ı ve ardından ADLS 2. Nesil kaynağını seçin ve kapsayıcınızın ayrıntılarını doldurun.

6. Dosya birleştirme işlevini kullanın.

   

7. Hızlı kopyalamayı sağlamak için, yalnızca bu makalenin Bağlayıcı desteği bölümünde listelenen dönüştürmeleri uygulayın. Daha fazla dönüştürme uygulamanız gerekiyorsa, önce verileri hazırlamanız ve daha sonra sorguya başvurmanız gerekir. Başvuruda bulunılan sorguda başka dönüştürmeler yapın.

8. (İsteğe bağlı) Bu seçeneği belirlemek ve etkinleştirmek için sorguya sağ tıklayarak Hızlı kopyalama gerektir seçeneğini ayarlayabilirsiniz.

   

9. (İsteğe bağlı) Şu anda bir Lakehouse'ı yalnızca çıkış hedefi olarak yapılandırabilirsiniz. Başka bir hedef için sorguyu hazırlayıp daha sonra herhangi bir kaynağa çıkış yapabileceğiniz başka bir sorguya başvurun.

10. Sorgunuzun hızlı kopyalama ile çalıştırılıp çalıştırılamadığını görmek için hızlı kopyalama göstergelerini denetleyin. Öyleyse, Altyapı türü CopyActivity değerini gösterir.

    

11. Veri akışını yayımlayın.

12. Hızlı kopyalamanın kullanıldığını onaylamak için yenileme tamamlandıktan sonra denetleyin.

Hızlı kopyalamadan yararlanmak için sorgunuzu bölme

Dataflow 2. Nesil ile büyük hacimli verileri işlerken en iyi performansı elde etmek için Hızlı Kopyalama özelliğini kullanarak önce verileri hazırlama aşamasına alın, ardından SQL DW işlemiyle uygun ölçekte dönüştürün. Bu yaklaşım uçtan uca performansı önemli ölçüde artırır.

Hızlı Kopyalama göstergeleri bunu uygulamak için sorguyu iki bölüme bölmenize yardımcı olabilir: hazırlamaya veri alımı ve SQL DW işlemiyle büyük ölçekli dönüştürme. Sorgu değerlendirmesinin mümkün olduğunca büyük bir kısmını verilerinizi almak için kullanılabilecek Fast Copy'e yönlendirmeniz önerilir. Hızlı Kopyalama göstergeleri, geri kalan adımların Hızlı Kopyalama tarafından yürütülemediğini gösteriyorsa, hazırlık aşaması etkinken sorgunun geri kalanını bölebilirsiniz.

Adım tanılama göstergeleri

Gösterge	İkon	Açıklama
Bu adım, hızlı kopyalamayla değerlendirilecek		Hızlı Kopyalama göstergesi, bu adıma kadar olan sorgunun hızlı kopyalamayı desteklediğini bildirir.
Bu adım, hızlı kopyalama tarafından desteklenmez		Hızlı Kopyalama göstergesi, bu adımın Hızlı Kopyalama'yı desteklemediğini gösterir.
Sorgunuzdaki bir veya daha fazla adım hızlı sorgu tarafından desteklenmiyor		Hızlı Kopyalama göstergesi, bu sorgudaki bazı adımların Hızlı Kopyalama'yı desteklediğini, diğerlerinin desteklemediğini gösterir. Optimize etmek için sorguyu bölün: sarı adımlar (Hızlı Kopyalama tarafından desteklenebilir) ve kırmızı adımlar (desteklenmez).

Adım adım kılavuz

Veri Akışı 2. Nesil'de veri dönüştürme mantığınızı tamamladıktan sonra Hızlı Kopyalama göstergesi, daha iyi performans için hızlı kopyalamadan kaç adımın yararlanabileceğini belirlemek için her adımı değerlendirir.

Aşağıdaki örnekte, Gruplandır içeren adımın Hızlı Kopyalama tarafından desteklenmediğini gösteren son adım kırmızı gösterilir. Ancak, sarıyla işaretlenen önceki tüm adımlar potansiyel olarak Hızlı Kopyalama tarafından desteklenebilir.

Şu anda, Veri Akışı 2. Nesil'inizi doğrudan yayımlar ve çalıştırırsanız, verilerinizi aşağıdaki resimde gösterildiği gibi yüklemek için Hızlı Kopyalama altyapısını kullanmaz:

hızlı kopyalama etkinleştirilmemiş sonucu gösteren ekran görüntüsü

Hızlı Kopyalama altyapısını kullanmak ve Dataflow 2. Nesil'inizin performansını artırmak için sorgunuzu iki bölüme bölebilirsiniz: hazırlamaya veri alımı ve SQL DW işlemiyle büyük ölçekli dönüştürme:

1. Hedefle birlikte (tanımlanmışsa), Hızlı Kopyalama'nın desteklemediği ve kırmızıyla gösterilen dönüştürmeleri kaldırın.

2. Hızlı Kopyalama göstergesi artık kalan adımlar için yeşil renkte görünür; yani ilk sorgunuz daha iyi performans için Hızlı Kopyalama'yı kullanabilir.

   İlk sorgunuz için Eylem'i seçin, ardından Hazırlama ve Başvuruyu Etkinleştir'i seçin.

   

3. Yeni bir referans sorgusunda "Group By" dönüşümünü ve hedefi (varsa) tekrar ekleyin.

   

4. Veri Akışı 2. Nesil'inizi yayımlayın ve yenileyin. Artık Veri Akışı 2. Nesil'inizde iki sorgu görürsünüz ve genel süre büyük ölçüde azalır.

   • İlk sorgu, Hızlı Kopyalama'yı kullanarak veriyi geçici depoya yükler.

   • İkinci sorgu, SQL DW işlemini kullanarak büyük ölçekli dönüştürmeler gerçekleştirir.

     

   İlk sorgu:

   

   İkinci sorgu:

   

Bilinen sınırlamalar

1. Hızlı Kopyalama'yı desteklemek için şirket içi veri ağ geçidi sürüm 3000.214.2 veya üzeri gereklidir.
2. Sanal ağ geçidi desteklenmez.
3. Lakehouse'da mevcut bir tabloya veri yazma desteklenmez.
4. Sabit şema desteklenmiyor.

İlgili içerik

• Veri Akışları 2. Nesil'e Genel Bakış
• Veri Akışlarını İzleme 2. Nesil