Hızlı Başlangıç: Veri akışları ve veri işlem hatları ile verileri taşıma ve dönüştürme
Bu öğreticide, veri akışı ve veri işlem hattı deneyiminin güçlü ve kapsamlı bir Data Factory çözümü nasıl oluşturabileceğini keşfedeceksiniz.
Önkoşullar
Başlamak için aşağıdaki önkoşullara sahip olmanız gerekir:
- Etkin aboneliği olan bir kiracı hesabı.
ücretsiz hesap oluşturun. - Microsoft Fabric özellikli bir Çalışma Alanınız olduğundan emin olun: Varsayılan Çalışma Alanım olmayan bir çalışma alanı oluşturun.
- Tablo verileriiçeren bir Azure SQL veritabanı.
- Bir Blob Depolama hesabı.
İşlem hatlarıyla karşılaştırıldığında veri akışları
Veri akışları 2. Nesil, diğer araçlardan daha fazla esneklikle verileri kolayca temizlemeniz, hazırlamanız ve dönüştürmeniz için düşük kodlu bir arabirim ve 300'den fazla veri ve yapay zeka tabanlı dönüştürme kullanmanıza olanak tanır. Veri İşlem Hatları, kurumsal gereksinimlerinizi karşılayan esnek veri iş akışları oluşturmak için kullanıma uygun zengin veri düzenleme özellikleri sağlar. İşlem hattında, bir görevi gerçekleştiren etkinliklerin mantıksal gruplandırmalarını oluşturabilirsiniz. Bu, verilerinizi temizlemek ve hazırlamak için Veri Akışı çağırmayı içerebilir. İkisi arasında bazı işlevler çakışması olsa da, belirli bir senaryo için hangi işlevlerin kullanılacağı, işlem hatlarının tam zenginliğine mi ihtiyacınız olduğuna veya veri akışlarının daha basit ama daha sınırlı özelliklerini mi kullanabileceğinize bağlıdır. Daha fazla bilgi için bkz. Fabric karar kılavuzu
Veri akışlarıyla verileri dönüştürme
Veri akışınızı ayarlamak için bu adımları izleyin.
1. Adım: Veri akışı oluşturma
Fabric etkin çalışma alanınızı seçin ve ardından Yeni'i seçin. Ardından Dataflow 2. Nesilöğesini seçin.
Veri akışı düzenleyicisi penceresi görüntülenir. SQL Server'dan İçe Aktar kartını seçin.
2. Adım: Veri alma
Sonraki
Veri kaynağına bağlan iletişim kutusunda, Azure SQL veritabanınıza bağlanmak için ayrıntıları girin ve ardından İleritıklayın. Bu örnekte, önkoşullarda Azure SQL veritabanını ayarlarken yapılandırılan AdventureWorksLT örnek veritabanını kullanırsınız. Dönüştürmek istediğiniz verileri seçin ve ardından Oluştur'useçin. Bu hızlı başlangıç için, Azure SQL DB için sağlanan AdventureWorksLT örnek verilerinden SalesLT.Customer seçin ve ardından diğer iki ilişkili tabloyu otomatik olarak eklemek için İlgili tabloları seç düğmesine basın.
3. Adım: Verilerinizi dönüştürme
Seçili değilse, sayfanın en altındaki durum çubuğu boyunca Diyagram görünümü düğmesini seçin veya Power Query düzenleyicisinin üst kısmındaki Görünüm menüsünün altında Diyagram görünümü seçin. Bu seçeneklerden biri diyagram görünümünü değiştirebilir.
SalesLT Müşteri sorgunuza sağ tıklayın veya sorgunun sağ tarafındaki dikey üç noktayı seçin, ardından sorguları birleştirseçin.
Birleştirme için doğru tablo olarak
SalesLTOrderHeader tablosunu, birleştirme sütunu olarak her tablodan CustomerID sütununuve birleştirme türü olarak Sol dış kullanarak birleştirmeyi yapılandırın. Ardından Tamam'ı seçerek birleştirme sorgusunu ekleyin. Oluşturduğunuz yeni birleştirme sorgusundan, üzerinde ok bulunan bir veritabanı simgesine benzeyen Veri hedefi ekle düğmesini
seçin. Ardından hedef türü olarak azure SQL veritabanı seçin. Birleştirme sorgusunun yayımlandığı Azure SQL veritabanı bağlantınızın ayrıntılarını sağlayın. Bu örnekte, hedef için veri kaynağı olarak kullandığımız AdventureWorksLT veritabanını da kullanabilirsiniz.
Verileri depolamak için bir veritabanı seçin ve bir tablo adı sağlayın, ardından İleri
seçin. Varsayılan ayarları
Hedef ayarlarını seçin iletişim kutusunda bırakabilir ve burada değişiklik yapmadan ayarları kaydetseçebilirsiniz. Veri akışını yayımlamak için veri akışı düzenleyicisi sayfasında Yayımla'ı seçin.
Veri işlem hatları ile verileri taşıma
Artık bir Veri Akışı Gen 2 oluşturduğunuza göre, bunu bir işlem hattında kullanabilirsiniz. Bu örnekte, veri akışından oluşturulan verileri bir Azure Blob Depolama hesabında metin biçimine kopyalarsınız.
1. Adım: Yeni veri işlem hattı oluşturma
Çalışma alanınızdan Yeni
'i ve ardından Veri işlem hattı 'ni seçin.İşlem hattınızı adlandırın, ardından oluşturseçin.
2. Adım: Veri akışınızı yapılandırma
Etkinlikleri sekmesinde, Veri Akışı seçerek veri işlem hattınıza yeni bir veri akışı aktivitesi ekleyin.
veri akışı seçeneğinin nerede seçileceği gösteren ekran görüntüsü
İşlem hattı tuvalinde veri akışını seçin ve ardından Ayarlar sekmesini seçin. Açılan listeden daha önce oluşturduğunuz veri akışını seçin.
Kaydet'iseçin ve ardından önceki adımda tasarladığınız birleştirilmiş sorgu tablosunu doldurmak için veri akışını çalıştırmak üzere Çalıştır'ı seçin.
3. Adım: Kopyalama etkinliği eklemek için kopyalama yardımcısını kullanma
Başlamak için
Kopyalama Yardımcısı aracını açmak için tuvalde veri kopyalamaseçin. İsterseniz, şeritteki Etkinlikler sekmesinin altındaki Kopya verileri açılan listesinden Kopyalama yardımcısını kullan seçin. Veri kaynağı türünü seçerek veri kaynağınızı seçin. Bu öğreticide, yeni bir birleştirme sorgusu oluşturmak için veri akışını oluştururken daha önce kullanılan Azure SQL Veritabanı'nı kullanacaksınız. Örnek veri tekliflerinin altına doğru aşağı kaydırın ve
Azure sekmesini seçin, ardından Azure SQL Veritabanı. Ardından devam etmek için Sonraki seçin. yeni bağlantı oluştur
seçerek veri kaynağınıza bağlantı oluşturun. Panelde gerekli bağlantı bilgilerini doldurun ve veri akışında birleştirme sorgusunu oluşturduğumuz veritabanı için AdventureWorksLT girin. Ardından İleriseçin. yeni bağlantının nerede oluşturulacağını gösteren ekran görüntüsü
Daha önceki veri akışı adımında oluşturduğunuz tabloyu seçin ve ardından İleri
seçin. Hedefiniz için önce Azure Blob Depolama seçin ve ardından İleriseçin.
yeni bağlantı oluştur
seçerek hedefinize bağlantı oluşturun. Bağlantınızın ayrıntılarını sağlayın, ardından İleri seçin. Klasör yolunuzu seçin veDosya adı sağlayın, ardından İleri'yi seçin. varsayılan dosya biçimini, sütun sınırlayıcısını, satır sınırlayıcısını ve sıkıştırma türünü (isteğe bağlı olarak bir üst bilgi dahil) kabul etmek için İleri yeniden seçin.
Ayarlarınızı sonlandırabilirsiniz. Ardından işlemi tamamlamak için Kaydet + Çalıştır seçip gözden geçirin.
5. Adım: Veri işlem hattınızı tasarlama ve verileri çalıştırmak ve yüklemek için kaydetme
Veri Akışı etkinliğinden sonra Kopyalama etkinliğini çalıştırmak için, Veri Akışı etkinliğindeki Başarılı 'dan Kopyalama etkinliğine sürükleyin. Kopyalama etkinliği yalnızca Veri Akışı etkinliği başarılı olduktan sonra çalışır.
Veri işlem hattınızı kaydetmek için kaydet'i seçin. Ardından veri işlem hattınızı çalıştırmak ve verilerinizi yüklemek için çalıştır'ı seçin.
Kaydet ve Çalıştır'ın seçileceği yeri gösteren ekran görüntüsü
İşlem hattının yürütülmesini zamanlama
İşlem hattınızı geliştirmeyi ve test etme işlemini tamamladıktan sonra otomatik olarak yürütülecek şekilde zamanlayabilirsiniz.
İşlem hattı düzenleyici penceresinin Ana Sayfa sekmesinde Zamanlamaseçin.
Zamanlamayı gerektiği gibi yapılandırın. Buradaki örnek, işlem hattını yıl sonuna kadar her gün saat 20:00'de çalışacak şekilde planlar.
İlgili içerik
Bu örnek, veri akışı 2. Nesil'i oluşturup yapılandırarak bir birleştirme sorgusu oluşturup bir Azure SQL veritabanında depolamayı, ardından veritabanındaki verileri Azure Blob Depolama'daki bir metin dosyasına kopyalamayı gösterir. Nasıl yapılacağını öğrendinsiniz:
- Veri akışı oluşturma.
- Veri akışıyla verileri dönüştürme.
- Veri akışını kullanarak bir veri işlem hattı oluşturun.
- İşlem hattında adımların yürütülmesini sıralayın.
- Kopyalama Yardımcısı ile verileri kopyalama.
- Veri işlem hattınızı çalıştırın ve zamanlayın.
Ardından işlem hattı çalıştırmalarınızı izleme hakkında daha fazla bilgi edinmek için ilerleyin.