Aracılığıyla paylaş


Hızlı Başlangıç: Veri akışları ve veri işlem hatları ile verileri taşıma ve dönüştürme

Bu öğreticide, veri akışı ve veri işlem hattı deneyiminin güçlü ve kapsamlı bir Data Factory çözümü nasıl oluşturabileceğini keşfedeceksiniz.

Önkoşullar

Başlamak için aşağıdaki önkoşullara sahip olmanız gerekir:

İşlem hatlarıyla karşılaştırıldığında veri akışları

Veri akışları 2. Nesil, diğer araçlardan daha fazla esneklikle verileri kolayca temizlemeniz, hazırlamanız ve dönüştürmeniz için düşük kodlu bir arabirim ve 300'den fazla veri ve yapay zeka tabanlı dönüştürme kullanmanıza olanak tanır. Veri İşlem Hatları, kurumsal gereksinimlerinizi karşılayan esnek veri iş akışları oluşturmak için kullanıma uygun zengin veri düzenleme özellikleri sağlar. İşlem hattında, bir görevi gerçekleştiren etkinliklerin mantıksal gruplandırmalarını oluşturabilirsiniz. Bu, verilerinizi temizlemek ve hazırlamak için Veri Akışı çağırmayı içerebilir. İkisi arasında bazı işlevler çakışması olsa da, belirli bir senaryo için hangi işlevlerin kullanılacağı, işlem hatlarının tam zenginliğine mi ihtiyacınız olduğuna veya veri akışlarının daha basit ama daha sınırlı özelliklerini mi kullanabileceğinize bağlıdır. Daha fazla bilgi için bkz. Fabric karar kılavuzu

Veri akışlarıyla verileri dönüştürme

Veri akışınızı ayarlamak için bu adımları izleyin.

1. Adım: Veri akışı oluşturma

  1. Fabric etkin çalışma alanınızı seçin ve ardından Yeni'i seçin. Ardından Dataflow 2. Nesilöğesini seçin.

    Veri akışı 2. nesil oluşturmaya nereden başlayacağınızı gösteren ekran görüntüsü.

  2. Veri akışı düzenleyicisi penceresi görüntülenir. SQL Server'dan İçe Aktar kartını seçin.

    Veri akışı düzenleyicisi penceresini gösteren ekran görüntüsü.

2. Adım: Veri alma

  1. Sonraki Veri kaynağına bağlan iletişim kutusunda, Azure SQL veritabanınıza bağlanmak için ayrıntıları girin ve ardından İleritıklayın. Bu örnekte, önkoşullarda Azure SQL veritabanını ayarlarken yapılandırılan AdventureWorksLT örnek veritabanını kullanırsınız.

    Azure SQL veritabanına bağlanmayı gösteren ekran görüntüsü.

  2. Dönüştürmek istediğiniz verileri seçin ve ardından Oluştur'useçin. Bu hızlı başlangıç için, Azure SQL DB için sağlanan AdventureWorksLT örnek verilerinden SalesLT.Customer seçin ve ardından diğer iki ilişkili tabloyu otomatik olarak eklemek için İlgili tabloları seç düğmesine basın.

    Kullanılabilir veriler arasından seçim yapabileceğiniz yeri gösteren ekran görüntüsü.

3. Adım: Verilerinizi dönüştürme

  1. Seçili değilse, sayfanın en altındaki durum çubuğu boyunca Diyagram görünümü düğmesini seçin veya Power Query düzenleyicisinin üst kısmındaki Görünüm menüsünün altında Diyagram görünümü seçin. Bu seçeneklerden biri diyagram görünümünü değiştirebilir.

    Diyagram görünümünün seçileceği yeri gösteren ekran görüntüsü.

  2. SalesLT Müşteri sorgunuza sağ tıklayın veya sorgunun sağ tarafındaki dikey üç noktayı seçin, ardından sorguları birleştirseçin.

    Sorguları birleştir seçeneğinin bulunacağı yeri gösteren ekran görüntüsü.

  3. Birleştirme için doğru tablo olarak SalesLTOrderHeader tablosunu, birleştirme sütunu olarak her tablodan CustomerID sütununu ve birleştirme türü olarak Sol dış kullanarak birleştirmeyi yapılandırın. Ardından Tamam'ı seçerek birleştirme sorgusunu ekleyin.

    Yapılandırmayı birleştir ekranının ekran görüntüsü.

  4. Oluşturduğunuz yeni birleştirme sorgusundan, üzerinde ok bulunan bir veritabanı simgesine benzeyen Veri hedefi ekle düğmesini seçin. Ardından hedef türü olarak azure SQL veritabanı seçin.

    Yeni oluşturulan birleştirme sorgusunda Veri hedefi ekle düğmesini vurgulayan ekran görüntüsü.

  5. Birleştirme sorgusunun yayımlandığı Azure SQL veritabanı bağlantınızın ayrıntılarını sağlayın. Bu örnekte, hedef için veri kaynağı olarak kullandığımız AdventureWorksLT veritabanını da kullanabilirsiniz.

    Örnek değerlerin doldurularak veri hedefine bağlan iletişim kutusunu gösteren ekran görüntüsü.

  6. Verileri depolamak için bir veritabanı seçin ve bir tablo adı sağlayın, ardından İleriseçin.

    Hedef seç penceresini gösteren ekran görüntüsü.

  7. Varsayılan ayarları Hedef ayarlarını seçin iletişim kutusunda bırakabilir ve burada değişiklik yapmadan ayarları kaydet seçebilirsiniz.

    Hedefi seçme ayarlarını gösteren iletişim kutusunun ekran görüntüsü.

  8. Veri akışını yayımlamak için veri akışı düzenleyicisi sayfasında Yayımla'ı seçin.

    Veri akışı 2. nesil düzenleyicisinde Yayımla düğmesini vurgulayan ekran görüntüsü.

Veri işlem hatları ile verileri taşıma

Artık bir Veri Akışı Gen 2 oluşturduğunuza göre, bunu bir işlem hattında kullanabilirsiniz. Bu örnekte, veri akışından oluşturulan verileri bir Azure Blob Depolama hesabında metin biçimine kopyalarsınız.

1. Adım: Yeni veri işlem hattı oluşturma

  1. Çalışma alanınızdan Yeni'i ve ardından Veri işlem hattı'ni seçin.

    Yeni veri işlem hattının nereden başlatıldığı gösteren ekran görüntüsü.

  2. İşlem hattınızı adlandırın, ardından oluşturseçin.

    Örnek işlem hattı adıyla yeni işlem hattı oluşturma istemini gösteren ekran görüntüsü.

2. Adım: Veri akışınızı yapılandırma

  1. Etkinlikleri sekmesinde, Veri Akışı seçerek veri işlem hattınıza yeni bir veri akışı aktivitesi ekleyin.

    veri akışı seçeneğinin nerede seçileceği gösteren ekran görüntüsü .

  2. İşlem hattı tuvalinde veri akışını seçin ve ardından Ayarlar sekmesini seçin. Açılan listeden daha önce oluşturduğunuz veri akışını seçin.

    Oluşturduğunuz veri akışının nasıl seçileceğini gösteren ekran görüntüsü.

  3. Kaydet'iseçin ve ardından önceki adımda tasarladığınız birleştirilmiş sorgu tablosunu doldurmak için veri akışını çalıştırmak üzere Çalıştır'ı seçin.

    Çalıştır'ın seçileceği yeri gösteren ekran görüntüsü.

3. Adım: Kopyalama etkinliği eklemek için kopyalama yardımcısını kullanma

  1. Başlamak için Kopyalama Yardımcısı aracını açmak için tuvalde veri kopyalama seçin. İsterseniz, şeritteki Etkinlikler sekmesinin altındaki Kopya verileri açılan listesinden Kopyalama yardımcısını kullan seçin.

    Kopya yardımcısına erişmenin iki yolunu gösteren ekran görüntüsü.

  2. Veri kaynağı türünü seçerek veri kaynağınızı seçin. Bu öğreticide, yeni bir birleştirme sorgusu oluşturmak için veri akışını oluştururken daha önce kullanılan Azure SQL Veritabanı'nı kullanacaksınız. Örnek veri tekliflerinin altına doğru aşağı kaydırın ve Azure sekmesini seçin, ardından Azure SQL Veritabanı. Ardından devam etmek için Sonraki seçin.

    Veri kaynağının nerede seçileceğini gösteren ekran görüntüsü.

  3. yeni bağlantı oluşturseçerek veri kaynağınıza bağlantı oluşturun. Panelde gerekli bağlantı bilgilerini doldurun ve veri akışında birleştirme sorgusunu oluşturduğumuz veritabanı için AdventureWorksLT girin. Ardından İleriseçin.

    yeni bağlantının nerede oluşturulacağını gösteren ekran görüntüsü .

  4. Daha önceki veri akışı adımında oluşturduğunuz tabloyu seçin ve ardından İleriseçin.

    Kullanılabilir tablolardan nasıl seçim yapılacağını gösteren ekran görüntüsü.

  5. Hedefiniz için önce Azure Blob Depolama seçin ve ardından İleriseçin.

    Azure Blob Depolama veri hedefini gösteren ekran görüntüsü.

  6. yeni bağlantı oluşturseçerek hedefinize bağlantı oluşturun. Bağlantınızın ayrıntılarını sağlayın, ardından İleriseçin.

    Bağlantı oluşturmayı gösteren ekran görüntüsü.

  7. Klasör yolunuzu seçin veDosya adı sağlayın, ardındanİleri'yi seçin.

    Klasör yolunu ve dosya adını seçmeyi gösteren ekran görüntüsü.

  8. varsayılan dosya biçimini, sütun sınırlayıcısını, satır sınırlayıcısını ve sıkıştırma türünü (isteğe bağlı olarak bir üst bilgi dahil) kabul etmek için İleri yeniden seçin.

    Azure Blob Depolama'da dosyanın yapılandırma seçeneklerini gösteren ekran görüntüsü.

  9. Ayarlarınızı sonlandırabilirsiniz. Ardından işlemi tamamlamak için Kaydet + Çalıştır seçip gözden geçirin.

    Veri kopyalama ayarlarını gözden geçirmeyi gösteren ekran görüntüsü.

5. Adım: Veri işlem hattınızı tasarlama ve verileri çalıştırmak ve yüklemek için kaydetme

  1. Veri Akışı etkinliğinden sonra Kopyalama etkinliğini çalıştırmak için, Veri Akışı etkinliğindeki Başarılı 'dan Kopyalama etkinliğine sürükleyin. Kopyalama etkinliği yalnızca Veri Akışı etkinliği başarılı olduktan sonra çalışır.

    Veri akışının kopyalama etkinliğinden sonra nasıl gerçekleştirileceklerini gösteren ekran görüntüsü.

  2. Veri işlem hattınızı kaydetmek için kaydet'i seçin. Ardından veri işlem hattınızı çalıştırmak ve verilerinizi yüklemek için çalıştır'ı seçin.

    Kaydet ve Çalıştır'ın seçileceği yeri gösteren ekran görüntüsü .

İşlem hattının yürütülmesini zamanlama

İşlem hattınızı geliştirmeyi ve test etme işlemini tamamladıktan sonra otomatik olarak yürütülecek şekilde zamanlayabilirsiniz.

  1. İşlem hattı düzenleyici penceresinin Ana Sayfa sekmesinde Zamanlamaseçin.

    İşlem hattı düzenleyicisindeki Giriş sekmesinin menüsündeki Zamanla düğmesinin ekran görüntüsü.

  2. Zamanlamayı gerektiği gibi yapılandırın. Buradaki örnek, işlem hattını yıl sonuna kadar her gün saat 20:00'de çalışacak şekilde planlar.

    Bir işlem hattının yıl sonuna kadar her gün saat 20:00'de çalışması için zamanlama yapılandırmasını gösteren ekran görüntüsü.

Bu örnek, veri akışı 2. Nesil'i oluşturup yapılandırarak bir birleştirme sorgusu oluşturup bir Azure SQL veritabanında depolamayı, ardından veritabanındaki verileri Azure Blob Depolama'daki bir metin dosyasına kopyalamayı gösterir. Nasıl yapılacağını öğrendinsiniz:

  • Veri akışı oluşturma.
  • Veri akışıyla verileri dönüştürme.
  • Veri akışını kullanarak bir veri işlem hattı oluşturun.
  • İşlem hattında adımların yürütülmesini sıralayın.
  • Kopyalama Yardımcısı ile verileri kopyalama.
  • Veri işlem hattınızı çalıştırın ve zamanlayın.

Ardından işlem hattı çalıştırmalarınızı izleme hakkında daha fazla bilgi edinmek için ilerleyin.