Azure Veri Gezgini yönetim komutlarını çalıştırmak için Azure Data Factory komut etkinliğini kullanma

Azure Data Factory (ADF), verilerde etkinliklerin bir birleşimini gerçekleştirmenize olanak tanıyan bulut tabanlı bir veri tümleştirme hizmetidir. Veri taşımayı ve veri dönüştürmeyi düzenlemeye ve otomatikleştirmeye yönelik veri odaklı iş akışları oluşturmak için ADF kullanın. Azure Data Factory'deki Azure Veri Gezgini Komutu etkinliği, ADF iş akışında Azure Veri Gezgini yönetim komutlarını çalıştırmanıza olanak tanır. Bu makalede, arama etkinliği ve Azure Veri Gezgini komut etkinliği içeren ForEach etkinliğiyle işlem hattı oluşturmayı öğreneceksiniz.

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Veri kaynağı.
• Bir veri fabrikası. Veri fabrikası oluşturma.

Yeni ardışık düzen oluşturma

1. Yazar kalem aracını seçin.

2. Öğesini seçip + açılan listeden İşlem Hattı'nı seçerek yeni bir işlem hattı oluşturun.

   

Arama etkinliği oluşturma

Arama etkinliği , Azure Data Factory tarafından desteklenen herhangi bir veri kaynağından veri kümesi alabilir. Arama etkinliğinin çıkışı forEach veya başka bir etkinlikte kullanılabilir.

1. Etkinlikler bölmesindeki Genel'in altında Arama etkinliğini seçin. Sağdaki ana tuvale sürükleyip bırakın.

   

2. Tuvalde artık oluşturduğunuz Arama etkinliği yer alır. İlgili parametreleri değiştirmek için tuvalin altındaki sekmeleri kullanın. Genel'de etkinliği yeniden adlandırın.

   

   İpucu

   İşlem hattı özelliklerini görüntülemek için boş tuval alanına tıklayın. İşlem hattını yeniden adlandırmak için Genel sekmesini kullanın. İşlem hattımız pipeline-4-docs olarak adlandırılır.

Arama etkinliğinde Azure Veri Gezgini veri kümesi oluşturma

1. Ayarlar'da önceden oluşturulmuş Azure Veri Gezgini Kaynak veri kümenizi seçin veya + Yeni'yi seçerek yeni bir veri kümesi oluşturun.

   

2. Yeni Veri Kümesi penceresinden Azure Veri Gezgini (Kusto) veri kümesini seçin. Yeni veri kümesini eklemek için Devam'ı seçin.

   

3. Yeni Azure Veri Gezgini veri kümesi parametreleri Ayarlar'da görünür. Parametreleri güncelleştirmek için Düzenle'yi seçin.

   

4. Ana tuvalde AzureDataExplorerTable yeni sekmesi açılır.

   • Genel'i seçin ve veri kümesi adını düzenleyin.
   • Veri kümesi özelliklerini düzenlemek için Bağlantı'ya tıklayın.
   • Açılan listeden Bağlı hizmeti seçin veya + Yeni'yi seçerek yeni bir bağlı hizmet oluşturun.

   

5. Yeni bir bağlı hizmet oluştururken Yeni Bağlı Hizmet (Azure Veri Gezgini) sayfası açılır:

   

   • Azure Veri Gezgini bağlı hizmeti için Ad'ı seçin. Gerekirse Açıklama ekleyin.
   • Tümleştirme çalışma zamanı aracılığıyla bağlan bölümünde, gerekirse geçerli ayarları değiştirin.
   • Hesap seçim yöntemi bölümünde iki yöntemden birini kullanarak kümenizi seçin:
     • Azure aboneliğinden radyo düğmesini seçin ve Azure abonelik hesabınızı seçin. Ardından Kümenizi seçin. Açılan listede yalnızca kullanıcıya ait kümelerin listelendiğini unutmayın.
     • Bunun yerine El ile gir radyo düğmesini seçin ve Uç Noktanızı (küme URL'si) girin.
   • Kiracıyı belirtin.
   • Hizmet sorumlusu kimliğini girin. Bu değer Azure portalında Uygulama Kayıtlarına >Genel Bakış>Uygulaması (istemci) Kimliği altında bulunabilir. Sorumlu, kullanılan komutun gerektirdiği izin düzeyine göre yeterli izinlere sahip olmalıdır.
   • Hizmet sorumlusu tuşu düğmesini seçin ve Hizmet Sorumlusu Anahtarı girin.
   • Açılan menüden Veritabanınızı seçin. Alternatif olarak Düzenle onay kutusunu seçin ve veritabanınızın adını girin.
   • Oluşturduğunuz bağlı hizmet bağlantısını test etmek için Bağlantıyı Test Et'i seçin. Kurulumunuza bağlanabiliyorsanız Bağlantı başarılı onay işareti görüntülenir.
   • Bağlı hizmet oluşturmayı tamamlamak için Son'u seçin.

6. Bağlı bir hizmet ayarladıktan sonra AzureDataExplorerTable Bağlantısı'nda Tablo adı'nı ekleyin.> Verilerin düzgün bir şekilde sunulduğundan emin olmak için Verileri önizleme'yi seçin.

   Veri kümeniz artık hazır ve işlem hattınızı düzenlemeye devam edebilirsiniz.

Arama etkinliğinize sorgu ekleme

1. pipeline-4-docs Ayarları'nda Sorgu metin kutusuna bir sorgu ekleyin, örneğin:>

   ClusterQueries
   | where Database !in ("KustoMonitoringPersistentDatabase", "$systemdb")
   | summarize count() by Database
   

2. Sorgu zaman aşımını veya Kesme yok ve Yalnızca ilk satır özelliklerini gerektiği gibi değiştirin. Bu akışta varsayılan Sorgu zaman aşımını koruyup onay kutularının işaretini kaldıracağız.

   

Her bir etkinlik için oluşturma

For-Each etkinliği, bir koleksiyon üzerinde yineleme yapmak ve bir döngüde belirtilen etkinlikleri yürütmek için kullanılır.

1. Şimdi işlem hattına bir For-Each etkinliği eklersiniz. Bu etkinlik, Arama etkinliğinden döndürülen verileri işler.

   • Etkinlikler bölmesinde, Yineleme ve Koşullular'ın altında ForEach etkinliğini seçin ve tuvale sürükleyip bırakın.

   • Arama etkinliğinin çıktısı ile bunları bağlamak için tuvaldeki ForEach etkinliğinin girişi arasında bir çizgi çizin.

     

2. Tuvalde ForEach etkinliğini seçin. Aşağıdaki Ayarlar sekmesinde:

   • Arama sonuçlarının sıralı işlenmesi için Sıralı onay kutusunu işaretleyin veya paralel işleme oluşturmak için işaretsiz bırakın.

   • Toplu iş sayısını ayarlayın.

   • Öğeler'de çıkış değerine şu başvuruyu sağlayın: @activity('Lookup1').output.value

     

ForEach etkinliğinde Azure Veri Gezgini Komutu etkinliği oluşturma

1. ForEach içindeki etkinlikleri belirtmek üzere tuvaldeki ForEach etkinliğine çift tıklayarak yeni bir tuvalde açın.

2. Etkinlikler bölmesindeki Azure Veri Gezgini altında Azure Veri Gezgini Komutu etkinliğini seçin ve tuvale sürükleyip bırakın.

   

3. Bağlantı sekmesinde, daha önce oluşturulan Bağlı Hizmet'i seçin.

   

4. Komut sekmesinde aşağıdaki komutu sağlayın:

   .export
   async compressed
   into csv h"http://<storageName>.blob.core.windows.net/data/ClusterQueries;<storageKey>" with (
   sizeLimit=100000,
   namePrefix=export
   )
   <| ClusterQueries | where Database == "@{item().Database}"
   

   Komut, Azure Veri Gezgini'a belirli bir sorgunun sonuçlarını sıkıştırılmış biçimde bir blob depolama alanına aktarmasını sağlar. Zaman uyumsuz olarak çalışır (zaman uyumsuz değiştiriciyi kullanarak). Sorgu, Arama etkinliği sonucundaki her satırın veritabanı sütununu ele alır. Komut zaman aşımı değişmeden bırakılabilir.

   

   Not

   Komut etkinliğinin sınırları şunlardır:

   • Boyut sınırı: 1 MB yanıt boyutu
   • Süre sınırı: 20 dakika (varsayılan), 1 saat (maksimum).
   • Gerekirse, sonuçta elde edilen boyutu/süreyi azaltmak için AdminThenQuery kullanarak sonuce bir sorgu ekleyebilirsiniz.

5. artık işlem hattı hazır. İşlem hattı adına tıklayarak ana işlem hattı görünümüne geri dönebilirsiniz.

   

6. İşlem hattını yayımlamadan önce Hata Ayıkla'ya tıklayın. İşlem hattı ilerleme durumu Çıkış sekmesinden izlenebilir.

   

7. İşlem hattını çalıştırmak için Tümünü Yayımla'yı ve ardından Tetikleyici ekle'yi kullanabilirsiniz.

Yönetim komutu çıkışları

Komut etkinliği çıkışının yapısı aşağıda ayrıntılı olarak yer almaktadır. Bu çıkış, işlem hattındaki bir sonraki etkinlik tarafından kullanılabilir.

Zaman uyumsuz yönetim komutunun döndürülen değeri

Zaman uyumsuz bir yönetim komutunda, döndürülen değerin yapısı Arama etkinliği sonucunun yapısına benzer. Alanı, count döndürülen kayıtların sayısını gösterir. Sabit dizi alanı value kayıtların listesini içerir.

{ 
    "count": "2", 
    "value": [ 
        { 
            "ExtentId": "1b9977fe-e6cf-4cda-84f3-4a7c61f28ecd", 
            "ExtentSize": 1214.0, 
            "CompressedSize": 520.0 
        }, 
        { 
            "ExtentId": "b897f5a3-62b0-441d-95ca-bf7a88952974", 
            "ExtentSize": 1114.0, 
            "CompressedSize": 504.0 
        } 
    ] 
} 

Zaman uyumsuz yönetim komutunun döndürülen değeri

Zaman uyumsuz bir yönetim komutunda etkinlik, zaman uyumsuz işlem tamamlanana veya zaman aşımına uğradıysa, arka planda işlem tablosunu yoklar. Bu nedenle, döndürülen değer verilen OperationId özelliğinin .show operations OperationId sonucunu içerir. İşlemin başarıyla tamamlanıp tamamlanmadığını doğrulamak için Durum ve Durum özelliklerinin değerlerini denetleyin.

{ 
    "count": "1", 
    "value": [ 
        { 
            "OperationId": "910deeae-dd79-44a4-a3a2-087a90d4bb42", 
            "Operation": "TableSetOrAppend", 
            "NodeId": "", 
            "StartedOn": "2019-06-23T10:12:44.0371419Z", 
            "LastUpdatedOn": "2019-06-23T10:12:46.7871468Z", 
            "Duration": "00:00:02.7500049", 
            "State": "Completed", 
            "Status": "", 
            "RootActivityId": "f7c5aaaf-197b-4593-8ba0-e864c94c3c6f", 
            "ShouldRetry": false, 
            "Database": "MyDatabase", 
            "Principal": "<some principal id>", 
            "User": "<some User id>" 
        } 
    ] 
}

İlgili içerik

• Azure Data Factory'yi kullanarak Verileri Azure Veri Gezgini'a kopyalayın.
• Veritabanından Azure Veri Gezgini toplu kopyalama için Azure Data Factory şablonu.