Ölçümlerle kuyruğa alınmış alımı izleme

Azure Veri Gezgini, kuyruğa alınan alım işleminde, gelen küçük veri öbeklerini yapılandırılabilir bir alma toplu işlemi ilkesine göre toplu olarak toplu işleyerek yüksek aktarım hızı için veri alımını iyileştirir. Toplu işlem ilkesi, toplu işlemi mühürleme (veri boyutu, blob sayısı veya geçen süre) için tetikleyici koşullarını ayarlamanıza olanak tanır. Bu toplu işlemler daha sonra hızlı sorgu sonuçları için en uygun şekilde alınmaktadır.

Bu makalede, Azure portalında Azure Veri Gezgini'a kuyruğa alınmış alımı izlemek için ölçümleri kullanmayı öğreneceksiniz.

Toplu işlem aşamaları

Bu bölümde açıklanan aşamalar tüm toplu alma işlemlerinde geçerlidir. Veriler veri alımı için kuyruğa alınmadan önce Azure Event Grid, Azure Event Hubs, Azure IoT Hub ve Cosmos DB alımları için bir veri bağlantısı dış kaynaklardan verileri alır ve ilk veri yeniden düzenlemesini gerçekleştirir.

Kuyruğa alınan alma işlemi aşamalar halinde gerçekleşir:

1. Batching Manager, alma iletileri için kuyruğu dinler ve istekleri işler.
2. Batching Manager, aldığı küçük giriş veri öbeklerini alıp alma toplu işlemi ilkesine göre URL'leri toplu işleyerek alım aktarım hızını iyileştirir.
3. Alma Yöneticisi, alma komutlarını Azure Veri Gezgini Depolama Altyapısı'na gönderir.
4. Azure Veri Gezgini Depolama Altyapısı, alınan verileri depolayarak sorgu için kullanılabilir hale getirir.

Azure Veri Gezgini, kuyruğa alınan alma işleminin tüm aşamalarında ve bileşenlerinde veri alımınızı izleyebilebilmeniz için bir dizi Azure İzleyici alımı ölçümü sağlar.

Azure Veri Gezgini alımı ölçümleri size aşağıdakiler hakkında ayrıntılı bilgi verir:

• Kuyruğa alınan alımın sonucu.
• Alınan veri miktarı.
• Kuyruğa alınan alımın gecikme süresi ve nerede oluştuğu.
• Toplu işlemenin kendisi.
• Event Hubs, Event Grid ve IoT Hub alımları için: Alınan olay sayısı.

Bu makalede Azure portalda azure Veri Gezgini kuyruğa alınmış alımı izlemek için alım ölçümlerini kullanmayı öğreneceksiniz.

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Event Hubs, IoT Hub veya Event Grid gibi etkin bir kuyruğa alınmış alma.

Azure İzleyici ölçüm gezgini ile ölçüm grafikleri oluşturma

Aşağıda, sonraki bölümlerde uygulanacak Olan Azure İzleyici ölçümlerinin nasıl kullanılacağına ilişkin genel bir açıklama yer almaktadır. Azure portalında Azure İzleyici ölçüm gezginiyle ölçüm grafikleri oluşturmak için aşağıdaki adımları kullanın:

1. Azure portalında oturum açın ve Azure Veri Gezgini kümenizin genel bakış sayfasına gidin.

2. Ölçümler bölmesini açmak için sol gezinti çubuğundan Ölçümler'i seçin.

3. Ölçümler bölmesinin sağ üst kısmındaki zaman seçici panelini açın ve Zaman aralığını analiz etmek istediğiniz saat olarak değiştirin. Bu makalede, son 48 saat içinde Azure Veri Gezgini veri alımını analiz ediyoruz.

4. Kapsam ve Ölçüm Ad Alanı seçin:

   • Kapsam, Azure Veri Gezgini kümenizin adıdır. Aşağıdaki örnekte demo11 adlı bir küme kullanacağız.
   • Ölçüm Ad Alanı Kusto Kümesi standart ölçümleri olarak ayarlanmalıdır. Bu, Azure Veri Gezgini ölçümlerini içeren ad alanıdır.

   

5. Ölçüm adını ve ilgili Toplama değerini seçin.

Bu makaledeki bazı örnekler için, boyuta sahip ölçümler için Filtre Ekle ve Bölme Uygula'yı seçeceğiz. Aynı grafikteki diğer ölçümleri çizmek için Ölçüm ekle'yi ve tek bir görünümde birden çok grafiği görmek için + Yeni grafik'i de kullanacağız.

Her yeni ölçüm eklediğinizde, dört ve beş. adımları yineleyeceksiniz.

Bu makalede, kuyruğa alınan alımı izlemek için hangi ölçümlerin kullanılabileceğini ve bu ölçümlerin nasıl kullanılacağını öğreneceksiniz.

Alım sonucunu görüntüleme

Alma sonucu ölçümü, başarıyla alınan ve alınamayan kaynakların toplam sayısı hakkında bilgi sağlar.

Bu örnekte, alma denemelerimizin sonucunu görüntülemek için bu ölçümü kullanacağız ve başarısız girişimlerin sorunlarını gidermeye yardımcı olmak için durum bilgilerini kullanacağız.

1. Azure İzleyici'deki Ölçümler bölmesinde Ölçüm Ekle'yi seçin.
2. Ölçüm değeri olarak Alma sonucu ve Toplama değeri olarak Toplam'ıseçin. Bu seçim, zaman içindeki alım sonuçlarını tek bir grafik çizgisinde gösterir.
3. Grafiğin üstündeki Bölme uygula düğmesini seçin ve durum'u seçerek grafiğinizi alım sonuçlarının durumuna göre segmentlere ayırın. Bölme değerlerini seçtikten sonra bölme seçiciden uzağa tıklayarak kapatın.

Şimdi ölçüm bilgileri duruma göre bölünür ve alım sonuçlarının durumuyla ilgili bilgileri üç satıra ayrılmış olarak görebiliriz:

1. Başarılı alım işlemleri için mavi.
2. Varlık bulunamadığından başarısız olan alma işlemleri için turuncu.
3. Hatalı istek nedeniyle başarısız olan alma işlemleri için mor.

Alım sonuçları grafiğine bakarken aşağıdakileri göz önünde bulundurun:

• Olay hub'ı veya IoT hub'ı alımı kullanılırken, Veri bağlantısı bileşeninde bir olay ön toplaması vardır. Alımın bu aşamasında, olaylar alınabilecek tek bir kaynak olarak kabul edilir. Bu nedenle, birkaç olay ön toplamadan sonra tek bir alım sonucu olarak görünür.
• Geçici hatalar sınırlı sayıda denemede dahili olarak yeniden deneniyor. Her geçici hata geçici bir alım sonucu olarak bildirilir. Bu nedenle tek bir alım birden fazla alım sonucuna yol açabilir.
• Grafikteki alma hataları, hata kodu kategorisine göre listelenir. Kategorilere göre alım hata kodlarının tam listesini görmek ve olası hata nedenini daha iyi anlamaya çalışmak için bkz. Azure Veri Gezgini'de alma hata kodları.
• Alma hatasıyla ilgili daha fazla ayrıntı almak için başarısız alma tanılama günlüklerini ayarlayabilirsiniz. Ancak günlük oluşturmanın ek kaynak oluşturulmasına ve dolayısıyla COGS'lerde (satılan malların maliyeti) artmasına neden olduğunu göz önünde bulundurmak önemlidir.

Alınan veri miktarını görüntüleme

İşlenen Bloblar, Alınan Bloblar ve Bırakılan Bloblar ölçümleri, kuyruğa alınan alım aşamalarında alım bileşenleri tarafından işlenen, alınan ve bırakılan blob sayısı hakkında bilgi sağlar.

Bu örnekte, alım işlem hattından ne kadar veri geçtiğini, alma bileşenleri tarafından ne kadar veri alındığını ve ne kadar veri bırakıldığını görmek için bu ölçümleri kullanacağız.

İşlenen Bloblar

1. Azure İzleyici'deki Ölçümler bölmesinde Ölçüm Ekle'yi seçin.
2. Ölçüm değeri olarak İşlenen Bloblar'ı ve Toplama değeri olarak Toplam'ıseçin.
3. Grafiği farklı alım bileşenlerine göre segmentlere ayırmak için Bölme uygula düğmesini ve Bileşen Türü'nü seçin.
4. Kümenizdeki belirli bir veritabanına odaklanmak için grafiğin üzerindeki Filtre ekle düğmesini seçin ve grafiği çizerken hangi veritabanı değerlerinin dahilleneceğini seçin. Bu örnekte, Özellik olarak Veritabanı, İşleç ve Değerler açılan listesinde GitHub'ı seçerek GitHub = veritabanına gönderilen blobları filtreleyeceğiz. Filtre değerlerini seçtikten sonra, kapatmak için filtre seçiciden uzağa tıklayın.

Şimdi grafikte GitHub veritabanına gönderilen kaç blobun zaman içinde alım bileşenlerinin her birinde işlendiği gösterilmektedir.

• 13 Şubat'ta GitHub veritabanına zaman içinde alınan blob sayısında bir azalma olduğuna dikkat edin. Ayrıca, bileşenlerin her birinde işlenen blob sayısının benzer olduğuna dikkat edin. Bu, Veri Bağlantısı bileşeninde işlenen verilerin yaklaşık olarak tümünün Batching Manager, Alma Yöneticisi ve Azure Veri Gezgini Depolama Altyapısı bileşenleri tarafından da başarıyla işlendiği anlamına gelir. Bu veriler sorgu için hazır.

Alınan Bloblar

Her bileşende alınan blob sayısı ile her bileşende başarıyla işlenen blob sayısı arasındaki ilişkiyi daha iyi anlamak için yeni bir grafik ekleyeceğiz:

1. + Yeni grafik seçeneğini belirleyin.
2. Kapsam, Ölçüm Ad Alanı ve Toplama için yukarıdaki değerlerin aynısını seçin ve Alınan Bloblar ölçümünü seçin.
3. Bölme uygula düğmesini seçin ve Bileşen Türü'nü seçerek Alınan Bloblar ölçümünü bileşen türüne göre bölün.
4. Yalnızca GitHub veritabanına gönderilen blobları filtrelemek için Filtre ekle düğmesini seçin ve öncekiyle aynı değerleri ayarlayın.

• Grafikleri karşılaştırırken, her bileşen tarafından alınan blob sayısının, her bileşen tarafından işlenen blob sayısıyla yakından eşlendiğine dikkat edin. Bu karşılaştırma, alım sırasında hiçbir blobun bırakılmadığını gösterir.

Bırakılan Bloblar

Alma sırasında bırakılan bloblar olup olmadığını belirlemek için Bırakılan Bloblar ölçümünü analiz etmelisiniz. Bu ölçüm, alım sırasında kaç blobun bırakıldığını gösterir ve belirli bir alım bileşeninde işlemde sorun olup olmadığını algılamanıza yardımcı olur. Bırakılan her blob için hatanın nedeni hakkında daha fazla bilgi içeren bir Alma Sonucu ölçümü de alırsınız.

Alım gecikme süresini görüntüleme

Ölçümler Gecikme süresini ve Bulma Gecikme süresini alma işleminde izler ve Azure Veri Gezgini'da veya veri alımı için Azure Veri Gezgini ulaşmadan önce oluşan uzun gecikme süreleri olup olmadığını bildirir.

• Aşama Gecikme süresi, bir iletinin Azure Veri Gezgini tarafından keşfedilmesinden içeriğinin işlenmek üzere bir alım bileşeni tarafından alınmasına kadar olan süreyi gösterir.
• Bulma Gecikmesi , veri bağlantıları (olay hub'ı, IoT hub'ı ve Event Grid gibi) ile alım işlem hatları için kullanılır. Bu ölçüm, Azure Veri Gezgini veri bağlantıları tarafından bulunana kadar veri sıraya alınan süre hakkında bilgi verir. Bu zaman aralığı Azure Veri Gezgini yukarı akış olduğundan, yalnızca Azure Veri Gezgini gecikme süresini ölçen Aşama Gecikme Süresi ölçümüne dahil değildir.

Veriler sorgu için hazır olana kadar uzun bir gecikme süresi gördüğünüzde, Aşama Gecikmesi ve Bulma Gecikmesi'ni analiz etmek, uzun gecikme süresinin Azure Veri Gezgini'daki uzun gecikme süresinden mi yoksa Azure Veri Gezgini yukarı akışından mı kaynaklanıp kaynaklanmadığını anlamanıza yardımcı olabilir. Gecikme süresi Azure Veri Gezgini olduğunda, uzun gecikme süresinden sorumlu olan bileşeni de algılayabilirsiniz.

Aşama Gecikme Süresi (önizleme)

Şimdi öncelikle kuyruğa alınan alımımızın aşama gecikme süresine bakalım. Her aşamanın açıklaması için bkz . Toplu işlem aşamaları.

1. Azure İzleyici'deki Ölçümler bölmesinde Ölçüm Ekle'yi seçin.
2. Ölçüm değeri olarak Aşama Gecikmesi'ni ve Toplama değeri olarak Ort'ı seçin.
3. Grafiği farklı alım bileşenlerine göre segmentlere ayırmak için Bölme uygula düğmesini ve Bileşen Türü'nü seçin.
4. Filtre ekle düğmesini seçin ve GitHub veritabanına gönderilen verileri filtreleyin. Filtre değerlerini seçtikten sonra, kapatmak için filtre seçiciden uzağa tıklayın. Şimdi grafikte, zaman içinde alınan bileşenlerin her birinde GitHub veritabanına gönderilen alım işlemlerinin gecikme süresi gösterilmektedir:

Bu grafikten aşağıdaki bilgileri söyleyebiliriz:

• Event Hubs Veri Bağlantısı bileşenindeki gecikme süresi yaklaşık 0 saniyedir. Bu mantıklıdır çünkü Aşama Gecikme Süresi yalnızca Azure Veri Gezgini tarafından bir ileti bulunduğundan itibaren gecikme süresini ölçer.
• Alma işlemindeki en uzun süre (yaklaşık 5 dakika), Batching Manager bileşeninin veri aldığından Veri Alma Yöneticisi bileşeninin veri aldığı zamana geçer. Bu örnekte GitHub veritabanı için varsayılan toplu işlem ilkesini kullanacağız. Belirtildiği gibi, varsayılan toplu işlem ilkesi için gecikme süresi sınırı 5 dakikadır, bu nedenle bu büyük olasılıkla neredeyse tüm verilerin zamana göre toplu işlendiğini ve kuyruğa alınan alımın gecikme süresinin çoğunun toplu işlemin kendisinden kaynaklandığını gösterir.
• Grafikteki depolama altyapısı gecikme süresi, veriler Azure Veri Gezgini Depolama Altyapısı'nda depolanıp sorgu için hazır olana kadar olan gecikme süresini temsil eder. Azure Veri Gezgini tarafından veri bulma süresinden sorgu için hazır olana kadar ortalama toplam gecikme süresinin 5,2 dakika olduğunu görebilirsiniz.

Bulma Gecikme Süresi

Veri bağlantılarıyla veri alımı kullanıyorsanız, Azure Veri Gezgini veri alımı için verileri almadan önce gecikme süresi de gerçekleşebileceği için zaman içinde Azure Veri Gezgini gecikme süresini tahmin etmek isteyebilirsiniz. Bu amaçla Bulma Gecikme Süresi ölçümünü kullanabilirsiniz.

1. + Yeni grafik seçeneğini belirleyin.
2. Ölçüm değeri olarak Bulma Gecikme Süresi'nive Toplama değeri olarak Ort'ı seçin.
3. Grafiği farklı veri bağlantısı bileşen türlerine göre segmentlere ayırmak için Bölme uygula düğmesini ve Bileşen Türü'nü seçin. Bölme değerlerini seçtikten sonra bölme seçiciden uzağa tıklayarak kapatın.

• Bulma gecikme süresinin çoğu zaman 0 saniyeye yaklaştığını ve Azure Veri Gezgini verileri sıraladıktan hemen sonra aldığını görebilirsiniz. Yaklaşık 300 milisaniyenin en yüksek zirvesi 13 Şubat saat 14:00 civarındadır ve şu anda Azure Veri Gezgini kümesinin verileri sıraladıktan yaklaşık 300 milisaniye sonra aldığını gösterir.

Toplu işlemeyi anlama

Kuyruğa alınan alım akışının ikinci aşamasında Batching Manager bileşeni, alma toplu işlem ilkesine göre aldığı verileri toplu işleyerek veri alımı aktarım hızını iyileştirir.

Aşağıdaki ölçüm kümesi, veri alımı sırasında verilerinizin nasıl toplu işlendiğini anlamanıza yardımcı olur:

• İşlenen Toplu İşlemler: Alım için tamamlanan toplu işlemlerin sayısı.
• Toplu İş Boyutu: Alma için toplanan bir toplu iş içindeki sıkıştırılmamış verilerin tahmini boyutu.
• Toplu İşlem Süresi: Toplu iş açıldığından toplu işlem sızdırmazlık işlemine kadar her bir toplu işlemin süresi.
• Batch Blob Sayısı: Tamamlanan toplu işlemde alınan blob sayısı.

İşlenen toplu işler

Toplu işlemler işlenen ölçümüne bakarak toplu işleme işleminin genel bir görünümüyle başlayalım.

1. Azure İzleyici'deki Ölçümler bölmesinde Ölçüm Ekle'yi seçin.
2. Ölçüm değeri olarak İşlenen Toplu İşlemler'i ve Toplama değeri olarak Toplam'ıseçin.
3. Bölme uygula düğmesini seçin ve Toplu İş Türü'nü seçerek grafiği toplu işlemenin mühürlenme nedenine göre segmentlere ayırın. Toplu işlem türlerinin tam listesi için bkz . Toplu işlem türleri.
4. Filtre ekle düğmesini seçin ve GitHub veritabanına gönderilen toplu işlemlere filtreleyin. Filtre değerlerini seçtikten sonra, kapatmak için filtre seçiciden uzağa tıklayın.

Grafik, Zaman içinde GitHub veritabanına gönderilen verilerin toplu iş türüne göre bölündüğü korumalı toplu iş sayısını gösterir.

• Zaman içinde zaman birimi başına 2-4 toplu iş olduğuna ve tüm toplu işlemlerin, varsayılan toplu işlem ilkesine göre toplu iş verilerinin yaklaşık 5 dakika sürdüğünü görebileceğiniz Aşama Gecikme Süresi bölümünde tahmin edilen şekilde zamana göre mühürlendiğine dikkat edin.

Toplu iş süresi, boyutu ve blob sayısı

Şimdi işlenen toplu işlemleri daha ayrıntılı olarak niteleyelim.

1. Ölçüm değerleri Toplu İşlem Süresi, Toplu İş Boyutu ve Batch Blob Sayısı için daha fazla grafik oluşturmak için her grafik için + Grafik Ekle düğmesini seçin.
2. Toplama değeri olarak Ort değerini kullanın.
3. Önceki örnekte olduğu gibi Filtre ekle düğmesini seçin ve GitHub veritabanına gönderilen verileri filtreleyin.

Toplu İş Süresi, Toplu İş Boyutu ve Batch Blob Sayısı grafiklerinden bazı içgörüler elde edebiliriz:

• Ortalama toplu iş süresi beş dakikadır (varsayılan toplu işlem ilkesine göre). Toplam alım gecikme süresine bakarken bunu dikkate almanız gerekir.

• Toplu İş Boyutu grafiğinde, toplu iş boyutunun zaman içinde ortalama 200-500 MB olduğunu görebilirsiniz. Alınması gereken verilerin en uygun boyutu 1 GB sıkıştırılmamış veridir ve bu boyut, varsayılan toplu işlem ilkesi tarafından bir sızdırmazlık koşulu olarak da tanımlanır. Zaman içinde toplu işlenecek 1 GB veri olmadığından boyuta göre mühürlenmiş toplu iş görmüyoruz.

• Toplu işlerdeki ortalama blob sayısı zaman içinde yaklaşık 160 blobdur ve bu da 60-120 bloba düşer. Varsayılan toplu işlem ilkesine bağlı olarak, blob sayısı 1000 blob olduğunda toplu iş mühürlenebilir. Bu numaraya ulaşmadığımız için sayıya göre mühürlenmiş toplu iş görmüyoruz.

Alınan olayları alma için gönderilen olaylarla karşılaştırma

Olay hub'ı, IoT hub'ı veya Event Grid alımı uygulanırken, Azure Veri Gezgini tarafından alınan olay sayısını olay kaynağından Azure Veri Gezgini'a gönderilen olay sayısıyla karşılaştırmak yararlı olabilir. Alınan Olaylar, İşlenen Olaylar ve Bırakılan Olaylar ölçümleri bu karşılaştırmayı yapmanıza olanak sağlar.

Alınan Olaylar

1. Azure İzleyici'deki Ölçümler bölmesinde Ölçüm Ekle'yi seçin.
2. Ölçüm değeri olarak Alınan Olaylar'ı ve Toplama değeri olarak Toplam'ıseçin.
3. Grafiğin üstündeki Filtre ekle düğmesini seçin ve kümenizde tanımlanan belirli bir veri bağlantısı tarafından alınan olayları filtrelemek için Özellik değeri Bileşen Adı'nı seçin. Bu örnekte GitHubStreamingEvents veri bağlantısını filtreleyeceğiz. Filtre değerlerini seçtikten sonra, kapatmak için filtre seçiciden uzağa tıklayın.

Şimdi grafik, seçilen veri bağlantısı tarafından zaman içinde alınan olay sayısını gösterir:

• Bu grafikte GitHubStreamingEvents veri bağlantısı zaman içinde zaman birimi başına yaklaşık 200-500 olay alır.

İşlenen Olaylar ve Bırakılan Olaylar

Azure Veri Gezgini tarafından herhangi bir olayın bırakılıp bırakılmadığını görmek için İşlenen Olaylar ve Bırakılan Olaylar ölçümlerini kullanın.

1. Önceden oluşturduğunuz grafikte Ölçüm ekle'yi seçin.
2. Ölçüm değeri olarak İşlenen Olaylar'ı ve Toplama değeri olarak Toplam'ıseçin.
3. Ölçüm ekle'yi yeniden seçin ve Ölçüm değeri olarak Bırakılan Olaylar'ı ve Toplama değeri olarak Toplam'ıseçin.

Grafik artık GitHubStreamingEvents veri bağlantısı tarafından zaman içinde alınan, işlenen ve bırakılan Olayların sayısını gösterir.

• Alınan hemen hemen tüm olaylar veri bağlantısı tarafından başarıyla işlendi. Alınan sonuç ölçümünü görüntülerken gördüğümüz hatalı istek nedeniyle başarısız olan alma sonucuyla uyumlu olan bırakılan bir olay vardır.

Azure Veri Gezgini alınan olayları olay hub'ından giden iletilerle karşılaştırma

Alınan olay sayısını, Alınan Olaylar ve Giden İletiler ölçümlerini karşılaştırarak olay hub'ından Azure Veri Gezgini'a gönderilen olay sayısıyla karşılaştırmak da isteyebilirsiniz.

1. Alınan Olaylar için önceden oluşturduğunuz grafikte Ölçüm ekle'yi seçin.

2. Kapsam'ıseçin ve Kapsam seçin iletişim kutusunda veri bağlantınıza veri gönderen olay hub'ının ad alanını bulun ve seçin.

   

3. Seçin Uygula

4. Ölçüm değeri olarak Giden İletiler'ive Toplama değeri olarak Toplam'ı seçin.

Azure Veri Gezgini veri bağlantısı tarafından işlenen olayların sayısını olay hub'ından gönderilen olay sayısıyla karşılaştıran tam grafiği almak için ayarlardan uzağa tıklayın.

• Olay hub'ından gönderilen tüm olayların Azure Veri Gezgini veri bağlantısı tarafından başarıyla işlendiğine dikkat edin.
• Olay hub'ı ad alanında birden fazla olay hub'ınız varsa Giden İletiler ölçümünü Varlık Adı boyutuna göre filtreleyerek olay hub'ı ad alanınızda yalnızca istenen olay hub'ından veri almanız gerekir.

İlgili içerik

• Ölçümlerle Azure Veri Gezgini performansını, sistem durumunu ve kullanımını izleme
• Tanılama günlüklerini kullanarak Azure Veri Gezgini alımını, komutlarını, sorgularını ve tablolarını izleme
• Azure İzleyici İçgörüleri'ni kullanma