Azure Veri Gezgini nasıl çalışır?
Azure Veri Gezgini telemetri verilerini, günlükleri, olayları, izlemeleri ve zaman serisi verilerini almak ve sorgulamak için benzersiz performans sağlar. İyileştirilmiş depolama biçimlerine, dizinlere sahiptir ve verimli sorgu planlaması ve tam zamanında derlenmiş sorgu yürütme için gelişmiş veri istatistikleri kullanır.
Depolama ve işlem karşılaştırması
Azure Veri Gezgini depolama ve işlem kaynaklarını birbirinden ayırır. Kalıcı veriler Azure Blob Depolama'de bulunurken işlem kaynakları geçici verileri depolar veya kalıcı depolama için önbellek görevi görür.
Bu ayrım aşağıdaki avantajları sağlar:
- Depolama ve işlem kaynaklarının ölçeğini bağımsız olarak genişletme.
- Birden çok işlem kümesinde özdeş verilere erişilebilirlik. Daha fazla bilgi için bkz . Veri paylaşımı.
- SKU iyileştirmesi. Daha fazla bilgi için bkz . Kümeniz için SKU seçme.
Veri depolama
Azure Veri Gezgini, alınan tüm verileri kapsamlara veya hedef tablonun yatay dilimleri olan veri parçalarına ayırır. Bir kapsam, tek bir kayıt kadar küçük olarak başlayabilir. Veriler tabloda biriktikçe Azure Veri Gezgini, milyonlarca kaydı kapsayana kadar kapsamları otomatik olarak birleştirir. Her uzantı, diğer uzantılardan bağımsız olarak kodlanır ve dizine alınır. Bu işlev, alım aktarım hızındaki doğrusal ölçeklendirmeye katkıda bulunur.
Uzantılar, hem yerel SSD'de hem de bellekte önbelleğe alınan küme düğümlerine eşit olarak yayılır. Bu dağıtım, yüksek oranda dağıtılmış ve paralel sorgular hazırlama ve yürütme kapasitesini artırır.
Veri depolama hakkında daha fazla bilgi için bkz . Kapsamlara genel bakış.
Not
Azure Veri Gezgini ayrıca tablo şemaları ve ilke nesneleri gibi temel meta verileri de korur. İlkelerin listesi için bkz . İlkelere genel bakış.
Veri önbelleği
Azure Veri Gezgini, en uygun verilerin CPU'ya mümkün olduğunca yakın bir şekilde önbelleğe alınmasını sağlamak için çok hiyerarşili bir veri önbellek sistemine sahiptir. Önbellek sistemi, uzantıların değişmezliğine bağlıdır ve tamamen sıkıştırılmış verilerle çalışır. Sorgu performansını geliştirmek için veriler RAM'de bile sıkıştırılır ve yalnızca sorgu için gerektiğinde sıkıştırılır.
Önbelleğe alma hakkında daha fazla bilgi için bkz . Önbellek ilkesi.
Metin dizini oluşturma
Azure Veri Gezgini, veriler alınırken serbest metin (dize) ve JSON benzeri (dinamik) sütunları verimli bir şekilde dizine almak için tasarlanmıştır. Dizinler, verileri taramadan dizine göre sorgu bölümlerinin değerlendirilmesini sağlayan bir ayrıntı düzeyi tutar.
Birleştirme yoluyla uzantıların sürekli arka plan iyileştirmesi sıkıştırmayı ve dizin oluşturmayı iyileştirerek verimli depolama ve düşük sorgu gecikme süresi sağlar. Kapsamlar belirli bir boyuta ulaştığında, verimlilikten ödün vermeden sorgu performansını geliştirmek için yalnızca dizinler birleştirilir.
Kapsam ve dizin birleştirme hakkında daha fazla bilgi için bkz . Birleştirme ilkesi.
Satır deposu
Azure Veri Gezgini, satır deposu adlı bir ara depolama çözümü sunar. Satır deposu, verilerin küçük bölümlerinin verimli bir şekilde alınmasını sağlar ve bu verilerin sorgu için hemen kullanılabilir olmasını sağlar. Kümenizde akış alımını etkinleştirdiğinizde, veriler başlangıçta satır deposuna alınıp sütun deposu kapsamlarına taşınır.
Daha fazla bilgi için bkz . Toplu işlem ve akış alımı.
Sütun sıkıştırma
Azure Veri Gezgini verileri sıkıştırılmış durumda tutarak verileri depolamak ve işlemek için gereken bellek miktarını azaltır. Bu davranış, sorgu performansının daha hızlı ve sistem kaynaklarının daha verimli kullanılmasına neden olur.
Azure Veri Gezgini, serbest metin veya yarı yapılandırılmış veri senaryolarındaki yüksek CPU maliyeti nedeniyle sıkıştırmayı geliştirmek için verileri sıralamayı içeren dikey sıkıştırmayı önler. Bunun yerine, baskın sorgu desenlerine sahip senaryolar için tercih edilen veri sıralama düzenini belirtebilirsiniz. Bu denge, sorgular için hızlı veri kullanılabilirliğine öncelik vermektedir.
Veri sıralama düzenini belirtme hakkında daha fazla bilgi için bkz . Satır düzeni ilkesi.
Dağıtılmış veri sorgusu
Azure Veri Gezgini, büyük yapılandırılmamış veri kümelerinde hızlı geçici analize yönelik dağıtılmış veri sorgusu teknolojisini kullanır. Bu teknolojinin temel özellikleri şunlardır:
- Sorgu tarafından oluşturulan geçici veriler toplu RAM'de depolanır
- İlgili kapsamlar sorgu planında işaretlenir ve anlık görüntü yalıtımı sağlanır
- Hızlı ve verimli sorgular, kısa varsayılan zaman aşımlarıyla önceliklendirilir
- Kümeler arası veri alışverişlerini en aza indiren kümeler arası sorgular için yerel destek
- Sorgular, her ölçüdeki veri istatistikleri kullanılarak ve sütun kodlama özelliklerine göre uyarlanmış yüksek verimli makine kodunda tam zamanında derlenir
Not
Azure Veri Gezgini, Azure Veri Gezgini için özel olarak oluşturulmuş Kusto Sorgu Dili (KQL) ile çalışacak şekilde tasarlanmıştır. Ayrıca, T-SQL desteklenir.