Azure HDInsight'ı izleme

Bu makalede şunlar açıklanmaktadır:

• Bu hizmet için toplayabileceğiniz izleme verilerinin türleri.
• Bu verileri analiz etmenin yolları.

Azure kaynaklarını kullanan kritik uygulamalarınız ve iş süreçleriniz varsa sisteminiz için uyarıları izlemeniz ve almanız gerekir. Azure İzleyici hizmeti, sisteminizin her bileşeninden ölçümleri ve günlükleri toplar ve toplar. Azure İzleyici kullanılabilirlik, performans ve dayanıklılığın bir görünümünü sağlar ve sorunları size bildirir. İzleme verilerini ayarlamak ve görüntülemek için Azure portalı, PowerShell, Azure CLI, REST API veya istemci kitaplıklarını kullanabilirsiniz.

• Azure İzleyici hakkında daha fazla bilgi için bkz. Azure İzleyici'ye genel bakış.
• Azure kaynaklarını genel olarak izleme hakkında daha fazla bilgi için bkz . Azure İzleyici ile Azure kaynaklarını izleme.

HDInsight izleme seçenekleri

HDInsight kümeniz için kullanılabilen belirli ölçümler ve günlükler, küme türünüz ve araçlarınıza bağlıdır. Azure HDInsight Apache Hadoop, Spark, Kafka, HBase ve Etkileşimli Sorgu küme türleri sunar. Azure İzleyici tümleştirmesini etkinleştirerek Apache Ambari web kullanıcı arabirimi aracılığıyla veya Azure portalında kümenizi izleyebilirsiniz.

Apache Ambari izleme

Apache Ambari , web kullanıcı arabirimi ve REST API sağlayarak HDInsight kümelerinin yönetimini, yapılandırmasını ve izlenmesini basitleştirir. Ambari, tüm Linux tabanlı HDInsight kümelerine dahil edilir. Ambari'yi kullanmak için Azure portalındaki HDInsight kümenizin Genel Bakış sayfasında Ambari giriş sayfasını seçin.

ambari'yi izleme için kullanma hakkında bilgi için aşağıdaki makalelere bakın:

• Azure HDInsight ile küme performansını izleyin
• Azure HDInsight'ta Apache Ambari ile küme kullanılabilirliğini izleme

Azure İzleyici tümleştirmesi

HDInsight kümelerinizi doğrudan Azure'da da izleyebilirsiniz. Artık önizleme aşamasında olan yeni bir Azure İzleyici tümleştirmesi, Log Analytics çalışma alanını çağırmanıza gerek kalmadan HDInsight kümenizden İçgörüler, Günlükler ve Çalışma Kitapları'na erişmenizi sağlar.

Yeni Azure İzleyici tümleştirmesini kullanmak için HDInsight Azure portalı sayfanızın sol menüsündeki İzleme bölümünden İzleyici tümleştirmesi'ni seçerek etkinleştirin. Yeni izleme tümleştirmesini etkinleştirmek ve bunlarla etkileşime geçmek için PowerShell veya Azure CLI'yı da kullanabilirsiniz. Daha fazla bilgi için aşağıdaki makaleyi inceleyin:

• HDInsight kümelerini izlemek için Azure İzleyici Aracısını kullanma

İçgörüler

Azure'daki bazı hizmetler, Azure portalında hizmetinizi izlemek için bir başlangıç noktası sağlayan yerleşik bir izleme panosuna sahiptir. Bu panolara içgörü adı verilir ve bunları Azure portalındaki Azure İzleyici İçgörüler Merkezi'nde bulabilirsiniz.

İçgörüler kümesi portalı tümleştirmesi

Azure İzleyici tümleştirmesini etkinleştirdikten sonra HDInsight Azure portalı sayfanızın sol menüsünde İçgörüler (Önizleme) seçeneğini belirleyerek kümenizin türüne özgü, kullanıma açık, otomatik olarak doldurulmuş günlükleri ve ölçüm görselleştirme panosunu görebilirsiniz. İçgörüler panosunda her küme türü, YARN, sistem ölçümleri ve bileşen günlükleri için bölümler içeren önceden oluşturulmuş bir Azure Çalışma Kitabı kullanılır.

Bu ayrıntılı grafikler ve görselleştirmeler, kümenizin performansı ve durumu hakkında ayrıntılı içgörüler sağlar. Daha fazla bilgi için bkz . Tek bir kümeyi izlemek için HDInsight kullanıma hazır İçgörüler'i kullanma.

Kaynak türleri

Azure, abonelikteki her şeyi tanımlamak için kaynak türleri ve kimlikler kavramını kullanır. Kaynak türleri, Azure'da çalışan her kaynağın kaynak kimliklerinin de bir parçasıdır. Örneğin, bir sanal makine için kaynak türünden biri olur Microsoft.Compute/virtualMachines. Hizmetlerin ve ilişkili kaynak türlerinin listesi için bkz . Kaynak sağlayıcıları.

Azure İzleyici, çekirdek izleme verilerini benzer şekilde, ad alanları olarak da adlandırılan kaynak türlerine göre ölçümler ve günlükler halinde düzenler. Farklı kaynak türleri için farklı ölçümler ve günlükler kullanılabilir. Hizmetiniz birden fazla kaynak türüyle ilişkilendirilebilir.

Azure HDInsight için kaynak türleri hakkında daha fazla bilgi için bkz . HDInsight izleme verileri başvurusu.

Veri depolama

Azure İzleyici için:

• Ölçüm verileri Azure İzleyici ölçüm veritabanında depolanır.
• Günlük verileri Azure İzleyici günlükleri deposunda depolanır. Log Analytics, Azure portalında bu depoyu sorgulayan bir araçtır.
• Azure etkinlik günlüğü, Azure portalında kendi arabirimine sahip ayrı bir depodur.

İsteğe bağlı olarak ölçüm ve etkinlik günlüğü verilerini Azure İzleyici günlük deposuna yönlendirebilirsiniz. Ardından Log Analytics'i kullanarak verileri sorgulayabilir ve diğer günlük verileriyle ilişkilendirebilirsiniz.

Birçok hizmet, ölçüm ve günlük verilerini Azure İzleyici dışındaki diğer depolama konumlarına göndermek için tanılama ayarlarını kullanabilir. Örnek olarak Event Hubs kullanarak Azure Depolama, barındırılan iş ortağı sistemleri ve Azure dışı iş ortağı sistemleri verilebilir.

Azure İzleyici'nin verileri nasıl depolandığı hakkında ayrıntılı bilgi için bkz . Azure İzleyici veri platformu.

HDInsight, günlük dosyalarını hem küme dosya sisteminde hem de Azure Depolama'da depolar. Günlük dosyalarının büyük sayısı ve boyutu nedeniyle, maliyet yönetimine yardımcı olmak için günlük depolamayı ve arşivlemeyi iyileştirmek önemlidir. Daha fazla bilgi için bkz . HDInsight kümesi için günlükleri yönetme.

Azure İzleyici platform ölçümleri

Azure İzleyici çoğu hizmet için platform ölçümleri sağlar. Bu ölçümler şunlardır:

• Her ad alanı için ayrı ayrı tanımlanır.
• Azure İzleyici zaman serisi ölçüm veritabanında depolanır.
• Hafif ve neredeyse gerçek zamanlı uyarıyı destekleyebilecek.
• Bir kaynağın zaman içindeki performansını izlemek için kullanılır.

Koleksiyon: Azure İzleyici, platform ölçümlerini otomatik olarak toplar. Yapılandırma gerekmez.

Yönlendirme: Ayrıca bazı platform ölçümlerini Azure İzleyici Günlüklerine / Log Analytics'e yönlendirerek bunları diğer günlük verileriyle sorgulayabilirsiniz. Ölçümü Azure İzleyici Günlükleri/Log Analytics'e yönlendirmek için bir tanılama ayarı kullanıp kullanamadığını görmek için her ölçümün DS dışarı aktarma ayarını denetleyin.

• Daha fazla bilgi için Ölçüm tanılama ayarına bakın.
• Bir hizmetin tanılama ayarlarını yapılandırmak için bkz . Azure İzleyici'de tanılama ayarları oluşturma.

Azure İzleyici'deki tüm kaynaklar için toplamanın mümkün olduğu tüm ölçümlerin listesi için bkz . Azure İzleyici'de desteklenen ölçümler.

HDInsight için otomatik olarak toplanan ölçümlerin listesi için bkz . HDInsight izleme verileri başvurusu.

Azure İzleyici kaynak günlükleri

Kaynak günlükleri, bir Azure kaynağı tarafından yapılan işlemler hakkında içgörü sağlar. Günlükler otomatik olarak oluşturulur, ancak bunları kaydetmek veya sorgulamak için Azure İzleyici günlüklerine yönlendirmeniz gerekir. Günlükler kategoriler halinde düzenlenir. Belirli bir ad alanının birden çok kaynak günlüğü kategorisi olabilir.

Koleksiyon: Bir tanılama ayarı oluşturup günlükleri bir veya daha fazla konuma yönlendirene kadar kaynak günlükleri toplanmaz ve depolanmaz. Tanılama ayarı oluşturduğunuzda hangi günlük kategorilerinin toplanacağını belirtirsiniz. Azure portalı, program aracılığıyla ve ancak Azure İlkesi dahil olmak üzere tanılama ayarlarını oluşturmanın ve korumanın birden çok yolu vardır.

Yönlendirme: Önerilen varsayılan ayar, kaynak günlüklerini diğer günlük verileriyle sorgulayabileceğiniz Azure İzleyici Günlüklerine yönlendirmektir. Azure Depolama, Azure Event Hubs ve belirli Microsoft izleme iş ortakları gibi diğer konumlar da kullanılabilir. Daha fazla bilgi için bkz . Azure kaynak günlükleri ve Kaynak günlüğü hedefleri.

Kaynak günlüklerini toplama, depolama ve yönlendirme hakkında ayrıntılı bilgi için bkz . Azure İzleyici'de tanılama ayarları.

Azure İzleyici'deki tüm kullanılabilir kaynak günlüğü kategorilerinin listesi için bkz . Azure İzleyici'de desteklenen kaynak günlükleri.

Azure İzleyici'deki tüm kaynak günlükleri aynı üst bilgi alanlarına ve ardından hizmete özgü alanlara sahiptir. Ortak şema, Azure İzleyici kaynak günlüğü şemasında özetlenmiştir.

Aracı tarafından toplanan günlükler

HDInsight, her zamanki yöntemle kaynak günlükleri üretmez. Bunun yerine, HDInsight kümesinin içinden günlükleri toplar ve Log Analytics Aracısı'nı kullanarak Azure İzleyici Günlükleri/Log Analytics tablolarına gönderir.

HDInsight kümesi aşağıdakiler gibi birçok günlük dosyası oluşturur:

• İş yürütme günlükleri
• YARN günlüğü Resource Manager dosyaları
• Betik eylem günlükleri
• Ambari kümesi uyarıları durumu
• Ambari sistem ölçümleri
• Güvenlik günlükleri
• Denetleyici, stderr ve syslog günlük dosyalarına kaydedilen Hadoop etkinliği

Kullanılabilir günlükler küme çerçevenize ve araçlarınıza bağlıdır. Kümeniz için Azure İzleyici tümleştirmesini etkinleştirdikten sonra bu günlüklerden herhangi birini görüntüleyebilir ve sorgulayabilirsiniz.

• Toplanan günlükler hakkında daha fazla bilgi için bkz . HDInsight kümesi için günlükleri yönetme.
• HDInsight için kullanılabilir Log Analytics ve Azure İzleyici tabloları ve günlük şemaları için bkz . HDInsight izleme veri başvurusu.

Seçmeli günlük kaydı

HDInsight kümeleri birçok ayrıntılı günlük toplayabilir. İzleme ve depolama maliyetlerinden tasarruf etmeye yardımcı olmak için, Azure portalında HDInsight için betik eylemlerini kullanarak seçmeli günlük özelliğini etkinleştirebilirsiniz. Seçmeli günlük kaydı, Log Analytics aracılığıyla kullanılabilen farklı günlükleri ve ölçüm kaynaklarını açıp kapatmanıza olanak tanır. Bu özellik sayesinde yalnızca kullandığınız kadar ödemeniz gerekir.

Log Analytics çalışma alanında tabloları etkinleştirmek veya devre dışı bırakmak için günlük toplamayı ve çözümlemeyi yapılandırabilir ve her tablonun kaynak türünü ayarlayabilirsiniz. Ayrıntılı yönergeler için bkz . Azure HDInsight'ta betik eylemiyle seçmeli günlük kaydı kullanma.

Azure etkinlik günlüğü

Etkinlik günlüğü, bu kaynağın dışından görüldüğü gibi her Azure kaynağı için işlemleri izleyen abonelik düzeyinde olaylar içerir; örneğin, yeni bir kaynak oluşturma veya sanal makine başlatma.

Koleksiyon: Etkinlik günlüğü olayları otomatik olarak oluşturulur ve Azure portalında görüntülemek üzere ayrı bir depoda toplanır.

Yönlendirme: Etkinlik günlüğü verilerini Azure İzleyici Günlüklerine göndererek diğer günlük verileriyle birlikte analiz edebilirsiniz. Azure Depolama, Azure Event Hubs ve belirli Microsoft izleme iş ortakları gibi diğer konumlar da kullanılabilir. Etkinlik günlüğünü yönlendirme hakkında daha fazla bilgi için bkz . Azure etkinlik günlüğüne genel bakış.

İzleme verilerini analiz etme

İzleme verilerini analiz etmek için birçok araç vardır.

Azure İzleyici araçları

Azure İzleyici aşağıdaki temel araçları destekler:

• Azure portalında Azure kaynaklarına yönelik ölçümleri görüntülemenize ve analiz etmenizi sağlayan bir araç olan Ölçüm gezgini. Daha fazla bilgi için bkz . Azure İzleyici ölçüm gezginiyle ölçümleri analiz etme.

• Azure portalında Kusto sorgu dilini (KQL) kullanarak günlük verilerini sorgulamanıza ve analiz etmenizi sağlayan bir araç olan Log Analytics. Daha fazla bilgi için bkz . Azure İzleyici'de günlük sorgularını kullanmaya başlama.

• Azure portalında görüntülemeye ve temel aramalara yönelik bir kullanıcı arabirimine sahip olan etkinlik günlüğü. Daha ayrıntılı analiz yapmak için verileri Azure İzleyici günlüklerine yönlendirmeniz ve Log Analytics'te daha karmaşık sorgular çalıştırmanız gerekir.

Daha karmaşık görselleştirmelere olanak sağlayan araçlar şunlardır:

• Farklı veri türlerini Azure portalında tek bir bölmede birleştirmenize olanak sağlayan panolar .
• Çalışma kitapları, Azure portalında oluşturabileceğiniz özelleştirilebilir raporlar. Çalışma kitapları metin, ölçüm ve günlük sorguları içerebilir.
• Grafana, işletimsel panolarda üstünlük sağlayan açık bir platform aracıdır. Azure İzleyici dışındaki birden çok kaynaktan veri içeren panolar oluşturmak için Grafana'yı kullanabilirsiniz.
• Çeşitli veri kaynakları genelinde etkileşimli görselleştirmeler sağlayan bir iş analizi hizmeti olan Power BI. Bu görselleştirmelerden yararlanmak için Power BI'ı günlük verilerini Azure İzleyici'den otomatik olarak içeri aktaracak şekilde yapılandırabilirsiniz.

Azure İzleyici Günlükleri, HDInsight küme kaynaklarınızdan ve diğer izleme araçlarından veri toplar ve verileri kullanarak birden çok kaynakta analiz sağlar.

• Küme günlüklerini doğrudan kümenizden görüntüleyebilmek ve analiz edebilmek için Azure İzleyici tümleştirmesini yapılandırmanız gerekir. Daha fazla bilgi için bkz . HDInsight'ta Azure İzleyici günlükleriyle küme kullanılabilirliğini izleme.

• HDInsight için yeni bir Azure İzleyici tümleştirmesi (önizleme), Log Analytics'in yerini alıyor. Daha fazla bilgi için bkz . Azure HDInsight kümeleri için Log Analytics geçiş kılavuzu.

• HDInsight kümesi ölçümlerini analiz etmek ve olay uyarıları oluşturmak için Azure İzleyici günlüklerini kullanan temel senaryolar için bkz . HDInsight kümelerini izlemek için Azure İzleyici günlüklerini sorgulama.

• Azure İzleyici günlüklerini etkinleştirme ve Hadoop küme işlemleri için izleme çözümü ekleme hakkında ayrıntılı yönergeler için bkz . HDInsight kümelerini izlemek için Azure İzleyici günlüklerini kullanma.

Azure İzleyici dışarı aktarma araçları

Aşağıdaki yöntemleri kullanarak Azure İzleyici'nin verilerini diğer araçlara alabilirsiniz:

• Ölçümler: Azure İzleyici ölçüm veritabanından ölçüm verilerini ayıklamak için ölçümler için REST API'sini kullanın. API, alınan verileri iyileştirmek için filtre ifadelerini destekler. Daha fazla bilgi için bkz . Azure İzleyici REST API başvurusu.

• Günlükler: REST API'sini veya ilişkili istemci kitaplıklarını kullanın.

• Bir diğer seçenek de çalışma alanı verilerini dışarı aktarmadır.

Azure İzleyici için REST API'yi kullanmaya başlamak için bkz . Azure izleme REST API'sini izleme kılavuzu.

Kusto sorguları

Kusto sorgu dilini (KQL) kullanarak Azure İzleyici Günlükleri/Log Analytics deposundaki izleme verilerini analiz edebilirsiniz.

Herhangi bir hizmet için yaygın sorguların listesi için bkz . Log Analytics sorguları arabirimi.

Azure İzleyici tümleştirmesini etkinleştirdikten sonra, HDInsight portalınızın sol gezinti bölmesinde Günlükler (önizleme) seçeneğini belirleyebilir ve ardından kümenize yönelik örnek sorguları görmek için Sorgular sekmesini seçebilirsiniz. Örneğin, aşağıdaki sorgu son beş saat içinde sinyal göndermemiş tüm bilinen bilgisayarları listeler.

// Unavailable computers 
Heartbeat
| summarize LastHeartbeat=max(TimeGenerated) by Computer
| where LastHeartbeat < ago(5h)

Aşağıdaki sorgu, son 24 saat içinde CPU tüketimine göre yoğun kaynak kullanan ilk 10 sorguyu alır.

// Top 10 resource intensive queries 
LAQueryLogs
| top 10 by StatsCPUTimeMs desc nulls last

Uyarılar

Azure İzleyici uyarıları, izleme verilerinizde belirli koşullar bulunduğunda sizi proaktif olarak bilgilendirir. Uyarılar, müşterileriniz fark etmeden önce sisteminizdeki sorunları tanımlamanıza ve çözmenize olanak sağlar. Daha fazla bilgi için bkz . Azure İzleyici uyarıları.

Azure kaynakları için birçok yaygın uyarı kaynağı vardır. Azure kaynaklarına yönelik yaygın uyarı örnekleri için bkz . Örnek günlük uyarısı sorguları. Azure İzleyici Temel Uyarıları (AMBA) sitesi, önemli platform ölçüm uyarılarını, panolarını ve yönergelerini uygulamak için yarı otomatik bir yöntem sağlar. Site, Azure Giriş Bölgesi'nin (ALZ) parçası olan tüm hizmetler de dahil olmak üzere Azure hizmetlerinin sürekli olarak genişleyen bir alt kümesi için geçerlidir.

Ortak uyarı şeması, Azure İzleyici uyarı bildirimlerinin kullanımını standartlaştırır. Daha fazla bilgi için bkz . Ortak uyarı şeması.

Uyarı türleri

Azure İzleyici veri platformundaki herhangi bir ölçüm veya günlük veri kaynağı hakkında uyarı alabilirsiniz. İzlediğiniz hizmetlere ve topladığınız izleme verilerine bağlı olarak birçok farklı uyarı türü vardır. Farklı uyarı türlerinin çeşitli avantajları ve dezavantajları vardır. Daha fazla bilgi için bkz . Doğru izleme uyarı türünü seçme.

Aşağıdaki listede oluşturabileceğiniz Azure İzleyici uyarılarının türleri açıklanmaktadır:

• Ölçüm uyarıları , kaynak ölçümlerini düzenli aralıklarla değerlendirir. Ölçümler platform ölçümleri, özel ölçümler, Azure İzleyici'den ölçümlere dönüştürülen günlükler veya Application Insights ölçümleri olabilir. Ölçüm uyarıları birden çok koşul ve dinamik eşik de uygulayabilir.
• Günlük uyarıları , kullanıcıların önceden tanımlanmış bir sıklıkta kaynak günlüklerini değerlendirmek için Log Analytics sorgusu kullanmasına olanak sağlar.
• Etkinlik günlüğü uyarıları , tanımlı koşullarla eşleşen yeni bir etkinlik günlüğü olayı oluştuğunda tetikler. Kaynak Durumu uyarıları ve Hizmet Durumu uyarıları, hizmetiniz ve kaynak durumunuz hakkında rapor veren etkinlik günlüğü uyarılarıdır.

Bazı Azure hizmetleri akıllı algılama uyarılarını, Prometheus uyarılarını veya önerilen uyarı kurallarını da destekler.

Bazı hizmetler için, aynı Azure bölgesinde bulunan aynı türdeki birden çok kaynağa aynı ölçüm uyarı kuralını uygulayarak büyük ölçekte izleyebilirsiniz. İzlenen her kaynak için tek tek bildirimler gönderilir. Desteklenen Azure hizmetleri ve bulutları için bkz . Tek bir uyarı kuralıyla birden çok kaynağı izleme.

HDInsight uyarı kuralları

Azure İzleyici tümleştirmesini etkinleştirdikten sonra, HDInsight portalınızın sol gezinti bölmesinde Uyarılar'ı ve ardından Uyarıları yapılandırmak için Uyarı kuralı oluştur'u seçebilirsiniz. Bir uyarıyı herhangi bir Log Analytics sorgusuna dayandırabilir veya ölçümlerden veya etkinlik günlüğünden gelen sinyalleri kullanabilirsiniz.

Aşağıdaki tabloda HDInsight için birkaç uyarı kuralı açıklanmaktadır. Bu uyarılar yalnızca örnektir. HDInsight izleme veri başvurusunda listelenen herhangi bir ölçüm, günlük girişi veya etkinlik günlüğü girişi için uyarılar ayarlayabilirsiniz.

Uyarı oluşturmayı gösteren bir örnek için bkz . Azure İzleyici uyarıları.

Danışman önerileri

Bazı hizmetler için, kaynak işlemleri sırasında kritik koşullar veya yakın değişiklikler gerçekleşirse portaldaki hizmete Genel Bakış sayfasında bir uyarı görüntülenir. Uyarı için daha fazla bilgi ve önerilen düzeltmeleri soldaki menüde İzleme altında Danışman önerileri bölümünde bulabilirsiniz. Normal işlemler sırasında hiçbir danışman önerisi görüntülenmez.

Azure Danışmanı hakkında daha fazla bilgi için bkz . Azure Danışmanına genel bakış.

İlgili içerik

• HDInsight için oluşturulan ölçümlere, günlüklere ve diğer önemli değerlere yönelik başvuru için bkz . HDInsight izleme veri başvurusu.
• Azure kaynaklarını izleme hakkında genel ayrıntılar için bkz . Azure İzleyici ile Azure kaynaklarını izleme.