Aracılığıyla paylaş

Azure HDInsight'ta Azure İzleyici Aracısı (AMA) için betik eylemiyle seçmeli günlük kullanma

  • Makale

Azure İzleyici Günlükleri , bulut ve şirket içi ortamlarınızı izleyen bir Azure İzleyici hizmetidir. İzleme, kullanılabilirlik ve performanslarının korunmasına yardımcı olur.

Azure İzleyici Günlükleri bulutunızdaki kaynaklar, şirket içi ortamlardaki kaynaklar ve diğer izleme araçları tarafından oluşturulan verileri toplar. Birden çok kaynakta analiz sağlamak için verileri kullanır. Analizi almak için, Azure portalında HDInsight için bir betik eylemi kullanarak seçmeli günlük özelliğini etkinleştirirsiniz.

Seçmeli günlük kaydı hakkında

Seçmeli günlük, Azure'daki genel izleme sisteminin bir parçasıdır. Kümenizi Log Analytics çalışma alanına bağlayıp seçmeli günlüğe kaydetmeyi etkinleştirdikten sonra HDInsight güvenlik günlükleri, Yarn Resource Manager ve sistem ölçümleri gibi günlükleri ve ölçümleri görebilirsiniz. İş yüklerini izleyebilir ve bunların küme kararlılığını nasıl etkilediğini görebilirsiniz.

Seçmeli günlük, Log Analytics çalışma alanında tüm tabloları etkinleştirmenize veya devre dışı bırakmanıza veya seçili tabloları etkinleştirmenize olanak tanır. Her tablo için kaynak türünü ayarlayabilirsiniz.

Not

Log Analytics bir kümeye yeniden yüklendiyse tüm tabloları ve günlük türlerini yeniden devre dışı bırakmanız gerekir. Yeniden yükleme, tüm yapılandırma dosyalarını özgün durumlarına sıfırlar.

Betik eylemleriyle ilgili dikkat edilmesi gerekenler

  • İzleme sistemi, birleştirilmiş bir günlük katmanı kullanarak günlükleri toplamak için Meta Veri Sunucusu Daemon'unu (izleme aracısı) ve Fluentd'i kullanır.
  • Seçmeli günlük, tabloları ve günlük türlerini devre dışı bırakmak veya etkinleştirmek için bir betik eylemi kullanır. Seçmeli günlük hiçbir yeni bağlantı noktasını açmadığından veya mevcut güvenlik ayarlarını değiştirmediğinden, hiçbir güvenlik değişikliği yoktur.
  • Betik eylemi tüm belirtilen düğümlerde paralel olarak çalışır ve tabloları ve bunların günlük türlerini devre dışı bırakmak veya etkinleştirmek için yapılandırma dosyalarını değiştirir.

Önkoşullar

  • Bir Log Analytics çalışma alanı. Bu çalışma alanını kendi veri deposu, veri kaynakları ve çözümleriyle benzersiz bir Azure İzleyici Günlükleri ortamı olarak düşünebilirsiniz. Yönergeler için bkz . Log Analytics çalışma alanı oluşturma.
  • Bir Azure HDInsight kümesi. Şu anda aşağıdaki HDInsight küme türleriyle seçmeli günlük özelliğini kullanabilirsiniz:
    • Hadoop
    • HBase
    • Interactive Query
    • Spark

HDInsight kümesi oluşturma yönergeleri için bkz . Azure HDInsight'ı kullanmaya başlama.

Birden çok tablo ve günlük türü için betik eylemi kullanarak günlükleri etkinleştirme veya devre dışı bırakma

  1. Betik eylemi oluşturma işlemini başlatmak için kümenizdeki Betik eylemleri'ne gidin ve Yeni gönder'i seçin.

    Betik eylemi oluşturma işlemini başlatma düğmesini gösteren ekran görüntüsü.

    Betik gönder eylem bölmesi görüntülenir.

    Betik eylemi gönderme bölmesini gösteren ekran görüntüsü.

  2. Betik türü için Özel'i seçin.

  3. Betiği adlandırın. Örneğin: İki tabloyu ve iki kaynağı devre dışı bırakın.

  4. Bash betiği URI'sinin selectiveLoggingScript.sh bağlantısı olması gerekir.

  5. Küme için geçerli olan tüm düğüm türlerini seçin. Seçenekler baş düğüm, çalışan düğümü ve ZooKeeper düğümü şeklindedir.

  6. Parametreleri tanımlayın. Örneğin:

    • Kıvılcım: spark HDInsightSparkLogs:SparkExecutorLog --disable
    • Etkileşimli Sorgu: interactivehive HDInsightHadoopAndYarnLogs:NodeManager --enable
    • Hadoop: hadoop HDInsightHiveAndLLAPLogs:HiveServer2Log --disable
    • HBase: hbase HDInsightHBaseLogs:HBaseRegionServerLog --enable

    Daha fazla bilgi için Parametre söz dizimi bölümüne bakın.

  7. Oluştur'u belirleyin.

  8. Birkaç dakika sonra betik eylem geçmişinizin yanında yeşil bir onay işareti görünür. Bu, betiğin başarıyla çalıştırıldığını gösterir.

    Tabloları ve günlük türlerini etkinleştirmek için bir betiğin başarılı bir şekilde çalıştırılmasını gösteren ekran görüntüsü.

Değişikliklerinizi Log Analytics çalışma alanında görürsünüz.

Sorun giderme

Log Analytics çalışma alanında değişiklik görünmüyor

Betik eyleminizi gönderirseniz ancak Log Analytics çalışma alanında değişiklik yoksa:

  1. Panolar'ın altında Ambari giriş'i seçerek hata ayıklama bilgilerini denetleyin.

    Ambari giriş panosunun konumunu gösteren ekran görüntüsü.

  2. Ayarlar düğmesini seçin.

    Ayarlar düğmesini gösteren ekran görüntüsü.

  3. Arka plan işlemleri listesinin en üstünde en son betik çalıştırmanızı seçin.

    Arka plan işlemlerini gösteren ekran görüntüsü.

  4. Betik çalıştırma durumunu tüm düğümlerde tek tek doğrulayın.

    Konaklar için betik çalıştırma durumunu gösteren ekran görüntüsü.

  5. Parametre söz dizimi bölümündeki parametre söz diziminin doğru olup olmadığını denetleyin.

  6. Log Analytics çalışma alanının kümeye bağlı olduğundan ve Log Analytics izlemesinin açık olduğundan emin olun.

  7. Çalıştırdığınız betik eylemi için kümeye yeni düğümler eklendiğinde yeniden çalıştırmak için Bu betiği kalıcı yap eylemini seçtiğinizden emin olun.

    Bir betik eylemini kalıcı hale getiren onay kutusunu gösteren ekran görüntüsü.

  8. Yakın zamanda kümeye yeni bir düğüm eklenip eklenmediğini görün.

    Not

    Betiğin en son kümede çalışması için betiğin kalıcı olması gerekir.

  9. Betik eylemi için istediğiniz tüm düğüm türlerini seçtiğinizden emin olun.

    Seçili düğüm türlerini gösteren ekran görüntüsü.

Betik eylemi başarısız oldu

Betik eylemi, betik eylem geçmişinde bir hata durumu gösteriyorsa:

  1. Parametre söz dizimi bölümündeki parametre söz diziminin doğru olup olmadığını denetleyin.
  2. Betik bağlantısının doğru olup olmadığını denetleyin. Şu şekilde olmalıdır: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScriptsAma/selectiveLoggingScript.sh.

Tablo adları

Farklı günlük türleri (kaynaklar) için tablo adlarının tam listesi için bkz . Azure İzleyici Günlükleri tabloları.

Parametre söz dizimi

Parametreler küme türünü, tablo adlarını, kaynak adlarını ve eylemi tanımlar.

Parametre söz dizimi kutusunu gösteren ekran görüntüsü.

Parametre üç bölümden oluşur:

  • Küme türü
  • Tablolar ve günlük türleri
  • Eylem ( --disable veya --enable)

Birden çok tablo için söz dizimi

Birden çok tablonuz olduğunda, bunlar virgülle ayrılır. Örneğin:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

Birden çok kaynak türü veya günlük türü için söz dizimi

Birden çok kaynak türünüz veya günlük türünüz olduğunda, bunlar bir boşlukla ayrılır.

Kaynağı devre dışı bırakmak için, günlük türlerini içeren tablo adını ve ardından iki nokta üst üste ve ardından gerçek günlük türü adını yazın:

TableName : LogTypeName

Örneğin, iki günlük türüne sahip bir tablo olduğunu spark HDInsightSecurityLogs varsayalım: AmbariAuditLog ve AuthLog. Her iki günlük türünü de devre dışı bırakmak için doğru söz dizimi şöyle olacaktır:

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

Birden çok tablo ve kaynak türü için söz dizimi

İki tabloyu ve iki kaynak türünü devre dışı bırakmanız gerekiyorsa aşağıdaki söz dizimini kullanın:

  • Spark: InteractiveHiveMetastoreLog tabloda günlük türü HDInsightHiveAndLLAPLogs
  • Hbase: InteractiveHiveHSILog tabloda günlük türü HDInsightHiveAndLLAPLogs
  • Hadoop: HDInsightHiveAndLLAPMetrics tablo
  • Hadoop: HDInsightHiveTezAppStats tablo

Tabloları virgülle ayırın. Kaynakları, bulundukları tablo adından sonra iki nokta üst üste kullanarak belirtin.

Bu durumlar için doğru parametre söz dizimi şöyle olabilir:

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable

Sonraki adımlar