Bagikan melalui

Menggunakan pengelogan selektif dengan tindakan skrip untuk Agen Azure Monitor (AMA) di Azure HDInsight

  • Artikel

Log Azure Monitor adalah layanan Azure Monitor yang memantau lingkungan cloud dan lokal Anda. Pemantauan tersebut membantu menjaga ketersedian serta performanya.

Log Azure Monitor mengumpulkan data yang dihasilkan oleh sumber daya di cloud Anda, lingkungan lokal, dan dari alat pemantauan lainnya. Log Azure Monitor menggunakan data tersebut untuk menyediakan analisis di beberapa sumber. Untuk mendapatkan analisis, Anda mengaktifkan fitur pengelogan selektif menggunakan tindakan skrip untuk HDInsight di portal Azure.

Tentang pengelogan selektif

Pengelogan selektif adalah bagian dari sistem pemantauan di Azure secara keseluruhan. Setelah menyambungkan kluster ke ruang kerja Log Analytics dan mengaktifkan pengelogan selektif, Anda dapat melihat log dan metrik seperti log keamanan HDInsight, Resource Manager Yarn, dan metrik sistem. Anda dapat memantau beban kerja dan melihat bagaimana beban kerja tersebut memengaruhi stabilitas kluster.

Pengelogan selektif memungkinkan Anda mengaktifkan/menonaktifkan semua tabel atau mengaktifkan tabel yang dipilih di ruang kerja Log Analytics. Anda dapat menyesuaikan jenis sumber untuk setiap tabel.

Catatan

Apabila Log Analytics diinstal ulang dalam kluster, Anda harus menonaktifkan semua tabel dan jenis log lagi. Penginstalan ulang mereset semua file konfigurasi ke status aslinya.

Pertimbangan untuk tindakan skrip

  • Sistem pemantauan menggunakan Metadata Server Daemon (agen pemantauan) dan Fluentd untuk mengumpulkan log menggunakan lapisan pengelogan terpadu.
  • Pengelogan selektif menggunakan tindakan skrip untuk menonaktifkan atau mengaktifkan tabel dan jenis lognya. Karena pengelogan selektif tidak membuka port baru atau mengubah pengaturan keamanan yang ada, maka tidak ada perubahan keamanan.
  • Tindakan skrip berjalan secara paralel di semua node yang ditentukan dan mengubah file konfigurasi untuk menonaktifkan atau mengaktifkan tabel dan jenis lognya.

Prasyarat

  • Ruang kerja Analitik Log. Anda dapat menganggap ruang kerja ini sebagai lingkungan Log Azure Monitor yang unik dengan repositori data, sumber data, dan solusinya sendiri. Untuk mengetahui petunjuknya, lihat Membuat ruang kerja Log Analytics.
  • Kluster Microsoft Azure HDInsight. Saat ini, Anda dapat menggunakan fitur pengelogan selektif dengan jenis kluster HDInsight berikut:
    • Hadoop
    • HBase
    • Interactive Query
    • Spark

Untuk petunjuk tentang cara membuat kluster HDInsight, lihat Mulai menggunakan Azure HDInsight.

Mengaktifkan atau menonaktifkan log menggunakan tindakan skrip untuk beberapa tabel dan jenis log

  1. Buka tindakan Skrip di kluster Anda dan pilih Kirim baru untuk memulai proses pembuatan tindakan skrip.

    Cuplikan layar yang menampilkan tombol untuk memulai proses pembuatan tindakan skrip.

    Panel Kirim tindakan skrip muncul.

    Cuplikan layar yang menampilkan panel untuk mengirimkan tindakan skrip.

  2. Untuk jenis skrip, pilih Kustom.

  3. Beri nama skrip. Misalnya: Nonaktifkan dua tabel dan dua sumber.

  4. URI skrip Bash harus berupa link ke selectiveLoggingScript.sh.

  5. Pilih semua jenis node yang berlaku untuk kluster tersebut. Opsinya adalah node kepala, node pekerja, dan node ZooKeeper.

  6. Tentukan parameter. Contohnya:

    • Spark: spark HDInsightSparkLogs:SparkExecutorLog --disable
    • Interactive Query: interactivehive HDInsightHadoopAndYarnLogs:NodeManager --enable
    • Hadoop: hadoop HDInsightHiveAndLLAPLogs:HiveServer2Log --disable
    • HBase: hbase HDInsightHBaseLogs:HBaseRegionServerLog --enable

    Untuk informasi selengkapnya, lihat bagian Sintaksis parameter.

  7. Pilih Buat.

  8. Setelah beberapa menit, tanda centang hijau muncul di samping riwayat tindakan skrip Anda. Ini artinya skrip telah berhasil dijalankan.

    Cuplikan layar yang menampilkan eksekusi skrip untuk mengaktifkan tabel dan jenis log yang berhasil.

Anda melihat perubahan di ruang kerja Analitik Log.

Pemecahan Masalah

Tidak ada perubahan yang muncul di ruang kerja Log Analytics

Apabila Anda mengirimkan tindakan skrip tetapi tidak ada perubahan di ruang kerja Log Analytics:

  1. Pada Dasbor, pilih beranda Ambari untuk memeriksa informasi debug.

    Cuplikan layar yang menampilkan lokasi dasbor beranda Ambari.

  2. Pilih tombol Pengaturan.

    Cuplikan layar yang menampilkan tombol Pengaturan.

  3. Pilih eksekusi skrip terbaru Anda di bagian atas daftar operasi latar belakang.

    Cuplikan layar yang menampilkan operasi latar belakang.

  4. Verifikasi status eksekusi skrip di semua simpul satu per satu.

    Cuplikan layar yang menampilkan status eksekusi skrip untuk host.

  5. Periksa apakah sintaksis parameter dari bagian sintaksis parameter sudah benar.

  6. Periksa apakah ruang kerja Log Analytics tersambung ke kluster dan pemantauan Log Analytics diaktifkan.

  7. Periksa apakah Anda telah memilih kotak centang Pertahankan tindakan skrip ini untuk dijalankan ulang saat node baru ditambahkan ke kluster untuk tindakan skrip yang Anda jalankan.

    Cuplikan layar yang menampilkan kotak centang untuk mempertahankan tindakan skrip.

  8. Lihat apakah node baru telah ditambahkan ke kluster baru-baru ini.

    Catatan

    Agar skrip berjalan di kluster terbaru, skrip harus bertahan.

  9. Pastikan Anda telah memilih semua jenis node yang Anda inginkan untuk tindakan skrip.

    Cuplikan layar yang menampilkan jenis node yang dipilih.

Tindakan skrip gagal

Apabila tindakan skrip menampilkan status gagal dalam riwayat tindakan skrip:

  1. Periksa apakah sintaksis parameter dari bagian sintaksis parameter sudah benar.
  2. Periksa apakah tautan skrip sudah benar. Properti tersebut seharusnya: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScriptsAma/selectiveLoggingScript.sh.

Nama tabel

Untuk daftar lengkap nama tabel untuk jenis log (sumber) yang berbeda, lihat Tabel Log Azure Monitor.

Sintaksis parameter

Parameter menentukan jenis kluster, nama tabel, nama sumber, dan tindakan.

Cuplikan layar yang menampilkan kotak sintaksis parameter.

Parameter berisi tiga bagian:

  • Jenis kluster
  • Jenis tabel dan log
  • Tindakan (baik --disable atau --enable)

Sintaksis untuk beberapa tabel

Ketika Anda memiliki beberapa tabel, tabel dipisahkan dengan koma. Contohnya:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

Sintaksis untuk beberapa jenis sumber atau jenis log

Ketika Anda memiliki beberapa jenis sumber atau jenis log, jenis tersebut dipisahkan dengan spasi.

Untuk menonaktifkan sumber, tulis nama tabel yang berisi jenis log, diikuti dengan titik dua, kemudian nama jenis log nyata:

TableName : LogTypeName

Misalnya, asumsikan bahwa spark HDInsightSecurityLogs adalah tabel yang memiliki dua jenis log: AmbariAuditLog dan AuthLog. Untuk menonaktifkan kedua jenis log, sintaksis yang benar adalah:

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

Sintaksis untuk beberapa tabel dan jenis sumber

Apabila Anda perlu menonaktifkan dua tabel dan dua jenis sumber, gunakan sintaksis berikut:

  • Spark: Jenis log InteractiveHiveMetastoreLog dalam tabel HDInsightHiveAndLLAPLogs
  • Hbase: Jenis log InteractiveHiveHSILog dalam tabel HDInsightHiveAndLLAPLogs
  • Hadoop: Tabel HDInsightHiveAndLLAPMetrics
  • Hadoop: Tabel HDInsightHiveTezAppStats

Pisahkan tabel dengan koma. Tandai sumber dengan titik dua setelah nama tabel tempat sumber berada.

Sintaksis parameter yang benar untuk kasus ini adalah:

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable

Langkah berikutnya