Bagikan melalui

Referensi data pemantauan Azure HDInsight

  • Artikel

Artikel ini berisi semua informasi referensi pemantauan untuk layanan ini.

Lihat Memantau HDInsight untuk detail tentang data yang dapat Anda kumpulkan untuk Azure HDInsight dan cara menggunakannya.

Metrik

Bagian ini mencantumkan semua metrik platform yang dikumpulkan secara otomatis untuk layanan ini. Metrik ini juga merupakan bagian dari daftar global semua metrik platform yang didukung di Azure Monitor.

Untuk informasi tentang retensi metrik, lihat Gambaran umum Metrik Azure Monitor.

Metrik yang didukung untuk Microsoft.HDInsight/clusters

Tabel berikut mencantumkan metrik yang tersedia untuk jenis sumber daya Microsoft.HDInsight/clusters.

  • Semua kolom mungkin tidak ada di setiap tabel.
  • Beberapa kolom mungkin berada di luar area tampilan halaman. Pilih Perluas tabel untuk menampilkan semua kolom yang tersedia.

Judul tabel

  • Kategori - Grup metrik atau klasifikasi.
  • Metrik - Nama tampilan metrik seperti yang muncul di portal Azure.
  • Nama di REST API - Nama metrik seperti yang disebutkan dalam REST API.
  • Unit - Satuan ukuran.
  • Agregasi - Jenis agregasi default. Nilai yang valid: Rata-rata (Rata-rata), Minimum (Min), Maksimum (Maks), Total (Jumlah), Hitungan.
  • Dimensi dimensi - tersedia untuk metrik.
  • Interval Butir - Waktu tempat metrik diambil sampelnya. Misalnya, PT1M menunjukkan bahwa metrik diambil sampelnya setiap menit, PT30M setiap 30 menit, PT1H setiap jam, dan sebagainya.
  • Ekspor DS- Apakah metrik dapat diekspor ke Log Azure Monitor melalui pengaturan diagnostik. Untuk informasi tentang mengekspor metrik, lihat Membuat pengaturan diagnostik di Azure Monitor.

Kategori: Ketersediaan

Metrik Nama dalam REST API Unit Agregasi Dimensi Butir Waktu Ekspor DS
Permintaan Gateway Yang Dikategorikan

Jumlah permintaan gateway menurut kategori (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Hitung Hitungan, Total (Jumlah) HttpStatus PT1M, PT1H, P1D Ya
Permintaan Gateway

Jumlah permintaan gateway		 GatewayRequests Hitung Hitungan, Total (Jumlah) HttpStatus PT1M, PT1H, P1D Ya
Permintaan Konsumen proksi RESTThroughput

Jumlah permintaan konsumen ke proksi REST Kafka		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond Total (Jumlah) Machine, Topic PT1M, PT1H, P1D Ya
Permintaan Konsumen Proksi REST Tidak Berhasil

Pengecualian permintaan konsumen		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond Total (Jumlah) Machine, Topic PT1M, PT1H, P1D Ya
Latensi Permintaan Konsumen proksi REST

Latensi pesan dalam permintaan konsumen melalui proxy REST Kafka		 KafkaRestProxy.ConsumerRequestTime.p95 Milidetik Tengah Machine, Topic PT1M, PT1H, P1D Ya
Backlog Permintaan Konsumen proksi REST

Panjang antrean proksi REST konsumen		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Milidetik Tengah Machine, Topic PT1M, PT1H, P1D Ya
Pesan Produser proksi RESTThroughput

Jumlah pesan produser melalui proxy REST Kafka		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond Total (Jumlah) Machine, Topic PT1M, PT1H, P1D Ya
Pesan Konsumen proksi RESTThroughput

Jumlah pesan konsumen melalui proxy REST Kafka		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond Total (Jumlah) Machine, Topic PT1M, PT1H, P1D Ya
Proksi REST ConcurrentConnections

Jumlah koneksi bersamaan melalui proxy REST Kafka		 KafkaRestProxy.OpenConnections Hitung Total (Jumlah) Machine, Topic PT1M, PT1H, P1D Ya
Permintaan Produser proksi RESTThroughput

Jumlah permintaan produser ke proxy REST Kafka		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond Total (Jumlah) Machine, Topic PT1M, PT1H, P1D Ya
Permintaan Produser proksi REST Gagal

Pengecualian permintaan produser		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond Total (Jumlah) Machine, Topic PT1M, PT1H, P1D Ya
Latensi Permintaan Produser Produser REST

Latensi pesan dalam permintaan produser melalui proxy REST Kafka		 KafkaRestProxy.ProducerRequestTime.p95 Milidetik Tengah Machine, Topic PT1M, PT1H, P1D Ya
Backlog Permintaan Produser Produser REST

Panjang antrean proksi REST produser		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Milidetik Tengah Machine, Topic PT1M, PT1H, P1D Ya
Jumlah Pekerja Aktif

Jumlah Pekerja Aktif		 NumActiveWorkers Hitung Rata-rata, Maksimum, Minimum MetricName PT1M, PT1H, P1D Ya
CPU tertunda

Permintaan CPU Tertunda di YARN		 PendingCPU Hitung Rata-rata, Maksimum, Minimum <Tidak ada> PT1M, PT1H, P1D Ya
Memori Tertunda

Permintaan Memori tertunda di YARN		 PendingMemory Hitung Rata-rata, Maksimum, Minimum <Tidak ada> PT1M, PT1H, P1D Ya

Dimensi metrik

Untuk informasi tentang dimensi metrik apa itu, lihat Metrik multi-dimensi.

Layanan ini memiliki dimensi berikut yang terkait dengan metriknya.

Dimensi untuk tabel Microsoft.HDInsight/clusters meliputi:

  • HttpStatus
  • Mesin
  • Topik
  • MetricName

Log sumber daya

Bagian ini mencantumkan jenis log sumber daya yang dapat Anda kumpulkan untuk layanan ini. Bagian menarik dari daftar semua jenis kategori log sumber daya yang didukung di Azure Monitor.

HDInsight tidak menggunakan log sumber daya Azure Monitor atau pengaturan diagnostik. Log dikumpulkan oleh metode lain, termasuk penggunaan agen Analitik Log.

Tabel Log Azure Monitor

Bagian ini mencantumkan tabel Log Azure Monitor yang relevan dengan layanan ini, yang tersedia untuk kueri oleh Analitik Log menggunakan kueri Kusto. Tabel berisi data log sumber daya dan mungkin lebih bergantung pada apa yang dikumpulkan dan dirutekan ke dalamnya.

Kluster HDInsight

Microsoft.HDInsight/Clusters

Log dan metrik yang tersedia bervariasi tergantung pada jenis kluster HDInsight Anda.

Pemetaan tabel log

Integrasi Azure Monitor baru mengimplementasikan tabel baru di ruang kerja Analitik Log. Tabel berikut ini memperlihatkan pemetaan tabel log dari integrasi Azure Monitor klasik ke yang baru.

Kolom Tabel baru memperlihatkan nama tabel baru. Baris Deskripsi menjelaskan jenis log/metrik yang tersedia dalam tabel ini. Kolom tabel Klasik adalah daftar semua tabel dari integrasi Azure Monitor klasik yang datanya sekarang ada di tabel baru.

Catatan

Beberapa tabel benar-benar baru dan tidak berdasarkan tabel sebelumnya.

Tabel beban kerja umum

Tabel Baru Deskripsi Tabel klasik
HDInsightAmbariSystemMetrics Metrik sistem yang dikumpulkan dari Ambari. Metrik sekarang berasal dari setiap node di klaster (kecuali untuk node tepi) dan bukan hanya dua headnode. Setiap metrik sekarang menjadi kolom dan setiap metrik dilaporkan sekali per rekaman. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Pemberitahuan Kluster Ambari dari setiap simpul dalam kluster (kecuali untuk simpul tepi). Setiap peringatan adalah rekaman dalam tabel ini. metrics_cluster_alerts_CL
HDInsightSecurityLogs Catatan dari Audit Ambari dan Log Autentikasi. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Semua rekaman dari log Audit Ranger untuk kluster ESP. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Informasi audit simpul Gateway. Format yang sama dengan tabel klasik, dan masih terletak di bagian Log Kustom. log_gateway_Audit_CL

Beban kerja Spark

Catatan

Tabel terkait aplikasi Spark telah diganti dengan 11 tabel Spark baru yang memberikan informasi lebih mendalam tentang beban kerja Spark Anda.

Tabel Baru Deskripsi Tabel klasik
HDInsightSparkLogs Semua log yang terkait dengan Spark dan komponen terkait: Livy dan Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkAplikasiEvents Informasi peristiwa untuk Aplikasi Spark termasuk waktu Pengiriman dan Penyelesaian, ID Aplikasi, dan AppName. Berguna untuk melacak kapan aplikasi dimulai dan diselesaikan.
HDInsightSparkBlockManagerEvents Informasi peristiwa yang terkait dengan Block Manager Spark. Menyertakan informasi seperti penggunaan memori pelaksana.
HDInsightSparkEnvironmentEvents Informasi peristiwa yang terkait dengan Lingkungan yang dijalankan aplikasi termasuk, Mode Penyebaran Spark, Master, dan informasi tentang Pelaksana.
HDInsightSparkExecutorEvents Informasi peristiwa tentang penggunaan Spark Executor untuk oleh Aplikasi.
HDInsightSparkExtraEvents Informasi peristiwa yang tidak sesuai dengan tabel Spark lainnya.
HDInsightSparkJobEvents Informasi tentang Pekerjaan Spark termasuk waktu mulai dan berakhir, hasil, dan tahap terkait.
HDInsightSparkSqlExecutionEvents Informasi peristiwa tentang Kueri Spark SQL termasuk info dan deskripsi paket serta waktu mulai dan berakhir.
HDInsightSparkStageEvents Informasi peristiwa untuk Tahapan Spark termasuk waktu mulai dan selesai, status kegagalan, dan informasi eksekusi terperinci.
HDInsightSparkStageTaskAccumulables Metrik performa untuk tahap dan tugas.
HDInsightTaskEvents Informasi peristiwa untuk Tugas Spark termasuk waktu mulai dan selesai, tahap terkait, status eksekusi, dan jenis tugas.
HDInsightJupyterNotebookEvents Informasi peristiwa untuk Jupyter Notebooks.

Beban kerja Hadoop/YARN

Tabel Baru Deskripsi Tabel klasik
HDInsightHadoopAndYarnMetrics Metrik JMX dari kerangka kerja Hadoop dan YARN. Berisi semua metrik JMX yang sama dengan tabel Log Kustom sebelumnya, ditambah metrik yang lebih penting: Server Garis Waktu, Manajer Simpul, dan Server Riwayat Pekerjaan. Berisi satu metrik per rekaman. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Semua log yang dihasilkan dari kerangka kerja Hadoop dan YARN. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Beban kerja Hive/LLAP

Tabel Baru Deskripsi Tabel klasik
HDInsightHiveAndLLAPMetrics Metrik JMX dari kerangka kerja Apache Hive dan LLAP. Berisi semua metrik JMX yang sama dengan tabel Log Kustom sebelumnya, satu metrik per rekaman. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Log yang dihasilkan dari Apache Hive, LLAP, dan komponen terkaitnya: WebHCat dan Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Beban kerja Kafka

Tabel Baru Deskripsi Tabel klasik
HDInsightKafkaMetrics Metrik JMX dari Kafka. Berisi semua metrik JMX yang sama dengan tabel Log Kustom lama, ditambah metrik penting lainnya. Satu metrik per rekaman. metrics_kafka_CL
HDInsightKafkaLogs Semua log yang dihasilkan dari Kafka Brokers. log_kafkaserver_CL, log_kafkacontroller_CL

Beban kerja HBase

Tabel Baru Deskripsi Tabel klasik
HDInsightHBaseMetrics Metrik JMX dari HBase. Berisi semua metrik JMX yang sama dari tabel sebelumnya. Berbeda dengan tabel sebelumnya, setiap baris berisi satu metrik. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs Log dari HBase dan komponen terkaitnya: Phoenix dan HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Beban kerja Oozie

Tabel Baru Deskripsi Tabel klasik
HDInsightOozieLogs Semua log yang dihasilkan dari kerangka kerja Oozie. Log_oozie_CL

Log aktivitas

Tabel tertaut mencantumkan operasi yang dapat direkam dalam log aktivitas untuk layanan ini. Operasi ini adalah subset dari semua kemungkinan operasi penyedia sumber daya dalam log aktivitas.

Untuk informasi selengkapnya tentang skema entri log aktivitas, lihat Skema Log Aktivitas.

Konten terkait