مشاركة عبر

مرجع بيانات مراقبة Azure HDInsight

  • مقالة

تحتوي هذه المقالة على كافة معلومات مرجع المراقبة لهذه الخدمة.

راجع مراقبة HDInsight للحصول على تفاصيل حول البيانات التي يمكنك جمعها ل Azure HDInsight وكيفية استخدامها.

المقاييس

يسرد هذا القسم جميع مقاييس النظام الأساسي التي تم جمعها تلقائيا لهذه الخدمة. تعد هذه المقاييس أيضا جزءا من القائمة العمومية لجميع مقاييس النظام الأساسي المدعومة في Azure Monitor.

للحصول على معلومات حول استبقاء المقاييس، راجع نظرة عامة على مقاييس Azure Monitor.

المقاييس المدعومة ل Microsoft.HDInsight/clusters

يسرد الجدول التالي المقاييس المتوفرة لنوع مورد Microsoft.HDInsight/clusters.

  • قد لا تكون كافة الأعمدة موجودة في كل جدول.
  • قد تكون بعض الأعمدة خارج ناحية عرض الصفحة. حدد توسيع الجدول لعرض كافة الأعمدة المتوفرة.

عناوين الجدول

  • الفئة - مجموعة المقاييس أو التصنيف.
  • Metric - اسم عرض المقياس كما يظهر في مدخل Microsoft Azure.
  • الاسم في واجهة برمجة تطبيقات REST - اسم المقياس كما هو مشار إليه في واجهة برمجة تطبيقات REST.
  • الوحدة - وحدة القياس.
  • التجميع - نوع التجميع الافتراضي. القيم الصالحة: المتوسط (المتوسط)، الحد الأدنى (الحد الأدنى)، الحد الأقصى (الحد الأقصى)، الإجمالي (المجموع)، العدد.
  • - أبعاد الأبعاد المتوفرة للمقياس.
  • فواصل زمنية للحبوب - يتم فيها أخذ عينات من المقياس. على سبيل المثال، PT1M يشير إلى أن المقياس يتم أخذ عينات كل دقيقة، PT30M كل 30 دقيقة، PT1H كل ساعة، وما إلى ذلك.
  • تصدير DS - ما إذا كان المقياس قابلا للتصدير إلى سجلات Azure Monitor عبر إعدادات التشخيص. للحصول على معلومات حول تصدير المقاييس، راجع إنشاء إعدادات التشخيص في Azure Monitor.

الفئة: التوفر

Metric الاسم في واجهة برمجة تطبيقات REST الوحدة التجميع أبعاد الحبوب الزمنية تصدير DS
طلبات البوابة المصنفة

عدد طلبات البوابة حسب الفئات (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests عدد العدد، الإجمالي (المجموع) HttpStatus PT1M، PT1H، P1D ‏‏نعم‬
طلبات البوابة

عدد طلبات البوابة		 GatewayRequests عدد العدد، الإجمالي (المجموع) HttpStatus PT1M، PT1H، P1D ‏‏نعم‬
معدل طلب المستهلك لوكيل REST

عدد طلبات المستهلكين إلى وكيل Kafka REST		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond الإجمالي (المجموع) Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
طلبات المستهلك غير الناجحة لوكيل REST

استثناءات طلب المستهلك		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond الإجمالي (المجموع) Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
REST proxy Consumer RequestLatency

زمن انتقال الرسالة في طلب المستهلك من خلال وكيل Kafka REST		 KafkaRestProxy.ConsumerRequestTime.p95 مللي ثانية المتوسط Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
تراكم طلب المستهلك لوكيل REST

طول قائمة انتظار وكيل REST للمستهلك		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 مللي ثانية المتوسط Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
معدل نقل رسالة منتج وكيل REST

عدد رسائل المنتج من خلال وكيل Kafka REST		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond الإجمالي (المجموع) Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
معدل رسائل المستهلك لوكيل REST

عدد رسائل المستهلك من خلال وكيل Kafka REST		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond الإجمالي (المجموع) Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
اتصالات متزامنة لوكيل REST

عدد الاتصالات المتزامنة من خلال وكيل Kafka REST		 KafkaRestProxy.OpenConnections عدد الإجمالي (المجموع) Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
معدل طلب منتج وكيل REST

عدد طلبات المنتج إلى وكيل Kafka REST		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond الإجمالي (المجموع) Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
طلبات المنتج غير الناجحة لوكيل REST

استثناءات طلب المنتج		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond الإجمالي (المجموع) Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
REST proxy Producer RequestLatency

زمن انتقال الرسالة في طلب المنتج من خلال وكيل Kafka REST		 KafkaRestProxy.ProducerRequestTime.p95 مللي ثانية المتوسط Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
تراكم طلب منتج وكيل REST

طول قائمة انتظار وكيل REST للمنتج		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 مللي ثانية المتوسط Machine, Topic PT1M، PT1H، P1D ‏‏نعم‬
عدد العاملين النشطين

عدد العُمال النشطين		 NumActiveWorkers عدد المتوسط، الحد الأقصى، الحد الأدنى MetricName PT1M، PT1H، P1D ‏‏نعم‬
وحدة المعالجة المركزية المعلقة

طلبات المعالج المعلق في YARN		 PendingCPU عدد المتوسط، الحد الأقصى، الحد الأدنى <لا شيء> PT1M، PT1H، P1D ‏‏نعم‬
الذاكرة المعلقة

طلبات الذاكرة المعلقة في YARN		 PendingMemory عدد المتوسط، الحد الأقصى، الحد الأدنى <لا شيء> PT1M، PT1H، P1D ‏‏نعم‬

أبعاد المقاييس

للحصول على معلومات حول أبعاد القياس، راجع المقاييس متعددة الأبعاد.

تحتوي هذه الخدمة على الأبعاد التالية المقترنة بمقاييسها.

تتضمن أبعاد جدول Microsoft.HDInsight/clusters ما يلي:

  • HttpStatus
  • الجهاز
  • الموضوع
  • MetricName

سجلات الموارد

يسرد هذا القسم أنواع سجلات الموارد التي يمكنك جمعها لهذه الخدمة. يسحب القسم من قائمة جميع أنواع فئات سجلات الموارد المدعومة في Azure Monitor.

لا يستخدم HDInsight سجلات موارد Azure Monitor أو إعدادات التشخيص. يتم تجميع السجلات بواسطة أساليب أخرى، بما في ذلك استخدام عامل Log Analytics.

جداول سجلات Azure Monitor

يسرد هذا القسم جداول سجلات Azure Monitor ذات الصلة بهذه الخدمة، والتي تتوفر للاستعلام بواسطة Log Analytics باستخدام استعلامات Kusto. تحتوي الجداول على بيانات سجل الموارد وربما أكثر اعتمادا على ما يتم جمعه وتوجيهه إليها.

مجموعات HDInsight

Microsoft.HDInsight/Clusters

تختلف السجلات والمقاييس المتوفرة اعتمادا على نوع نظام مجموعة HDInsight.

تعيين جدول السجل

ينفذ تكامل Azure Monitor الجديد جداول جديدة في مساحة عمل Log Analytics. تظهر الجداول التالية تعيينات جدول السجل من تكامل Azure Monitor الكلاسيكي إلى الجديد.

يعرض عمود الجدول الجديد اسم الجدول الجديد. يصف صف الوصف نوع السجلات/المقاييس المتوفرة في هذا الجدول. عمود الجدول الكلاسيكي هو قائمة بجميع الجداول من تكامل Azure Monitor الكلاسيكي الذي توجد بياناته الآن في الجدول الجديد.

إشعار

بعض الجداول جديدة تماما ولا تستند إلى الجداول السابقة.

جداول حمل العمل العامة

جدول جديد ‏‏الوصف جدول كلاسيكي
HDInsightAmbariSystemMetrics مقاييس النظام التي تم جمعها من Ambari. تأتي المقاييس الآن من كل عقدة في المجموعة (باستثناء عقد الحافة) بدلاً من العقدتين الرئيسيتين فقط. أصبح كل مقياس الآن يمثل عمودًا ويتم الإبلاغ عن كل مقياس مرة واحدة لكل سجل. metrics_cpu_nice_cl، metrics_cpu_system_cl، metrics_cpu_user_cl، metrics_memory_cache_CL، metrics_memory_swap_CL، metrics_memory_total_CLmetrics_memory_buffer_CL، metrics_load_1min_CL، metrics_load_cpu_CL، metrics_load_nodes_CL، metrics_load_procs_CL، metrics_network_in_CL، metrics_network_out_CL
HDInsightAmbariClusterAlerts تنبيهات نظام مجموعة Ambari من كل عقدة في نظام المجموعة (باستثناء عقد الحافة). كل تنبيه هو سجل في هذا الجدول. metrics_cluster_alerts_CL
HDInsightSecurityLogs سجلات من تدقيق Ambari وسجلات المصادقة. log_ambari_audit_CL، log_auth_CL
HDInsightRangerAuditLogs جميع السجلات من سجل تدقيق Ranger لمجموعات ESP. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL معلومات تدقيق عقد البوابة. تنسيق الجدول الكلاسيكي نفسه، ولا يزال موجودا في قسم السجلات المخصصة. log_gateway_Audit_CL

جمل عمل Spark

إشعار

تم استبدال الجداول ذات الصلة بتطبيق Spark ب 11 جدول Spark جديد يوفر المزيد من المعلومات المتعمقة حول أحمال عمل Spark.

جدول جديد ‏‏الوصف جدول كلاسيكي
HDInsightSparkLogs جميع السجلات المتعلقة ب Spark ومكونها المرتبط: Livy وJupyter. log_livy_CL، log_jupyter_CL، log_spark_CL، log_sparkappsexecutors_CL، log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents معلومات الحدث لتطبيقات Spark بما في ذلك وقت الإرسال والإكمال ومعرف التطبيق واسم التطبيق. مفيد لتتبع وقت بدء التطبيقات وإكمالها.
HDInsightSparkBlockManagerEvents معلومات الحدث المتعلقة ب Block Manager الخاص ب Spark. يتضمن معلومات مثل استخدام ذاكرة المنفذ.
HDInsightSparkEnvironmentEvents معلومات الحدث المتعلقة بالبيئة التي ينفذها التطبيق في بما في ذلك وضع نشر Spark والماجستير ومعلومات حول المنفذ.
HDInsightSparkExecutorEvents معلومات الحدث حول استخدام منفذ Spark لأحد التطبيقات.
HDInsightSparkExtraEvents معلومات الحدث التي لا تتناسب مع أي جدول Spark آخر.
HDInsightSparkJobEvents معلومات حول وظائف Spark بما في ذلك أوقات البدء والانتهاء والنتيجة والمراحل المرتبطة بها.
HDInsightSparkSqlExecutionEvents معلومات الحدث على استعلامات Spark SQL بما في ذلك معلومات خطتها ووصفها وأوقات البدء والانتهاء.
HDInsightSparkStageEvents معلومات الحدث لمراحيل Spark بما في ذلك أوقات البدء والإكمال وحالة الفشل ومعلومات التنفيذ التفصيلية.
HDInsightSparkStageTaskAccumulables مقاييس الأداء للمراحل والمهام.
HDInsightTaskEvents معلومات الحدث لمهام Spark بما في ذلك وقت البدء والإكمال والمراحل المقترنة وحالة التنفيذ ونوع المهمة.
HDInsightJupyterNotebookEvents معلومات الحدث لدفاتر ملاحظات Jupyter.

حمل عمل Hadoop/YARN

جدول جديد ‏‏الوصف جدول كلاسيكي
HDInsightHadoopAndYarnMetrics مقاييس JMX من أطر عمل Hadoop وYARN. يحتوي على جميع مقاييس JMX نفسها مثل جداول السجلات المخصصة السابقة، بالإضافة إلى مقاييس أكثر أهمية: خادم المخطط الزمني وإدارة العقدة وخادم محفوظات الوظيفة. يحتوي على مقياس واحد لكل سجل. metrics_resourcemanager_clustermetrics_CL، metrics_resourcemanager_jvm_CL، metrics_resourcemanager_queue_root_CL، metrics_resourcemanager_queue_root_joblauncher_CL، metrics_resourcemanager_queue_root_default_CL، metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs جميع السجلات التي تم إنشاؤها من أطر عمل Hadoop وYRN. log_mrjobsummary_CL، log_resourcemanager_CL، log_timelineserver_CL، log_nodemanager_CL

حمل عمل Hive/LLAP

جدول جديد ‏‏الوصف جدول كلاسيكي
HDInsightHiveAndLLAPMetrics مقاييس JMX من أطر عمل Hive و LLAP. يحتوي على جميع مقاييس JMX نفسها مثل جداول السجلات المخصصة السابقة، مقياس واحد لكل سجل. llap_metrics_hiveserver2_CL، llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL، llap_metrics_llap_daemon_info_CL، llap_metrics_buddy_allocator_info_CL، llap_metrics_deamon_jvm_CL، llap_metrics_io_CL، llap_metrics_executor_metrics_CL، llap_metrics_metricssystem_stats_CL، llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs السجلات التي تم إنشاؤها من Hive و LLAP ومكوناتها ذات الصلة: WebHCat وZeppelin. log_hivemetastore_CL log_hiveserver2_CL، log_hiveserve2interactive_CL، log_webhcat_CL، log_zeppelin_zeppelin_CL

حمل عمل Kafka

جدول جديد ‏‏الوصف جدول كلاسيكي
HDInsightKafkaMetrics مقاييس JMX من Kafka. يحتوي على جميع مقاييس JMX نفسها مثل جداول السجلات المخصصة القديمة، بالإضافة إلى المقاييس الهامة الأخرى. مقياس واحد لكل سجل. metrics_kafka_CL
HDInsightKafkaLogs جميع السجلات التي تم إنشاؤها من وسطاء Kafka. log_kafkaserver_CL، log_kafkacontroller_CL

حمل عمل HBase

جدول جديد ‏‏الوصف جدول كلاسيكي
HDInsightHBaseMetrics مقاييس JMX من HBase. يحتوي على جميع مقاييس JMX نفسها من الجداول السابقة. على النقيض من الجداول السابقة، يحتوي كل صف على مقياس واحد. metrics_regionserver_CL، metrics_regionserver_wal_CL، metrics_regionserver_ipc_CL، metrics_regionserver_os_CL، metrics_regionserver_replication_CL، metrics_restserver_CL، metrics_restserver_jvm_CL، metrics_hmaster_assignmentmanager_CL، metrics_hmaster_ipc_CL، metrics_hmaser_os_CL، metrics_hmaster_balancer_CL، metrics_hmaster_jvm_CL، metrics_hmaster_CL، metrics_hmaster_fs_CL
HDInsightHBaseLogs سجلات من HBase ومكوناتها ذات الصلة: Phoenix وHDFS. log_regionserver_CL، log_restserver_CL، log_phoenixserver_CL، log_hmaster_CL، log_hdfsnamenode_CL، log_garbage_collector_CL

حمل عمل Oozie

جدول جديد ‏‏الوصف جدول كلاسيكي
HDInsightOozieLogs جميع السجلات التي تم إنشاؤها من إطار عمل Oozie. Log_oozie_CL

سجل النشاط

يسرد الجدول المرتبط العمليات التي يمكن تسجيلها في سجل النشاط لهذه الخدمة. هذه العمليات هي مجموعة فرعية من جميع عمليات موفر الموارد المحتملة في سجل النشاط.

لمزيد من المعلومات حول مخطط إدخالات سجل النشاط، راجع مخطط سجل النشاط.

المحتوى ذو الصلة