دليل ترحيل Log Analytics لمجموعات Azure HDInsight
Azure HDInsight هي عبارة عن خدمة مجموعة مُدارة جاهزة للمؤسسات. تدير هذه الخدمة أطر عمل تحليلية مفتوحة المصدر مثل Apache Spark وHadoop وHBase و Kafka على Azure. تم دمج Azure HDInsight مع خدمات Azure الأخرى لتمكين العملاء من إدارة تطبيقات تحليلات البيانات الضخمة بشكل أفضل.
يوفر Log Analytics أداة في مدخل Microsoft Azure لتحرير وتشغيل استعلامات السجل. تأتي الاستعلامات من البيانات التي تم جمعها بواسطة Azure Monitor Logs وتحليل نتائجها بشكل تفاعلي. يمكن للعملاء استخدام استعلامات Log Analytics لاسترداد السجلات التي تطابق معايير محددة. كما يمكنهم أيضًا استخدام الاستعلامات لتحديد الاتجاهات وتحليل الأنماط وتقديم نتائج تحليلات حول بياناتهم.
أتاحت خدمة Azure HDInsight التكامل مع Log Analytics في 2017. اعتمد عملاء HDInsight بسرعة هذه الميزة لمراقبة مجموعات HDInsight لديهم والاستعلام عن السجلات في المجموعات. أثناء زيادة اعتماد هذه الميزة، قدم العملاء ملاحظات حول التكامل:
- لا يمكن للعملاء تحديد السجلات التي سيتم تخزينها، وقد يصبح تخزين جميع السجلات مكلفًا.
- لا تتبع سجلات مخططات HDInsight الحالية اصطلاحات تسمية متسقة وبعض الجداول متكررة.
- يريد العملاء لوحة معلومات جاهزة لمراقبة KPI لمجموعات HDInsight لديهم بسهولة ويسر.
- يجب على العملاء الانتقال إلى Log Analytics لتشغيل استعلامات بسيطة.
نظرة عامة على الحل
بالنظر إلى ملاحظات العملاء، استثمر فريق Azure HDInsight في التكامل مع Azure Monitor. يتيح هذا التكامل ما يلي:
- مجموعة جديدة من الجداول في مساحة عمل Log Analytics الخاصة بالعملاء. يتم تسليم الجداول الجديدة من خلال مسار جديد لـ Log Analytics .
- موثوقية أعلى
- تسليم سجل أسرع
- تجميع الجدول المستند إلى الموارد والاستعلامات الافتراضية
فوائد تكامل Azure Monitor الجديد
يوضح هذا المستند التغييرات التي تم إجراؤها على تكامل Azure Monitor ويوفر أفضل الممارسات لاستخدام الجداول الجديدة.
المخططات المعاد تصميمها: يعد تنسيق المخطط لتكامل Azure Monitor الجديد منظمًا تنظيمًا مثاليًا ويسهل فهمه. هناك مخططات أقل بمقدار الثلثين لإزالة أكبر قدر ممكن من الغموض في المخططات القديمة.
التسجيل الانتقائي: هناك سجلات ومقاييس متاحة من خلال Log Analytics. لمساعدتك في توفير تكاليف المراقبة، سنطلق ميزة تسجيل انتقائي جديدة. استخدم هذه الميزة لتشغيل السجلات ومصادر المقاييس المختلفة وإيقافها. باستخدام هذه الميزة، سيتعين عليك فقط الدفع مقابل ما تستخدمه. لمزيد من التفاصيل، راجع التسجيل الانتقائي
تكامل مدخل نظام مجموعة السجلات: يعد جزء السجلات جديدًا في مدخل نظام مجموعة HDInsight. يمكن لأي شخص يتمتع بحق الوصول إلى نظام المجموعة الانتقال إلى هذا الجزء للاستعلام عن أي جدول يقوم مورد نظام المجموعة بإرسال السجلات إليه. لا يحتاج المستخدمون إلى الوصول إلى مساحة عمل Log Analytics بعد الآن لمشاهدة السجلات الخاصة بمورد نظام مجموعة معين.
تكامل مدخل نظام مجموعة Insights: يعد جزء Insights أيضًا جديدًا في مدخل نظام مجموعة HDInsight. بعد تمكين تكامل Azure Monitor الجديد، يمكنك تحديد جزء Insights وسيتم تلقائيًا ملء السجلات الجاهزة ولوحة معلومات المقاييس الخاصة بنوع المجموعة. تم تجديد لوحات المعلومات هذه من حلول Azure السابقة. كما تقدم لك نتائج تحليلات معمّقة حول أداء وسلامة مجموعتك.
سيناريوهات العملاء
تصف الأقسام التالية كيف يمكن للعملاء استخدام Azure Monitor Integration الجديد في سيناريوهات مختلفة. يوضح قسم تنشيط Azure Monitor Integration الجديد كيفية تنشيط واستخدام تكامل Azure Monitor الجديد. يتضمن قسم الترحيل من Azure Monitor Classic إلى قسم Azure Monitor Integration الجديد معلومات إضافية للمستخدمين الذين يعتمدون على Azure Monitor Integration القديم.
إشعار
المجموعات التي تم إنشاؤها في أواخر سبتمبر 2020 وما بعده هي فقط المؤهلة لـ Azure Monitor Integration الجديد.
تنشيط Azure Monitor Integration الجديد
إشعار
يجب أن يكون لديك مساحة عمل Log Analytics تم إنشاؤها في اشتراك يمكنك الوصول إليه قبل القيام بتمكين التكامل الجديد. وللحصول على مزيدٍ من المعلومات حول كيفية إنشاء مساحة عمل Log Analytics، راجع إنشاء مساحة عمل Log Analytics في مدخل Microsoft Azure.
قم بتنشيط التكامل الجديد بالانتقال إلى صفحة مدخل نظام المجموعة لديك والتمرير لأسفل القائمة الموجودة على اليسار حتى تصل إلى القسم Monitoring. في القسم Monitoring، حدد Monitor integration. بعد ذلك، حدد Enable ويمكنك اختيار مساحة عمل Log Analytics التي تريد إرسال سجلاتك إليها. حدد Save بمجرد اختيار مساحة العمل.
إمكانية الوصول إلى الجداول الجديدة
هناك طريقتان يمكنك من خلالهما الوصول إلى الجداول الجديدة.
النهج 1:
تتمثل الطريقة الأولى للوصول إلى الجداول الجديدة في الوصول من خلال مساحة عمل Log Analytics.
- انتقل إلى مساحة عمل Log Analytics التي حددتها عند تمكين التكامل.
- قم بالتمرير لأسفل في القائمة الموجودة على الجانب الأيسر من الشاشة وحدد Logs. سينبثق محرر استعلام السجلات مع قائمة بجميع الجداول الموجودة في مساحة العمل.
- إذا تم تجميع الجداول حسب Solution، فستظهر جداول HDI الجديدة ضمن القسم Logs Management.
- إذا قمت بتجميع الجداول حسب Resource Type، فستجد الجداول ضمن القسم HDInsight Clusters كما هو موضح في الصورة أدناه.
إشعار
توضح هذه العملية كيفية الوصول إلى السجلات في عملية التكامل القديمة. يتطلب هذا أن يكون لدى المستخدم حق الوصول إلى مساحة العمل.
النهج 2:
تتمثل الطريقة الثانية للوصول إلى الجداول الجديدة في الوصول من خلال الوصول إلى بوابة الكتلة.
- انتقل إلى صفحة مدخل نظام المجموعة لديك وقم بالتمرير لأسفل القائمة على الجانب الأيسر حتى ترى القسم Monitoring. في هذا القسم، سترى جزء Logs.
- حدد Logs ويظهر محرر استعلام سجلات. يحتوي المحرر على جميع السجلات المرتبطة بمورد نظام المجموعة. لقد أرسلت السجلات إلى مساحة عمل Log Analytics عند تمكين التكامل. توفر هذه السجلات الوصول المستند إلى الموارد (RBAC). وباستخدام RBAC، يمكن للمستخدمين الذين يتمتعون بإمكانية الوصول إلى نظام المجموعة ولكن ليس إلى مساحة العمل رؤية السجلات المرتبطة بنظام المجموعة.
للمقارنة، توضح لقطات الشاشة التالية طريقة عرض مساحة العمل للتكامل القديم وطريقة عرض مساحة عمل التكامل الجديدة:
طريقة عرض مساحة عمل التكامل القديمة
طريقة عرض مساحة عمل التكامل الجديدة
استخدام الجداول الجديدة
يمكن أن تساعدك عمليات التكامل هذه على استخدام الجداول الجديدة:
الاستعلامات الافتراضية لاستخدامها مع الجداول الجديدة
في محرر استعلام السجلات، اضبط زر التبديل على Queries أعلى قائمة الجداول. تأكد من تجميع الاستعلامات حسب Resource Type وأنه لا يوجد عامل تصفية معين لنوع مورد آخر غير HDInsight Clusters. توضح الصورة التالية كيف تبدو النتائج عند تجميعها حسب Resource Type وتصفيتها لـ HDInsight Clusters. ما عليك سوى اختيار واحدة وستظهر في محرر استعلام السجلات. تأكد من قراءة التعليقات المضمنة في الاستعلامات، حيث يطلب منك البعض إدخال بعض المعلومات، مثل اسم نظام المجموعة لديك، حتى يتم تشغيل الاستعلام بنجاح.
إنشاء الاستعلام
يمكنك إدخال استعلاماتك في محرر استعلام السجلات. لن تكون الاستعلامات المستخدمة في الجداول القديمة صالحة في الجداول الجديدة لأن العديد من الجداول الجديدة بها مخططات جديدة ومحسنّة. تعد الاستعلامات الافتراضية مراجع رائعة لتكوين الاستعلامات في الجداول الجديدة.
الرؤى
نتائج التحليلات هي عبارة عن لوحات معلومات عرض مرئي خاصة بنظام المجموعة التي تم إنشاؤها باستخدام Azure Workbooks. تمنحك لوحات المعلومات هذه رسومات بيانية مفصلة وتصورات لكيفية عمل نظام المجموعة. تحتوي لوحات المعلومات على أقسام لكل نوع نظام مجموعة، وYARN، ومقاييس النظام، وسجلات المكونات. يمكنك الوصول إلى لوحة معلومات نظام المجموعة عن طريق زيارة صفحة نظام المجموعة في المدخل، والتمرير لأسفل إلى قسم Monitoring، وتحديد جزء Insights. يتم تحميل لوحة المعلومات تلقائيًا إذا قمت بتمكين التكامل الجديد. انتظر بضع ثوانٍ حتى يتم تحميل الرسوم البيانية أثناء الاستعلام عن السجلات.
مصنفات Azure المخصصة
يمكنك إنشاء مصنفات Azure باستخدام الرسوم البيانية والعروض المرئية المخصصة. في صفحة مدخل نظام المجموعة، قم بالتمرير لأسفل إلى القسم Monitoring وحدد الجزء Workbooks في القائمة الموجودة على اليسار. يمكنك إما البدء في استخدام قالب فارغ أو استخدام أحد القوالب ضمن القسم HDInsight Clusters. هناك قالب لكل نوع نظام مجموعة. القوالب تكون مفيدة إذا كنت ترغب في حفظ التخصيصات المحددة التي لا توفرها نتائج تحليلات HDINSight الافتراضية. لا تتردد في إرسال طلبات للحصول على ميزات جديدة في نتائج تحليلات HDINSIGHT إذا كنت تشعر بأنها تفتقر إلى شيء ما.
التنبيهات
يمكنك إضافة تنبيهات مخصصة إلى نُظم المجموعات ومساحات العمل لديك في محرر استعلام السجل. انتقل إلى محرر استعلام السجلات من خلال تحديد جزء Logs من نظام المجموعة أو مدخل مساحة العمل لديك. قم بتشغيل الاستعلام ثم حدد New Alert Rule كما هو موضح في لقطة الشاشة التالية. لمزيد من المعلومات، اقرأ حول تكوين التنبيهات.
الترحيل إلى تكامل Azure Monitor الجديد
إذا كنت تستخدم تكامل Azure Monitor الكلاسيكي، فأنت بحاجة إلى إجراء بعض التعديلات على تنسيقات الجدول الجديدة بعد التبديل إلى تكامل Azure Monitor الجديد.
لتمكين تكامل Azure Monitor الجديد، اتبع الخطوات الموضحة في القسم Activate a new Azure Monitor integration.
تشغيل الاستعلامات في Log Analytics
نظرا لأن تنسيق الجدول الجديد مختلف عن السابق، يجب إعادة صياغة استفساراتك حتى تتمكن من استخدام جداولنا الجديدة. بمجرد تمكين تكامل Azure Monitor الجديد، يمكنك تصفح الجداول والمخططات لتحديد الحقول المستخدمة في استفساراتك القديمة.
نحن نقدم جدول تعيين بين الجدول القديم إلى الجدول الجديد لمساعدتك في العثور بسرعة على الحقول الجديدة التي تحتاج إليها لاستخدامها لترحيل لوحات المعلومات والاستفسارات.
الاستعلامات الافتراضية: لقد أنشأنا الاستفسارات الافتراضية التي توضح كيفية استخدام الجداول الجديدة للحالات الشائعة. كما توضح الاستعلامات الافتراضية أيضًا المعلومات المتوفرة في كل جدول. يمكنك الوصول إلى الاستعلامات الافتراضية باتباع الإرشادات الواردة في القسم الاستعلامات الافتراضية للاستخدام مع الجداول الجديدة في هذه المقالة.
تحديث لوحات المعلومات للحصول على نُظم مجموعات HDINSIGHT
إذا كنت قد أنشأت لوحات معلومات متعددة لمراقبة نُظم مجموعات أجهزة HDINSIGHT، فإنك بحاجة إلى ضبط الاستعلام بعيدًا عن الجدول بمجرد تمكين تكامل Azure Monitor الجديد. قد يتغير اسم الجدول أو اسم الحقل في التكامل الجديد، ولكن يتم تضمين جميع المعلومات التي لديك في التكامل القديم.
راجع جدول التعيين بين الجدول / المخطط القديم إلى الجدول / المخطط الجديد لتحديث الاستعلام بعيدًا عن لوحات المعلومات.
لوحات المعلومات غير المضمنة
كما قمنا بتحسين لوحات المعلومات غير المضمنة على مستوى نظام المجموعة. يوجد زر في أعلى يمين كل رسم بياني يسمح لك برؤية الاستعلام الأساسي الذي ينتج المعلومات. الرسم البياني هو وسيلة رائعة للتعرف على كيفية استفسار الجداول الجديدة بفعالية.
تمكين كلا التكاملين على تسريع الترحيل
يمكنك تنشيط كل من تكامل Azure Monitor الكلاسيكية الجديدة في نفس الوقت على نظام مجموعة مؤهلة لكلا التكاملين للترحيل إلى تكامل Azure Monitor الجديد بسرعة. يتوفر التكامل الجديد لجميع نُظم المجموعات التي تم إنشاؤها بعد منتصف شهر سبتمبر 2020.
وبهذه الطريقة، يمكنك بسهولة إجراء مقارنة بالإضافة إلى الاستعلامات التي تستخدمها.
تمكين التكامل الكلاسيكي
إذا كنت تستخدم نظام مجموعة تم إنشاؤها بعد منتصف سبتمبر 2020، فسترى تجربة المدخل الجديد في مدخل نظام المجموعة لديك. لتمكين المسار الجديد، يمكنك اتباع الخطوات الموضحة في قسم تنشيط Azure Monitor الجديد. لتنشيط التكامل الكلاسيكي على نظام المجموعة هذه، انتقل إلى صفحة مدخل نظام المجموعة. حدد جزء Monitor integration في القسم Monitoring من القائمة على الجانب الأيسر من صفحة مدخل نظام المجموعة. حدد Configure Azure Monitor for HDInsight clusters integration (classic). يظهر سياق جانبي مع تبديل يمكنك استخدامه لتمكين تكامل Azure Monitor الكلاسيكي وتعطيله.
إشعار
لن ترى أي سجلات أو مقاييس من التكامل الكلاسيكي من خلال صفحة "logs and Insights" في مدخل "Cluster". لا تتوفر سوى سجلات التكامل والمقاييس الجديدة في هذه المواقع.
إنشاء أنظمة مجموعات جديدة مع تكامل Azure Monitor الكلاسيكي غير متوفر بعد 1 يوليو 2023.
إصدار ودعم الخط الزمني
- لا يتوفر تكامل Azure Monitoring الكلاسيكي بعد 15 أكتوبر 2021. لا يمكنك تمكين تكامل Azure Monitor الكلاسيكي بعد ذلك التاريخ.
- لن يعمل استيعاب تكامل Azure Monitoring الكلاسيكي بعد 31 أغسطس 2024.
- لن يتم دعم مجموعات HDInsight مع تكامل Azure Monitor (معاينة) بعد 1 فبراير 2025.
- سيستمر تكامل (معاينة) Azure Monitor الحالي في العمل، حتى 31 يناير 2025. سيكون هناك دعم محدود لتكامل Azure Monitor (معاينة).
- إذا تطلب الحل تغيير الصورة، فيجب على العملاء الانتقال إلى التكامل الجديد.
- لن تقوم Microsoft بتصحيح مجموعات تكامل Azure Monitor (معاينة) باستثناء مشكلات الأمان الهامة.
الملحق: تعيين الجدول
للحصول على تعيينات جدول السجل من تكامل Azure Monitor الكلاسيكي إلى الجديد، راجع تعيين جدول السجل.