جمع السجلات من الملفات النصية باستخدام عامل Azure Monitor واستيعابها إلى Microsoft Sentinel

مقالة
08/16/2024
ينطبق على:

Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

توضح هذه المقالة كيفية استخدام السجلات المخصصة عبر موصل AMA لتصفية السجلات واستيعابها بسرعة بتنسيق ملف نصي من تطبيقات الشبكة أو الأمان المثبتة على أجهزة Windows أو Linux.

تقوم العديد من التطبيقات بتسجيل البيانات إلى ملفات نصية بدلاً من خدمات التسجيل القياسية مثل سجل أحداث Windows أو سجل النظام. يمكنك استخدام عامل Azure Monitor (AMA) لجمع البيانات في ملفات نصية بتنسيقات غير قياسية من كل من أجهزة الكمبيوتر التي تعمل بنظامي التشغيل Windows وLinux. يمكن أن تؤثر AMA أيضا على التحويلات على البيانات في وقت التجميع، لتحليلها في حقول مختلفة.

لمزيد من المعلومات حول التطبيقات التي تحتوي Microsoft Sentinel على حلول لدعم جمع السجلات، راجع السجلات المخصصة عبر موصل بيانات AMA - تكوين استيعاب البيانات إلى Microsoft Sentinel من تطبيقات معينة.

لمزيد من المعلومات العامة حول استيعاب السجلات المخصصة من الملفات النصية، راجع تجميع السجلات من ملف نصي باستخدام عامل Azure Monitor.

هام

السجلات المخصصة عبر موصل بيانات AMA قيد المعاينة حاليا. راجع شروط الاستخدام التكميلية لمعاينات Microsoft Azure للحصول على شروط قانونية إضافية تنطبق على ميزات Azure الموجودة في الإصدار التجريبي أو المعاينة أو غير ذلك من المزايا التي لم يتم إصدارها بعد في التوفر العام.
يتوفر Microsoft Sentinel بشكل عام داخل النظام الأساسي لعمليات الأمان الموحدة من Microsoft في مدخل Microsoft Defender. للمعاينة، يتوفر Microsoft Sentinel في مدخل Defender بدون Microsoft Defender XDR أو ترخيص E5. لمزيد من المعلومات، راجع Microsoft Sentinel في مدخل Microsoft Defender.

المتطلبات الأساسية

قبل البدء، يجب أن يكون لديك الموارد المكونة والأذونات المناسبة المعينة، كما هو موضح في هذا القسم.

متطلبات Microsoft Sentinel

قم بتثبيت حل Microsoft Sentinel الذي يطابق تطبيقك وتأكد من أن لديك الأذونات لإكمال الخطوات الواردة في هذه المقالة. يمكنك العثور على هذه الحلول في مركز المحتوى في Microsoft Sentinel، وتتضمن جميعها السجلات المخصصة عبر موصل AMA .

للحصول على قائمة التطبيقات التي تحتوي على حلول في مركز المحتوى، راجع إرشادات محددة لكل تطبيق. إذا لم يكن هناك حل متوفر للتطبيق الخاص بك، فقم بتثبيت السجلات المخصصة عبر حل AMA .

لمزيد من المعلومات، راجع اكتشاف المحتوى الجاهز من Microsoft Sentinel وإدارته.

لديك حساب Azure مع أدوار التحكم في الوصول المستندة إلى الدور (Azure RBAC) التالية:

الدور مدمج	النطاق	السبب
- مساهم الجهاز الظاهري - Azure Connected Machine مسؤول المورد	الأجهزة الظاهرية (VM) مجموعات توسيع الجهاز الظاهري الخوادم الممكنة بواسطة Azure Arc	لتوزيع العامل
أي دور يتضمن الإجراء Microsoft.Resources/deployments/*	الاشتراك مجموعة الموارد قاعدة تجميع البيانات الموجودة	لنشر قوالب Azure Resource Manager
المساهم في المراقبة	الاشتراك مجموعة الموارد قاعدة تجميع البيانات الموجودة	لإنشاء أو تحرير قواعد جمع البيانات

متطلبات معاد توجيه السجل

تتم استضافة بعض التطبيقات المخصصة على الأجهزة المغلقة التي تتطلب إرسال سجلاتها إلى مجمع/معيد توجيه سجل خارجي. في مثل هذا السيناريو، تنطبق المتطلبات الأساسية التالية على معاد توجيه السجل:

يجب أن يكون لديك جهاز Linux ظاهري معين كمحول سجل لتجميع السجلات.
- إنشاء جهاز ظاهري يعمل بنظام Linux في مدخل Microsoft Azure.
- أنظمة تشغيل Linux المدعومة لعامل Azure Monitor.
إذا لم يكن معيد توجيه السجل الخاص بك جهازا ظاهريا ل Azure، فيجب أن يكون عامل Azure Arc Connected Machine مثبتا عليه.
يجب أن يكون الجهاز الظاهري لمحول سجل Linux مثبتا عليه Python 2.7 أو 3. قم باستخدام الأمر python --version أو python3 --version للتحقق. إذا كنت تستخدم Python 3، فتأكد من تعيينه كأمر افتراضي على الجهاز، أو قم بتشغيل البرامج النصية باستخدام الأمر "python3" بدلا من "python".
يجب أن يكون لدى معاد توجيه السجل إما البرنامج الخفي syslog-ng أو rsyslog ممكن.
للحصول على متطلبات المساحة لمحول السجل الخاص بك، راجع معيار أداء عامل Azure Monitor. يمكنك أيضا مراجعة منشور المدونة هذا، والذي يتضمن تصميمات لاستيعاب قابل للتطوير.
يجب تكوين مصادر السجل وأجهزة الأمان والأجهزة لإرسال رسائل السجل الخاصة بهم إلى برنامج syslog الخفي لمعيد توجيه السجل بدلا من برنامج syslog الخفي المحلي الخاص بهم.

متطلبات أمان الجهاز

قم بتكوين أمان جهاز معاد توجيه السجل وفقا لنهج أمان مؤسستك. على سبيل المثال، قم بتكوين شبكتك لتتوافق مع نهج أمان شبكة الشركة وتغيير المنافذ والبروتوكولات في البرنامج الخفي لتتوافق مع متطلباتك. لتحسين تكوين أمان الجهاز، أو تأمين الجهاز الظاهري في Azure، أو مراجعة أفضل الممارسات هذه لأمان الشبكة.

إذا كانت أجهزتك ترسل سجلات عبر TLS، على سبيل المثال، معيد توجيه السجل الخاص بك في السحابة، فأنت بحاجة إلى تكوين البرنامج الخفي syslog (rsyslog أو syslog-ng) للاتصال في TLS. لمزيد من المعلومات، راجع:

تكوين موصل البيانات

تتضمن عملية الإعداد للسجلات المخصصة عبر موصل بيانات AMA الخطوات التالية:

إنشاء جدول الوجهة في Log Analytics (أو التتبع المتقدم إذا كنت في مدخل Defender).

يجب أن ينتهي اسم الجدول ب _CL ويجب أن يتكون من الحقلين التاليين فقط:
- TimeGenerated (من نوع DateTime): الطابع الزمني لإنشاء رسالة السجل.
- RawData (من النوع String): رسالة السجل بالكامل.
  (إذا كنت تجمع سجلات من معاد توجيه السجل وليس مباشرة من الجهاز الذي يستضيف التطبيق، فسم هذا الحقل الرسالة بدلا من RawData.)
تثبيت عامل Azure Monitor وإنشاء قاعدة تجميع البيانات (DCR) باستخدام أي من الطرق التالية:
- مدخل Azure أو Defender
- قالب Azure Resource Manager
إذا كنت تجمع السجلات باستخدام معاد توجيه السجل، فكون البرنامج الخفي syslog على هذا الجهاز للاستماع إلى الرسائل من مصادر أخرى، وفتح المنافذ المحلية المطلوبة. للحصول على التفاصيل، راجع تكوين معاد توجيه السجل لقبول السجلات.

حدد علامة التبويب المناسبة للحصول على الإرشادات.

مدخل Azure أو Defender
قالب Resource Manager

إنشاء قاعدة جمع البيانات (DCR)

للبدء، افتح إما السجلات المخصصة عبر موصل بيانات AMA في Microsoft Sentinel وأنشئ قاعدة تجميع بيانات (DCR).

بالنسبة إلى Microsoft Sentinel في مدخل Microsoft Azure، ضمن Configuration، حدد Data connectors.
بالنسبة إلى Microsoft Sentinel في مدخل Defender، حدد موصلات بيانات تكوين>Microsoft Sentinel>.
اكتب مخصص في مربع البحث . من النتائج، حدد السجلات المخصصة عبر موصل AMA .
حدد فتح صفحة الموصل في جزء التفاصيل.
في منطقة التكوين ، حدد +Create data collection rule.
في علامة التبويب Basic :
- اكتب اسم DCR.
- حدد Subscription الخاص بك.
- حدد مجموعة الموارد حيث تريد تحديد موقع DCR الخاص بك.
حدد Next : Resource>.

تعريف موارد الجهاز الظاهري

في علامة التبويب الموارد ، حدد الأجهزة التي تريد جمع السجلات منها. هذه إما الأجهزة التي تم تثبيت التطبيق عليها، أو أجهزة معاد توجيه السجل. إذا لم يظهر الجهاز الذي تبحث عنه في القائمة، فقد لا يكون جهاز Azure ظاهري مع تثبيت عامل Azure Connected Machine.

استخدم عوامل التصفية المتوفرة أو مربع البحث للعثور على الجهاز الذي تبحث عنه. قم بتوسيع اشتراك في القائمة لمشاهدة مجموعات الموارد الخاصة به، ومجموعة موارد لمشاهدة الأجهزة الظاهرية الخاصة بها.
حدد الجهاز الذي تريد جمع السجلات منه. تظهر خانة الاختيار بجوار اسم الجهاز الظاهري عند المرور فوقه.

إذا لم يكن لدى الأجهزة التي حددتها بالفعل عامل Azure Monitor مثبتا عليها، يتم تثبيت العامل عند إنشاء DCR ونشره.
راجع تغييراتك وحدد Next: Collect >.

تكوين DCR للتطبيق الخاص بك

في علامة التبويب تجميع، حدد نوع التطبيق أو الجهاز من المربع المنسدلة تحديد نوع الجهاز (اختياري)، أو اتركه كجدول جديد مخصص إذا لم يكن التطبيق أو الجهاز مدرجا.
إذا اخترت أحد التطبيقات أو الأجهزة المدرجة، يتم ملء حقل اسم الجدول تلقائيا باسم الجدول الصحيح. إذا اخترت جدولا جديدا مخصصا، أدخل اسم جدول ضمن اسم الجدول. يجب أن ينتهي الاسم باللاحقة _CL .
في حقل نمط الملف، أدخل المسار واسم الملف لملفات سجل النص المراد تجميعها. للعثور على أسماء الملفات والمسارات الافتراضية لكل تطبيق أو نوع جهاز، راجع إرشادات محددة لكل نوع تطبيق. ليس عليك استخدام أسماء الملفات أو المسارات الافتراضية، ويمكنك استخدام أحرف البدل في اسم الملف.
في حقل Transform ، إذا اخترت جدولا جديدا مخصصا في الخطوة 1، أدخل استعلام Kusto الذي يطبق تحويلا من اختيارك على البيانات.

إذا اخترت أحد التطبيقات أو الأجهزة المدرجة في الخطوة 1، يتم ملء هذا الحقل تلقائيا بالتحويل المناسب. لا تقم بتحرير التحويل الذي يظهر هناك. اعتمادا على النوع المختار، يجب أن تكون هذه القيمة واحدة مما يلي:
- source (الافتراضي - بدون تحويل)
- source | project-rename Message=RawData (للأجهزة التي ترسل السجلات إلى معاد التوجيه)
راجع التحديدات وحدد Next: Review + create.

مراجعة القاعدة وإنشاءها

بعد إكمال جميع علامات التبويب، راجع ما أدخلته وأنشئ قاعدة تجميع البيانات.

في علامة التبويب مراجعة وإنشاء ، حدد إنشاء.

يقوم الموصل بتثبيت عامل Azure Monitor على الأجهزة التي حددتها عند إنشاء DCR الخاص بك.
تحقق من الإعلامات في مدخل Microsoft Azure أو مدخل Microsoft Defender لمعرفة وقت إنشاء DCR وتثبيت العامل.
حدد تحديث في صفحة الموصل لمشاهدة DCR المعروض في القائمة.

تثبيت عامل Azure Monitor

اتبع الإرشادات المناسبة من وثائق Azure Monitor لتثبيت عامل Azure Monitor على الجهاز الذي يستضيف التطبيق الخاص بك، أو على معاد توجيه السجل الخاص بك. استخدم الإرشادات لنظام التشغيل Windows أو لنظام التشغيل Linux، حسب الاقتضاء.

إنشاء قواعد تجميع البيانات (DCRs) باستخدام واجهة برمجة تطبيقات استيعاب سجلات Azure Monitor. لمزيد من المعلومات، راجع قواعد جمع البيانات في Azure Monitor.

إنشاء قاعدة جمع البيانات

استخدم قالب ARM التالي لإنشاء DCR أو تعديله لتجميع ملفات سجل النص:

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

استبدل قيم {PLACE_HOLDER} بالقيم التالية:

Placeholder	القيمة‬
{DCR_NAME}	الاسم الذي تختاره لقاعدة تجميع البيانات. يجب أن يكون فريدا داخل مساحة العمل الخاصة بك.
{DCR_LOCATION}	المنطقة التي توجد فيها مجموعة الموارد التي تحتوي على DCR.
{TABLE_NAME}	اسم الجدول الوجهة في Log Analytics. يجب أن ينتهي ب `_CL`.
{LOCAL_PATH_FILE_1} (مطلوب)، {LOCAL_PATH_FILE_2} (اختياري)	المسارات وأسماء الملفات للملفات النصية التي تحتوي على السجلات التي تريد تجميعها. يجب أن تكون هذه على الجهاز حيث تم تثبيت عامل Azure Monitor.
{WORKSPACE_RESOURCE_PATH}	مسار مورد Azure لمساحة عمل Microsoft Sentinel.
{WORKSPACE_ID}	المعرف الفريد العمومي لمساحة عمل Microsoft Sentinel.

إقران DCR بعامل Azure Monitor

إذا قمت بإنشاء DCR باستخدام قالب ARM، فلا يزال يتعين عليك إقران DCR بالوكلاء الذين سيستخدمونه. يمكنك تحرير DCR في مدخل Microsoft Azure وتحديد العوامل كما هو موضح في تعريف موارد الجهاز الظاهري.

تكوين معاد توجيه السجل لقبول السجلات

إذا كنت تجمع سجلات من جهاز باستخدام معاد توجيه السجل، فكون البرنامج الخفي syslog على معاد توجيه السجل للاستماع إلى الرسائل من الأجهزة الأخرى، وفتح المنافذ المحلية الضرورية.

انسخ سطر الأوامر التالي:

sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py

سجل الدخول إلى جهاز إعادة توجيه السجل حيث قمت بتثبيت AMA للتو.
الصق الأمر الذي نسخته في الخطوة الأخيرة لتشغيل البرنامج النصي للتثبيت.
يقوم البرنامج النصي بتكوين rsyslog البرنامج الخفي أو syslog-ng لاستخدام البروتوكول المطلوب وإعادة تشغيل البرنامج الخفي. يفتح البرنامج النصي المنفذ 514 للاستماع إلى الرسائل الواردة في كل من بروتوكولات UDP وTCP. لتغيير هذا الإعداد، راجع ملف تكوين البرنامج الخفي syslog وفقا لنوع البرنامج الخفي الذي يعمل على الجهاز:
- Rsyslog: /etc/rsyslog.conf
- Syslog-ng: /etc/syslog-ng/syslog-ng.conf
إذا كنت تستخدم Python 3، ولم يتم تعيينه كأمر افتراضي على الجهاز، فاستبدل python3 python في الأمر الملصق. راجع متطلبات معاد توجيه السجل.

إشعار

لتجنب سيناريوهات القرص الكامل حيث لا يمكن للعامل العمل، نوصي بتعيين syslog-ng أو rsyslog التكوين لعدم تخزين السجلات غير الضرورية. يعطل سيناريو "القرص الكامل" وظيفة AMA المثبتة. لمزيد من المعلومات، راجع RSyslog أو Syslog-ng.

تكوين جهاز الأمان أو الجهاز

للحصول على إرشادات محددة لتكوين تطبيق الأمان أو الجهاز، راجع السجلات المخصصة عبر موصل بيانات AMA - تكوين استيعاب البيانات إلى Microsoft Sentinel من تطبيقات معينة

اتصل بموفر الحل للحصول على مزيد من المعلومات أو إذا كانت المعلومات غير متوفرة للجهاز أو الجهاز.

مشاركة عبر

جمع السجلات من الملفات النصية باستخدام عامل Azure Monitor واستيعابها إلى Microsoft Sentinel