[مهمل] استخدام Logstash لدفق السجلات باستخدام HTTP Data Collection API (قديم)

باستخدام المكون الإضافي المسؤول عن الإخراج بنظام Microsoft Sentinel لمحرك مجموعة بيانات Logstash، يُمكنك إرسال أي نوع سجل تريده عبر Logstash مباشرةً إلى مساحة عمل «تحليل السجل» في نظام Microsoft Sentinel. سيتم إرسال سجلاتك إلى جدول مخصص تحدده باستخدام المكون الإضافي للإخراج. يستخدم هذا الإصدار من المكون الإضافي واجهة برمجة تطبيقات مجموعة بيانات HTTP.

لمعرفة المزيد حول العمل باستخدام محرك جمع بيانات Logstash، راجع بدء استخدام Logstash.

نظرة عامة

البنية والخلفية

يتكون محرك Logstash من ثلاثة مكونات:

• المكونات الإضافية للإدخال: تجميع مخصص للبيانات من مصادر مختلفة.
• تصفية المكونات الإضافية: معالجة البيانات وتطبيعها وفقًا لمعايير محددة.
• المكونات الإضافية للإخراج: إرسال مخصص للبيانات المجمعة والمعالجة إلى وجهات مختلفة.

يرسل المكون الإضافي لإخراج Microsoft Sentinel لـ Logstash بيانات بتنسيق JSON إلى مساحة عمل Log Analytics، باستخدام Log Analytics HTTP Data Collector REST API. يتم استيعاب البيانات في سجلات مخصصة.

• تعرف على المزيد حول Log Analytics REST API.
• تعرف على المزيد حول السجلات المخصصة.

توزيع المكون الإضافي لإخراج Microsoft Sentinel في Logstash

الخطوة 1: التثبيت

يتوفر المكون الإضافي لإخراج Microsoft Sentinel في مجموعة Logstash.

• اتبع الإرشادات الموجودة في مستند Logstash العمل باستخدام المكونات الإضافية لتثبيت المكون الإضافي microsoft-logstash-output-azure-loganalytics.

• إذا لم يكن نظام Logstash يمكنه الوصول إلى الإنترنت، فاتبع الإرشادات الواردة في مستند Logstash إدارة المكون الإضافي بدون اتصال لإعداد حزمة المكونات الإضافية بدون اتصال واستخدامها. (سيتطلب منك ذلك بناء نظام Logstash آخر مع الوصول إلى الإنترنت).

الخطوة 2: التكوين

استخدم المعلومات الواردة في مستند Logstash بنية ملف تكوين وأضف المكون الإضافي لإخراج Microsoft Sentinel إلى التكوين باستخدام المفاتيح والقيم التالية. (يظهر بناء جملة ملف التكوين المناسب بعد الجدول).

عينة من التكوينات

فيما يلي بعض نماذج التكوينات التي تستخدم القليل من الخيارات المختلفة.

• تكوين أساسي يستخدم أنبوب إدخال filebeat:

    input {
        beats {
            port => "5044"
        }
    }
    filter {
    }
    output {
        microsoft-logstash-output-azure-loganalytics {
          workspace_id => "<your workspace id>"
          workspace_key => "<your workspace key>"
          custom_log_table_name => "tableName"
        }
    }
  

• تكوين أساسي يستخدم أنبوب إدخال tcp:

    input {
        tcp {
            port => "514"
            type => syslog #optional, will effect log type in table
        }
    }
    filter {
    }
    output {
        microsoft-logstash-output-azure-loganalytics {
          workspace_id => "<your workspace id>"
          workspace_key =>  "<your workspace key>"
          custom_log_table_name => "tableName"
        }
    }
  

• التكوين متقدم:

    input {
        tcp {
            port => 514
            type => syslog
        }
    }
    filter {
        grok {
            match => { "message" => "<%{NUMBER:PRI}>1 (?<TIME_TAG>[0-9]{4}-[0-9]{1,2}-[0-9]{1,2}T[0-9]{1,2}:[0-9]{1,2}:[0-9]{1,2})[^ ]* (?<HOSTNAME>[^ ]*) %{GREEDYDATA:MSG}" }
        }
    }
    output {
        microsoft-logstash-output-azure-loganalytics {
            workspace_id => "<WS_ID>"
            workspace_key => "${WS_KEY}"
            custom_log_table_name => "logstashCustomTable"
            key_names => ['PRI','TIME_TAG','HOSTNAME','MSG']
            plugin_flush_interval => 5
        }
    } 
  

• تكوين أكثر تقدما لتحليل طابع زمني مخصص وسلسلة JSON من بيانات نصية غير منظمة وتسجيل مجموعة محددة من الحقول في Log Analytics باستخدام الطابع الزمني المستخرج:

    # Example log line below:
    # Mon Nov 07 20:45:08 2022: { "name":"_custom_time_generated", "origin":"test_microsoft", "sender":"test@microsoft.com", "messages":1337}
    # take an input
    input {
        file {
            path => "/var/log/test.log"
        }
    }
    filter {
    # extract the header timestamp and the Json section
        grok {
            match => {
                "message" => ["^(?<timestamp>.{24}):\s(?<json_data>.*)$"]
            }
        }
    # parse the extracted header as a timestamp
    date {
        id => 'parse_metric_timestamp'
            match => [ 'timestamp', 'EEE MMM dd HH:mm:ss yyyy' ]
            timezone => 'Europe/Rome'
            target => 'custom_time_generated'
        }
    json {
        source => "json_data"
        }
    }
    # output to a file for debugging (optional)
    output {
        file {
            path => "/tmp/test.txt"
            codec => line { format => "custom format: %{message} %{custom_time_generated} %{json_data}"}
        }
    }
    # output to the console output for debugging (optional)
    output {
        stdout { codec => rubydebug }
    }
    # log into Log Analytics
    output {
        microsoft-logstash-output-azure-loganalytics {
            workspace_id => '[REDACTED]'
            workspace_key => '[REDACTED]'
            custom_log_table_name => 'RSyslogMetrics'
            time_generated_field => 'custom_time_generated'
            key_names => ['custom_time_generated','name','origin','sender','messages']
        }
    }
  

  إشعار

  قم بزيارة مستودع GitHub لمعرفة المزيد حول إعدادات العمل والتكوين والأداء الداخلية الخاصة به.

الخطوة 3: إعادة تشغيل Logstash

الخطوة 4: عرض السجلات الواردة في Microsoft Sentinel

1. تحقق من إرسال الرسائل إلى المكون الإضافي للإخراج.

2. من قائمة التنقل في Microsoft Sentinel، انقر فوق السجلات. ضمن عنوان الجداول، قم بتوسيع فئة السجلات المخصصة. ابحث عن اسم الجدول الذي حددته (مع لاحقة _CL) وانقر فوقه في التكوين.

   

3. للطلاع على السجلات في الجدول، استعلم عن الجدول باستخدام اسم الجدول كمخطط.

   

مراقبة سجلات تدقيق المكون الإضافي للإخراج

لمراقبة الاتصال والنشاط للمكون الإضافي لإخراج Microsoft Sentinel، قم بتمكين ملف سجل Logstash المناسب. راجع مستند تخطيط دليل Logstash لموقع ملف السجل.

إذا كنت لا ترى أي بيانات في ملف السجل هذا، فقم بإنشاء وإرسال بعض الأحداث محليًا (من خلال المكونات الإضافية للإدخال والتصفية) للتأكد من أن المكون الإضافي للإخراج يتلقى البيانات. سيدعم Microsoft Sentinel المشكلات المتعلقة بالمكون الإضافي للإخراج فقط.

الخطوات التالية

في هذا المستند، تعلمت كيفية استخدام Logstash لتوصيل مصادر البيانات الخارجية بـ Microsoft Sentinel. راجع المقالات التالية للتعرُّف على المزيد حول Microsoft Azure Sentinel:

• تعرّف على كيفية الحصول على رؤية لبياناتك والتهديدات المحتملة.
• ابدأ في اكتشاف التهديدات باستخدام Microsoft Azure Sentinel.