تجميع البيانات في مساحة عمل Log Analytics باستخدام قواعد الملخص (معاينة)

تتيح لك قاعدة التلخيص تجميع بيانات السجل بوتيرة منتظمة وإرسال النتائج المجمعة إلى جدول سجل مخصص في مساحة عمل Log Analytics. استخدم قواعد الملخص لتحسين بياناتك من أجل:

• التحليل والتقارير، خاصة عبر مجموعات البيانات الكبيرة والنطاقات الزمنية، كما هو مطلوب لتحليل الأمان والحوادث، وتقارير الأعمال الشهرية أو السنوية، وما إلى ذلك. غالبا ما مهلة الاستعلامات المعقدة على مجموعة بيانات كبيرة. من الأسهل والأكثر كفاءة تحليل البيانات الملخصة التي تم تنظيفها وتجميعها والإبلاغ عنها.

• توفير التكاليف على السجلات المطولة، والتي يمكنك الاحتفاظ بها بأقل قدر ممكن أو طالما كنت بحاجة إلى جدول سجل أساسي رخيصة، وإرسال بيانات ملخصة إلى جدول Analytics للتحليل والتقارير.

• الأمان وخصوصية البيانات عن طريق إزالة تفاصيل الخصوصية أو تعتيمها في البيانات القابلة للمشاركة الملخصة والحد من الوصول إلى الجداول التي تحتوي على بيانات أولية.

توضح هذه المقالة كيفية عمل قواعد الملخص وكيفية تعريف قواعد الملخص وعرضها، وتوفر بعض الأمثلة على استخدام قواعد الملخص وفوائدها.

فيما يلي فيديو يقدم نظرة عامة على بعض فوائد قواعد الملخص:

كيفية عمل قواعد الملخص

تقوم قواعد الملخص بإجراء معالجة دفعية مباشرة في مساحة عمل Log Analytics. تجمع قاعدة الملخص أجزاء من البيانات، المعرفة حسب حجم الحاوية، استنادا إلى استعلام KQL، وتعيد استيعاب النتائج الملخصة في جدول مخصص مع خطة سجل التحليلات في مساحة عمل Log Analytics.

يمكنك تجميع البيانات من أي جدول، بغض النظر عما إذا كان الجدول يحتوي على خطة بيانات Analytics أو Basic. ينشئ Azure Monitor مخطط الجدول الوجهة استنادا إلى الاستعلام الذي تحدده. إذا كان الجدول الوجهة موجودا بالفعل، يقوم Azure Monitor بإلحاق أي أعمدة مطلوبة لدعم نتائج الاستعلام. تتضمن جميع جداول الوجهة أيضا مجموعة من الحقول القياسية مع معلومات قاعدة التلخيص، بما في ذلك:

• _RuleName: قاعدة الملخص التي أنشأت إدخال السجل المجمع.
• _RuleLastModifiedTime: عند آخر تعديل للقاعدة.
• _BinSize: الفاصل الزمني للتجميع.
• _BinStartTime: وقت بدء التجميع.

يمكنك تكوين ما يصل إلى 30 قاعدة نشطة لتجميع البيانات من جداول متعددة وإرسال البيانات المجمعة لفصل جداول الوجهة أو الجدول نفسه.

يمكنك تصدير البيانات الملخصة من جدول سجل مخصص إلى حساب تخزين أو مراكز الأحداث لمزيد من التكامل عن طريق تعريف قاعدة تصدير البيانات.

مثال: تلخيص بيانات ContainerLogsV2

إذا كنت تراقب الحاويات، يمكنك استيعاب حجم كبير من السجلات المطولة في ContainerLogsV2 الجدول.

يمكنك استخدام هذا الاستعلام في قاعدة الملخص لتجميع جميع إدخالات السجل الفريدة في غضون 60 دقيقة، مع الاحتفاظ بالبيانات المفيدة لتحليل البيانات التي لا تحتاج إليها وإسقاطها:

ContainerLogV2 | summarize Count = count() by  Computer, ContainerName, PodName, PodNamespace, LogSource, LogLevel, Message = tostring(LogMessage.Message)

فيما يلي البيانات الأولية في ContainerLogsV2 الجدول:

فيما يلي البيانات المجمعة التي ترسلها قاعدة الملخص إلى الجدول الوجهة:

بدلا من تسجيل مئات الإدخالات المماثلة في غضون ساعة، يعرض الجدول الوجهة عدد كل إدخال فريد، كما هو محدد في استعلام KQL. قم بتعيين خطة البيانات الأساسية على ContainerLogsV2 الجدول للاحتفاظ الرخيص بالبيانات الأولية، واستخدم البيانات الملخصة في الجدول الوجهة لاحتياجات التحليل الخاصة بك.

الأذونات المطلوبة

اعتبارات التنفيذ

• الحد الأقصى لعدد القواعد النشطة في مساحة العمل هو 30.
• لا تتوفر قواعد الملخص حاليا إلا في السحابة العامة.
• تعالج قاعدة الملخص البيانات الواردة ولا يمكن تكوينها على نطاق زمني تاريخي.
• عند استنفاد محاولات تنفيذ الحاوية، يتم تخطي سلة الملفات ولا يمكن إعادة تنفيذها.
• الاستعلام عن مساحة عمل Log Analytics في مستأجر آخر باستخدام Lighthouse غير مدعوم.

نموذج الأسعار

لا توجد تكلفة إضافية لقواعد الملخص. تدفع فقط مقابل الاستعلام واستيعاب النتائج إلى الجدول الوجهة، استنادا إلى خطة الجدول للجدول المصدر الذي تقوم بتشغيل الاستعلام عليه:

على سبيل المثال، حساب التكلفة لقاعدة كل ساعة التي ترجع 100 سجل لكل سلة هي:

لمزيد من المعلومات، راجعAzure Monitor pricing.

إنشاء قاعدة ملخص أو تحديثها

تعتمد عوامل التشغيل التي يمكنك استخدامها في قاعدة موجزة على خطة الجدول المصدر في الاستعلام.

• التحليلات: يدعم جميع عوامل تشغيل ووظائف KQL، باستثناء:
  • الاستعلامات عبر الموارد، التي تستخدم app()workspaces()تعبيرات و و resource() واستعلامات عبر الخدمة، والتي تستخدم ADX() التعبيرين وARG().
  • المكونات الإضافية التي تعيد تشكيل مخطط البيانات، بما في ذلك فك حقيبة وضيقة ومحورية.
• أساسي: يدعم جميع عوامل تشغيل KQL على جدول واحد. يمكنك ضم ما يصل إلى خمسة جداول Analytics باستخدام عامل تشغيل البحث .
• الوظائف: الوظائف المعرفة من قبل المستخدم غير مدعومة. يتم دعم وظائف النظام التي توفرها Microsoft.

تعد قواعد الملخص أكثر فائدة من حيث التكلفة وتجارب الاستعلام عند تقليل عدد النتائج أو حجمها بشكل كبير. على سبيل المثال، استهداف حجم النتائج 0.01٪ أو أقل من المصدر. قبل إنشاء قاعدة، استعلام التجربة في Log Analytics، وتحقق من أن الاستعلام لا يصل إلى حدود واجهة برمجة تطبيقات الاستعلام أو يقترب منها. تحقق من أن الاستعلام ينتج النتائج والمخطط المتوقعين المقصودين. إذا كان الاستعلام قريبا من حدود الاستعلام، ففكر في استخدام "حجم سلة" أصغر لمعالجة بيانات أقل لكل سلة. يمكنك أيضا تعديل الاستعلام لإرجاع عدد أقل من السجلات أو الحقول ذات الحجم الأعلى.

عند تحديث استعلام وهناك عدد أقل من الحقول في نتائج التلخيص، لا يقوم Azure Monitor تلقائيا بإزالة الأعمدة من الجدول الوجهة، وتحتاج إلى حذف الأعمدة من الجدول يدويا.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}?api-version=2023-01-01-preview
Authorization: {credential}

{
  "properties": {
      "ruleType": "User",
      "description": "My test rule",
      "ruleDefinition": {
          "query": "StorageBlobLogs | summarize count() by AccountName",
          "binSize": 30,
          "destinationTable": "MySummaryLogs_CL"
      }
  }
}

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "workspaceName": {
      "type": "String",
      "metadata": {
        "description": "The workspace name where summary rule is deployed."
      }
    },
    "summaryRuleName": {
      "type": "String",
      "metadata": {
        "description": "The summary rule name."
      }
    },
    "description": {
      "type": "String",
      "metadata": {
        "description": "A description of the rule."
      }
    },
    "location": {
      "defaultValue": "[resourceGroup().location]",
      "type": "String",
      "metadata": {
        "description": "The Location of the workspace summary rule is deployed."
      }
    },
    "ruleType": {
      "defaultValue": "User",
      "allowedValues": [
        "User"
      ],
      "type": "String",
      "metadata": {
        "description": "The summary rule type (User,System). Should be 'User' for and rule with query that you define."
      }
    },
    "query": {
      "type": "String",
      "metadata": {
      "description": "The query used in summary rules."
      }
    },
    "binSize": {
      "defaultValue": 60,
      "allowedValues": [
        20,
        30,
        60,
        120,
        180,
        360,
        720,
        1440
      ],
      "type": "Int",
      "metadata": {
        "description": "The execution interval in minutes, and the lookback time range."
      }
    },
    "destinationTable": {
      "type": "String",
      "metadata": {
        "description": "The name of the custom log table that the summary results are sent to. Name must end with '_CL'."
      }
    }
    // ----- optional -----
    // "binDelay": {
    //   "type": "Int",
    //   "metadata": {
    //     "description": "Optional - The minimum wait time in minutes before bin execution. For example, value of '10' cause bin (01:00-02:00) to be executed after 02:10."
    //   }
    // },
    // "timeSelector": {
    //   "defaultValue": "TimeGenerated",
    //   "allowedValues": [
    //     "TimeGenerated"
    //   ],
    //   "type": "String",  
    //   "metadata": {
    //     "description": "Optional - The time field to be used by the summary rule. Must be 'TimeGenerated'."
    //   }
    // },
    // "binStartTime": {
    //   "type": "String",
    //   "metadata": {
    //     "description": "Optional - The Time of initial bin. Can start at current time minus binSize, or future, and in whole hours. For example: '2024-01-01T08:00'."
    //   }
    // }
  },
  "variables": {},
  "resources": [
    {
      "type": "Microsoft.OperationalInsights/workspaces/summaryLogs",
      "apiVersion": "2023-01-01-preview",
      //"name": "[format('{0}/{1}', parameters('workspaceName'), parameters('summaryRuleName'))]",
      "name": "[concat(parameters('workspaceName'), '/', parameters('summaryRuleName'))]",
      "properties": {
        "ruleType": "[parameters('ruleType')]",
        "description": "[parameters('description')]",
        "ruleDefinition": {
          "query": "[parameters('query')]",
          "binSize": "[parameters('binSize')]",
          "destinationTable": "[parameters('destinationTable')]"
          // ----- optional -----
          //"binDelay": "[parameters('binDelay')]",
          //"timeSelector": "[parameters('timeSelector')]",
          //"binStartTime": "[parameters('binStartTime')]"
        }
      }
    }
  ]
}

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "workspaceName": {
      "value": "myworkspace"
    },
    "summaryRuleName": {
      "value": "myrulename"
    },
    "description": {
      "value": "My rule description."
    },
    "location": {
      "value": "eastus" //Log Analytics workspace region
    },
    "ruleType": {
      "value": "User"
    },
    "query": {
      "value": "StorageBlobLogs | summarize Count = count(), DurationMs98 = percentile(DurationMs, 90) by StatusCode, CallerIpAddress, OperationName"
    },
    "binSize": {
      "value": 20
    },
    "destinationTable": {
      "value": "MySummaryLogs_CL"
    }
  }
}

يصف هذا الجدول معلمات قاعدة الملخص:

تكوين توقيت التجميع

بشكل افتراضي، تقوم قاعدة التلخيص بإنشاء التجميع الأول بعد وقت قصير من الساعة الكاملة التالية.

يضيف التأخير القصير Azure Monitor حسابات لزمن انتقال الاستيعاب - أو الوقت بين وقت إنشاء البيانات في النظام المراقب والوقت الذي تصبح فيه متاحة للتحليل في Azure Monitor. بشكل افتراضي، يتراوح هذا التأخير بين ثلاث دقائق ونصف إلى 10٪ من قيمة "حجم الحاوية" قبل تجميع كل سلة. في معظم الحالات، يضمن هذا التأخير أن Azure Monitor يجمع جميع البيانات المسجلة خلال كل فترة سلة.

على سبيل المثال:

• يمكنك إنشاء قاعدة ملخص بحجم سلة 30 دقيقة في الساعة 14:44.

  تنشئ القاعدة التجميع الأول بعد وقت قصير من الساعة 15:00 - على سبيل المثال، في الساعة 15:04 - للبيانات المسجلة بين 14:30 و15:00.

• يمكنك إنشاء قاعدة ملخص بحجم سلة 720 دقيقة (12 ساعة) في الساعة 14:44.

  تنشئ القاعدة التجميع الأول في 16:12 - 72 دقيقة (10٪ من حجم 720 سلة) بعد 13:00 - للبيانات المسجلة بين 03:00 و15:00.

binStartTime استخدم المعلمتين و binDelay لتغيير توقيت التجميع الأول والتأخير الذي يضيفه Azure Monitor قبل كل تجميع.

توفر الأقسام التالية أمثلة على توقيت التجميع الافتراضي وخيارات توقيت التجميع الأكثر تقدما.

استخدام توقيت التجميع الافتراضي

في هذا المثال، يتم إنشاء قاعدة الملخص في 2023-06-07 في 14:44، ويضيف Azure Monitor تأخيرا افتراضيا لمدة أربع دقائق.

تعيين معلمات توقيت التجميع الاختيارية

في هذا المثال، يتم إنشاء قاعدة الملخص في 2023-06-07 في 14:44، وتتضمن القاعدة إعدادات التكوين المتقدمة هذه:

• binStartTime: 2023-06-08 07:00
• binDelay: 8 دقائق

عرض قواعد الملخص

استخدم استدعاء واجهة برمجة التطبيقات هذا GET لعرض التكوين لقاعدة ملخص محددة:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName1}?api-version=2023-01-01-preview
Authorization: {credential}

استخدم استدعاء واجهة برمجة التطبيقات هذا GET لعرض التكوين لعرض تكوين جميع قواعد الملخص في مساحة عمل Log Analytics:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs?api-version=2023-01-01-preview
Authorization: {credential}

إيقاف قاعدة ملخص وإعادة تشغيلها

يمكنك إيقاف قاعدة لفترة زمنية - على سبيل المثال، إذا كنت تريد التحقق من استيعاب البيانات في جدول ولا تريد التأثير على الجدول والتقارير الملخصة. عند إعادة تشغيل القاعدة، يبدأ Azure Monitor في معالجة البيانات من الساعة الكاملة التالية أو استنادا إلى المعلمة المحددة binStartTime (اختياري).

لإيقاف قاعدة، استخدم استدعاء واجهة برمجة التطبيقات هذا POST :

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}/stop?api-version=2023-01-01-preview
Authorization: {credential}

لإعادة تشغيل القاعدة، استخدم استدعاء واجهة برمجة التطبيقات هذا POST :

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}/start?api-version=2023-01-01-preview
Authorization: {credential}

حذف قاعدة ملخص

يمكنك الحصول على ما يصل إلى 30 قاعدة ملخص نشطة في مساحة عمل Log Analytics. إذا كنت تريد إنشاء قاعدة جديدة، ولكن لديك بالفعل 30 قاعدة نشطة، يجب إيقاف قاعدة ملخص نشطة أو حذفها.

لحذف قاعدة، استخدم استدعاء واجهة برمجة التطبيقات هذا DELETE :

DELETE https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}?api-version=2023-01-01-preview
Authorization: {credential}

مراقبة قواعد الملخص

لمراقبة قواعد الملخص، قم بتمكين فئة سجلات الملخص في إعدادات التشخيص لمساحة عمل Log Analytics. يرسل Azure Monitor تفاصيل تنفيذ قاعدة التلخيص، بما في ذلك معلومات بدء تشغيل قاعدة التلخيص والنجاح والفشل، إلى جدول LASummaryLogs في مساحة العمل الخاصة بك.

نوصيك بإعداد قواعد تنبيه السجل لتلقي إعلام بفشل الحاوية، أو عند اقتراب انتهاء مهلة تنفيذ الحاوية، كما هو موضح أدناه. اعتمادا على سبب الفشل، يمكنك إما تقليل حجم الحاوية لمعالجة بيانات أقل في كل تنفيذ، أو تعديل الاستعلام لإرجاع عدد أقل من السجلات أو الحقول ذات الحجم الأعلى.

يقوم هذا الاستعلام بإرجاع عمليات التشغيل الفاشلة:

LASummaryLogs | where Status == "Failed"

يقوم هذا الاستعلام بإرجاع سلة QueryDurationMs العمليات حيث تكون القيمة أكبر من 0.9 × 600000 مللي ثانية:

LASummaryLogs | where QueryDurationMs > 0.9 * 600000

التحقق من اكتمال البيانات

تم تصميم قواعد الملخص للتحجيم، وتتضمن آلية إعادة المحاولة للتغلب على فشل الخدمة العابرة أو الاستعلام المتعلق بحدود الاستعلام، على سبيل المثال. تجري آلية إعادة المحاولة 10 محاولات لتجميع سلة فاشلة في غضون ثماني ساعات، وتتخطى سلة، إذا استنفدت. يتم تعيين القاعدة إلى isActive: false ووضعها قيد الانتظار بعد ثماني محاولات متتالية للسحاويات. إذا قمت بتمكين قواعد ملخص المراقبة، يسجل Azure Monitor حدثا في LASummaryLogs الجدول في مساحة العمل الخاصة بك.

لا يمكنك إعادة تشغيل سلة فاشلة، ولكن يمكنك استخدام الاستعلام التالي لعرض عمليات التشغيل الفاشلة:

let startTime = datetime("2024-02-16");
let endtTime = datetime("2024-03-03");
let ruleName = "myRuleName";
let stepSize = 20m; // The stepSize value is equal to the bin size defined in the rule
LASummaryLogs
| where RuleName == ruleName
| where Status == 'Succeeded'
| make-series dcount(BinStartTime) default=0 on BinStartTime from startTime to endtTime step stepSize
| render timechart

يعرض هذا الاستعلام النتائج كمسار زمني:

راجع قسم مراقبة قواعد الملخص للحصول على خيارات معالجة القواعد والتنبيهات الاستباقية.

تشفير استعلامات قاعدة التلخيص باستخدام مفاتيح يديرها العميل

يمكن أن يحتوي استعلام KQL على معلومات حساسة في التعليقات أو في بناء جملة الاستعلام. لتشفير استعلامات قاعدة التلخيص، اربط حساب تخزين بمساحة عمل Log Analytics واستخدم المفاتيح التي يديرها العميل.

الاعتبارات عند العمل مع الاستعلامات المشفرة:

• لا يؤدي ربط حساب تخزين لتشفير استعلاماتك إلى مقاطعة القواعد الموجودة.
• بشكل افتراضي، يخزن Azure Monitor استعلامات قاعدة التلخيص في تخزين Log Analytics. إذا كانت لديك قواعد ملخص موجودة قبل ربط حساب تخزين بمساحة عمل Log Analytics، فقم بتحديث قواعد الملخص بحيث يتم الاستعلامات لحفظ الاستعلامات الموجودة في حساب التخزين.
• توجد الاستعلامات التي تحفظها في حساب تخزين في CustomerConfigurationStoreTable الجدول. تعتبر هذه الاستعلامات بيانات اصطناعية للخدمة وقد يتغير تنسيقها.
• يمكنك استخدام نفس حساب التخزين لاستعلامات قاعدة الملخص والاستعلامات المحفوظة في Log Analytics وتنبيهات السجل.

استكشاف أخطاء قواعد الملخص وإصلاحها

يوفر هذا القسم تلميحات حول استكشاف أخطاء قواعد الملخص وإصلاحها.

تم حذف جدول وجهة قاعدة الملخص عن طريق الخطأ

إذا قمت بحذف الجدول الوجهة أثناء تنشيط قاعدة التلخيص، يتم تعليق القاعدة ويرسل Azure Monitor حدثا إلى LASummaryLogs الجدول مع رسالة تشير إلى أنه تم تعليق القاعدة.

إذا لم تكن بحاجة إلى نتائج الملخص في الجدول الوجهة، فاحذف القاعدة والجدول. إذا كنت بحاجة إلى استرداد نتائج الملخص، فاتبع الخطوات الواردة في قسم إنشاء قواعد الملخص أو تحديثها لإعادة إنشاء الجدول. تتم استعادة جدول الوجهة، بما في ذلك البيانات التي تم استيعابها قبل الحذف، اعتمادا على نهج الاستبقاء في الجدول.

إذا لم تكن بحاجة إلى نتائج الملخص في الجدول الوجهة، فاحذف القاعدة والجدول. إذا كنت بحاجة إلى نتائج الملخص، فاتبع الخطوات الواردة في قسم إنشاء قواعد الملخص أو تحديثها لإعادة إنشاء الجدول الوجهة واستعادة جميع البيانات، بما في ذلك البيانات التي تم استيعابها قبل الحذف، اعتمادا على نهج الاستبقاء في الجدول.

يستخدم الاستعلام عوامل التشغيل التي تنشئ أعمدة جديدة في الجدول الوجهة

يتم تعريف مخطط الجدول الوجهة عند إنشاء قاعدة ملخص أو تحديثها. إذا كان الاستعلام في قاعدة الملخص يتضمن عوامل تشغيل تسمح بتوسيع مخطط الإخراج استنادا إلى البيانات الواردة - على سبيل المثال، إذا كان الاستعلام يستخدم arg_max(expression, *) الدالة - لا يضيف Azure Monitor أعمدة جديدة إلى الجدول الوجهة بعد إنشاء قاعدة الملخص أو تحديثها، وسيتم إسقاط بيانات الإخراج التي تتطلب هذه الأعمدة. لإضافة الحقول الجديدة إلى الجدول الوجهة، قم بتحديث قاعدة الملخص أو إضافة عمود إلى الجدول يدويا.

تظل البيانات الموجودة في الأعمدة التي تمت إزالتها في مساحة العمل استنادا إلى إعدادات استبقاء الجدول

عند إزالة حقل في الاستعلام، تظل الأعمدة والبيانات في الوجهة واستنادا إلى فترة الاستبقاء المعرفة في الجدول أو مساحة العمل. إذا لم تكن بحاجة إلى إزالة في الجدول الوجهة، فاحذف الأعمدة من مخطط الجدول. إذا قمت بعد ذلك بإضافة أعمدة بنفس الاسم، فستظهر أي بيانات غير قديمة تظهر فيها فترة الاستبقاء مرة أخرى.

المحتوى ذو الصلة

• تعرف على المزيد حول خطط بيانات Azure Monitor Logs.
• اطلع على برنامج تعليمي حول استخدام وضع KQL في Log Analytics.
• الوصول إلى الوثائق المرجعية الكاملة ل KQL.