Agregat data di ruang kerja Analitik Log dengan menggunakan aturan ringkasan (Pratinjau)

Aturan ringkasan memungkinkan Anda mengagregasi data log secara berkala dan mengirim hasil agregat ke tabel log kustom di ruang kerja Analitik Log Anda. Gunakan aturan ringkasan untuk mengoptimalkan data Anda untuk:

• Analisis dan laporan, terutama melalui himpunan data dan rentang waktu besar, sebagaimana diperlukan untuk analisis keamanan dan insiden, laporan bisnis bulan ke bulan atau tahunan, dan sebagainya. Kueri kompleks pada himpunan data besar sering kehabisan waktu. Lebih mudah dan lebih efisien untuk menganalisis dan melaporkan data ringkasan yang dibersihkan dan dikumpulkan.

• Penghematan biaya pada log verbose, yang dapat Anda pertahankan sesedikit atau selama yang Anda butuhkan dalam tabel log Dasar yang murah, dan mengirim data ringkasan ke tabel Analitik untuk analisis dan laporan.

• Privasi keamanan dan data dengan menghapus atau mengaburkan detail privasi dalam data yang dapat dibagikan yang dirangkum dan membatasi akses ke tabel dengan data mentah.

Artikel ini menjelaskan cara kerja aturan ringkasan dan cara menentukan dan melihat aturan ringkasan, dan menyediakan beberapa contoh penggunaan dan manfaat aturan ringkasan.

Berikut adalah video yang memberikan gambaran umum tentang beberapa manfaat aturan ringkasan:

Cara kerja aturan ringkasan

Aturan ringkasan melakukan pemrosesan batch langsung di ruang kerja Analitik Log Anda. Aturan ringkasan menggabungkan potongan data, yang ditentukan oleh ukuran bin, berdasarkan kueri KQL, dan menyerap kembali hasil yang dirangkum ke dalam tabel kustom dengan rencana log Analitik di ruang kerja Analitik Log Anda.

Anda dapat menggabungkan data dari tabel apa pun, terlepas dari apakah tabel memiliki paket data Analytics atau Basic. Azure Monitor membuat skema tabel tujuan berdasarkan kueri yang Anda tentukan. Jika tabel tujuan sudah ada, Azure Monitor menambahkan kolom apa pun yang diperlukan untuk mendukung hasil kueri. Semua tabel tujuan juga menyertakan sekumpulan bidang standar dengan informasi aturan ringkasan, termasuk:

• _RuleName: Aturan ringkasan yang menghasilkan entri log agregat.
• _RuleLastModifiedTime: Ketika aturan terakhir diubah.
• _BinSize: Interval agregasi.
• _BinStartTime: Waktu mulai agregasi.

Anda dapat mengonfigurasi hingga 30 aturan aktif untuk mengagregasi data dari beberapa tabel dan mengirim data agregat ke tabel tujuan terpisah atau tabel yang sama.

Anda dapat mengekspor data ringkasan dari tabel log kustom ke akun penyimpanan atau Azure Event Hubs untuk integrasi lebih lanjut dengan menentukan aturan ekspor data.

Contoh: Meringkas data ContainerLogsV2

Jika Anda memantau kontainer, Anda menyerap sejumlah besar log verbose ke ContainerLogsV2 dalam tabel.

Anda mungkin menggunakan kueri ini dalam aturan ringkasan Anda untuk menggabungkan semua entri log unik dalam waktu 60 menit, menyimpan data yang berguna untuk analisis dan menghilangkan data yang tidak Anda perlukan:

ContainerLogV2 | summarize Count = count() by  Computer, ContainerName, PodName, PodNamespace, LogSource, LogLevel, Message = tostring(LogMessage.Message)

Berikut adalah data mentah dalam ContainerLogsV2 tabel:

Berikut adalah data agregat yang dikirim aturan ringkasan ke tabel tujuan:

Alih-alih mencatat ratusan entri serupa dalam satu jam, tabel tujuan memperlihatkan jumlah setiap entri unik, seperti yang didefinisikan dalam kueri KQL. Atur paket data Dasar pada ContainerLogsV2 tabel untuk retensi data mentah yang murah, dan gunakan data ringkasan dalam tabel tujuan untuk kebutuhan analisis Anda.

Izin yang diperlukan

Pertimbangan implementasi

• Jumlah maksimum aturan aktif di ruang kerja adalah 30.
• Aturan ringkasan saat ini hanya tersedia di cloud publik.
• Aturan ringkasan memproses data masuk dan tidak dapat dikonfigurasi pada rentang waktu historis.
• Ketika percobaan ulang eksekusi bin habis, bin dilewati dan tidak dapat dijalankan kembali.
• Mengkueri ruang kerja Analitik Log di penyewa lain dengan menggunakan Lighthouse tidak didukung.

Rencana harga

Tidak ada biaya tambahan untuk aturan Ringkasan. Anda hanya membayar kueri dan penyerapan hasil ke tabel tujuan, berdasarkan rencana tabel tabel sumber tempat Anda menjalankan kueri:

Misalnya, perhitungan biaya untuk aturan per jam yang mengembalikan 100 rekaman per bin adalah:

Untuk informasi selengkapnya, lihat Harga Azure Monitor.

Membuat atau memperbarui aturan ringkasan

Operator yang bisa Anda gunakan dalam aturan ringkasan kueri Anda bergantung pada rencana tabel sumber dalam kueri.

• Analitik: Mendukung semua operator dan fungsi KQL, kecuali untuk:
  • Kueri lintas sumber daya, yang menggunakan workspaces()ekspresi , , app()dan resource() , dan kueri lintas layanan, yang menggunakan ADX() ekspresi dan ARG() .
  • Plugin yang membentuk ulang skema data, termasuk bongkar tas, sempit, dan pivot.
• Dasar: Mendukung semua operator KQL pada satu tabel. Anda dapat menggabungkan hingga lima tabel Analytics menggunakan operator pencarian .
• Fungsi: Fungsi yang ditentukan pengguna tidak didukung. Fungsi sistem yang disediakan oleh Microsoft didukung.

Aturan ringkasan paling bermanfaat dalam hal biaya dan pengalaman kueri ketika jumlah hasil atau volume berkurang secara signifikan. Misalnya, bertujuan untuk volume hasil 0,01% atau kurang dari sumber. Sebelum Anda membuat aturan, kueri eksperimen di Analitik Log, dan verifikasi bahwa kueri tidak mencapai atau mendekati batas API kueri. Periksa apakah kueri menghasilkan hasil dan skema yang diharapkan. Jika kueri mendekati batas kueri, pertimbangkan untuk menggunakan 'ukuran bin' yang lebih kecil untuk memproses lebih sedikit data per bin. Anda juga bisa mengubah kueri untuk mengembalikan lebih sedikit rekaman atau bidang dengan volume yang lebih tinggi.

Saat Anda memperbarui kueri dan ada lebih sedikit bidang dalam hasil ringkasan, Azure Monitor tidak secara otomatis menghapus kolom dari tabel tujuan, dan Anda perlu menghapus kolom dari tabel Anda secara manual.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}?api-version=2023-01-01-preview
Authorization: {credential}

{
  "properties": {
      "ruleType": "User",
      "description": "My test rule",
      "ruleDefinition": {
          "query": "StorageBlobLogs | summarize count() by AccountName",
          "binSize": 30,
          "destinationTable": "MySummaryLogs_CL"
      }
  }
}

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "workspaceName": {
      "type": "String",
      "metadata": {
        "description": "The workspace name where summary rule is deployed."
      }
    },
    "summaryRuleName": {
      "type": "String",
      "metadata": {
        "description": "The summary rule name."
      }
    },
    "description": {
      "type": "String",
      "metadata": {
        "description": "A description of the rule."
      }
    },
    "location": {
      "defaultValue": "[resourceGroup().location]",
      "type": "String",
      "metadata": {
        "description": "The Location of the workspace summary rule is deployed."
      }
    },
    "ruleType": {
      "defaultValue": "User",
      "allowedValues": [
        "User"
      ],
      "type": "String",
      "metadata": {
        "description": "The summary rule type (User,System). Should be 'User' for and rule with query that you define."
      }
    },
    "query": {
      "type": "String",
      "metadata": {
      "description": "The query used in summary rules."
      }
    },
    "binSize": {
      "defaultValue": 60,
      "allowedValues": [
        20,
        30,
        60,
        120,
        180,
        360,
        720,
        1440
      ],
      "type": "Int",
      "metadata": {
        "description": "The execution interval in minutes, and the lookback time range."
      }
    },
    "destinationTable": {
      "type": "String",
      "metadata": {
        "description": "The name of the custom log table that the summary results are sent to. Name must end with '_CL'."
      }
    }
    // ----- optional -----
    // "binDelay": {
    //   "type": "Int",
    //   "metadata": {
    //     "description": "Optional - The minimum wait time in minutes before bin execution. For example, value of '10' cause bin (01:00-02:00) to be executed after 02:10."
    //   }
    // },
    // "timeSelector": {
    //   "defaultValue": "TimeGenerated",
    //   "allowedValues": [
    //     "TimeGenerated"
    //   ],
    //   "type": "String",  
    //   "metadata": {
    //     "description": "Optional - The time field to be used by the summary rule. Must be 'TimeGenerated'."
    //   }
    // },
    // "binStartTime": {
    //   "type": "String",
    //   "metadata": {
    //     "description": "Optional - The Time of initial bin. Can start at current time minus binSize, or future, and in whole hours. For example: '2024-01-01T08:00'."
    //   }
    // }
  },
  "variables": {},
  "resources": [
    {
      "type": "Microsoft.OperationalInsights/workspaces/summaryLogs",
      "apiVersion": "2023-01-01-preview",
      //"name": "[format('{0}/{1}', parameters('workspaceName'), parameters('summaryRuleName'))]",
      "name": "[concat(parameters('workspaceName'), '/', parameters('summaryRuleName'))]",
      "properties": {
        "ruleType": "[parameters('ruleType')]",
        "description": "[parameters('description')]",
        "ruleDefinition": {
          "query": "[parameters('query')]",
          "binSize": "[parameters('binSize')]",
          "destinationTable": "[parameters('destinationTable')]"
          // ----- optional -----
          //"binDelay": "[parameters('binDelay')]",
          //"timeSelector": "[parameters('timeSelector')]",
          //"binStartTime": "[parameters('binStartTime')]"
        }
      }
    }
  ]
}

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "workspaceName": {
      "value": "myworkspace"
    },
    "summaryRuleName": {
      "value": "myrulename"
    },
    "description": {
      "value": "My rule description."
    },
    "location": {
      "value": "eastus" //Log Analytics workspace region
    },
    "ruleType": {
      "value": "User"
    },
    "query": {
      "value": "StorageBlobLogs | summarize Count = count(), DurationMs98 = percentile(DurationMs, 90) by StatusCode, CallerIpAddress, OperationName"
    },
    "binSize": {
      "value": 20
    },
    "destinationTable": {
      "value": "MySummaryLogs_CL"
    }
  }
}

Tabel ini menjelaskan parameter aturan ringkasan:

Mengonfigurasi waktu agregasi

Secara default, aturan ringkasan membuat agregasi pertama tak lama setelah satu jam penuh berikutnya.

Penundaan singkat Azure Monitor menambahkan akun untuk latensi penyerapan - atau waktu antara saat data dibuat dalam sistem yang dipantau dan waktu tersedia untuk analisis di Azure Monitor. Secara default, penundaan ini antara tiga setengah menit hingga 10% dari nilai 'ukuran bin' sebelum menggabungkan setiap bin. Dalam kebanyakan kasus, penundaan ini memastikan bahwa Azure Monitor menggabungkan semua data yang dicatat dalam setiap periode bin.

Contohnya:

• Anda membuat aturan ringkasan dengan ukuran bin 30 menit pada pukul 14.44.

  Aturan membuat agregasi pertama tak lama setelah pukul 15.00 - misalnya, pukul 15.04 - untuk data yang dicatat antara pukul 14.30 dan 15.00.

• Anda membuat aturan ringkasan dengan ukuran bin 720 menit (12 jam) pada pukul 14.44.

  Aturan ini membuat agregasi pertama pada pukul 16:12 - 72 menit (10% dari ukuran bin 720) setelah pukul 13:00 - untuk data yang dicatat antara pukul 03:00 dan 15:00.

binStartTime Gunakan parameter dan binDelay untuk mengubah waktu agregasi pertama dan penundaan yang ditambahkan Azure Monitor sebelum setiap agregasi.

Bagian berikutnya menyediakan contoh waktu agregasi default dan opsi waktu agregasi yang lebih canggih.

Gunakan waktu agregasi default

Dalam contoh ini, aturan ringkasan dibuat pada 2023-06-07 pada pukul 14:44, dan Azure Monitor menambahkan penundaan default empat menit.

Mengatur parameter waktu agregasi opsional

Dalam contoh ini, aturan ringkasan dibuat pada 2023-06-07 pada pukul 14:44, dan aturan mencakup pengaturan konfigurasi tingkat lanjut ini:

• binStartTime: 2023-06-08 07:00
• binDelay: 8 menit

Menampilkan aturan ringkasan

Gunakan panggilan API ini GET untuk melihat konfigurasi untuk aturan ringkasan tertentu:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName1}?api-version=2023-01-01-preview
Authorization: {credential}

Gunakan panggilan API ini GET untuk melihat konfigurasi untuk melihat konfigurasi semua aturan ringkasan di ruang kerja Analitik Log Anda:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs?api-version=2023-01-01-preview
Authorization: {credential}

Menghentikan dan memulai ulang aturan ringkasan

Anda dapat menghentikan aturan untuk jangka waktu tertentu - misalnya, jika Anda ingin memverifikasi bahwa data diserap ke tabel dan Anda tidak ingin memengaruhi tabel dan laporan yang dirangkum. Saat Anda memulai ulang aturan, Azure Monitor mulai memproses data dari seluruh jam berikutnya atau berdasarkan parameter yang ditentukan binStartTime (opsional).

Untuk menghentikan aturan, gunakan panggilan API ini POST :

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}/stop?api-version=2023-01-01-preview
Authorization: {credential}

Untuk memulai ulang aturan, gunakan panggilan API ini POST :

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}/start?api-version=2023-01-01-preview
Authorization: {credential}

Menghapus aturan ringkasan

Anda dapat memiliki hingga 30 aturan ringkasan aktif di ruang kerja Analitik Log Anda. Jika Anda ingin membuat aturan baru, tetapi Anda sudah memiliki 30 aturan aktif, Anda harus menghentikan atau menghapus aturan ringkasan aktif.

Untuk menghapus aturan, gunakan panggilan API ini DELETE :

DELETE https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourcegroup}/providers/Microsoft.OperationalInsights/workspaces/{workspace}/summarylogs/{ruleName}?api-version=2023-01-01-preview
Authorization: {credential}

Memantau aturan ringkasan

Untuk memantau aturan ringkasan, aktifkan kategori Log Ringkasan di pengaturan diagnostik ruang kerja Analitik Log Anda. Azure Monitor mengirimkan detail eksekusi aturan ringkasan, termasuk aturan ringkasan yang menjalankan informasi Mulai, Berhasil, dan Gagal, ke tabel LASummaryLogs di ruang kerja Anda.

Kami menyarankan Agar Anda menyiapkan aturan pemberitahuan log untuk menerima pemberitahuan kegagalan bin, atau ketika eksekusi bin mendekati waktu habis, seperti yang ditunjukkan di bawah ini. Bergantung pada alasan kegagalan, Anda dapat mengurangi ukuran bin untuk memproses lebih sedikit data pada setiap eksekusi, atau mengubah kueri untuk mengembalikan lebih sedikit rekaman atau bidang dengan volume yang lebih tinggi.

Kueri ini mengembalikan eksekusi yang gagal:

LASummaryLogs | where Status == "Failed"

Kueri ini mengembalikan bin berjalan di mana QueryDurationMs nilainya lebih besar dari 0,9 x 600.000 milidetik:

LASummaryLogs | where QueryDurationMs > 0.9 * 600000

Memverifikasi kelengkapan data

Aturan ringkasan dirancang untuk skala, dan menyertakan mekanisme coba lagi untuk mengatasi kegagalan layanan sementara atau kueri yang terkait dengan batas kueri, misalnya. Mekanisme coba lagi membuat 10 upaya untuk mengagregasi bin yang gagal dalam waktu delapan jam, dan melewati keramaian, jika kelelahan. Aturan diatur ke isActive: false dan ditangguhkan setelah delapan percobaan ulang keranjang berturut-turut. Jika Anda mengaktifkan aturan ringkasan pemantauan, Azure Monitor mencatat peristiwa dalam LASummaryLogs tabel di ruang kerja Anda.

Anda tidak dapat menjalankan ulang eksekusi bin yang gagal, tetapi Anda bisa menggunakan kueri berikut untuk menampilkan eksekusi yang gagal:

let startTime = datetime("2024-02-16");
let endtTime = datetime("2024-03-03");
let ruleName = "myRuleName";
let stepSize = 20m; // The stepSize value is equal to the bin size defined in the rule
LASummaryLogs
| where RuleName == ruleName
| where Status == 'Succeeded'
| make-series dcount(BinStartTime) default=0 on BinStartTime from startTime to endtTime step stepSize
| render timechart

Kueri ini merender hasil sebagai bagan waktu:

Lihat bagian Pantau aturan ringkasan untuk opsi remediasi aturan dan pemberitahuan proaktif.

Mengenkripsi kueri aturan ringkasan dengan menggunakan kunci yang dikelola pelanggan

Kueri KQL dapat berisi informasi sensitif dalam komentar atau dalam sintaks kueri. Untuk mengenkripsi kueri aturan ringkasan, tautkan akun penyimpanan ke ruang kerja Analitik Log Anda dan gunakan kunci yang dikelola pelanggan.

Pertimbangan saat Anda bekerja dengan kueri terenkripsi:

• Menautkan akun penyimpanan untuk mengenkripsi kueri Anda tidak mengganggu aturan yang ada.
• Secara default, Azure Monitor menyimpan kueri aturan ringkasan di penyimpanan Analitik Log. Jika Anda memiliki aturan ringkasan yang sudah ada sebelum menautkan akun penyimpanan ke ruang kerja Analitik Log, perbarui aturan ringkasan Anda sehingga kueri untuk menyimpan kueri yang ada di akun penyimpanan.
• Kueri yang Anda simpan di akun penyimpanan terletak di CustomerConfigurationStoreTable tabel. Kueri ini dianggap artefak layanan dan formatnya mungkin berubah.
• Anda dapat menggunakan akun penyimpanan yang sama untuk kueri aturan ringkasan, kueri yang disimpan di Analitik Log, dan pemberitahuan log.

Memecahkan masalah aturan ringkasan

Bagian ini menyediakan tips untuk memecahkan masalah aturan ringkasan.

Tabel tujuan aturan ringkasan dihapus secara tidak sengaja

Jika Anda menghapus tabel tujuan saat aturan ringkasan aktif, aturan akan ditangguhkan dan Azure Monitor mengirim peristiwa ke LASummaryLogs tabel dengan pesan yang menunjukkan bahwa aturan ditangguhkan.

Jika Anda tidak memerlukan hasil ringkasan dalam tabel tujuan, hapus aturan dan tabel. Jika Anda perlu memulihkan hasil ringkasan, ikuti langkah-langkah di bagian Membuat atau memperbarui aturan ringkasan untuk membuat ulang tabel. Tabel tujuan dipulihkan, termasuk data yang diserap sebelum penghapusan, tergantung pada kebijakan penyimpanan dalam tabel.

Jika Anda tidak memerlukan hasil ringkasan dalam tabel tujuan, hapus aturan dan tabel. Jika Anda memerlukan hasil ringkasan, ikuti langkah-langkah di bagian Membuat atau memperbarui aturan ringkasan untuk membuat ulang tabel tujuan dan memulihkan semua data, termasuk data yang diserap sebelum penghapusan, tergantung pada kebijakan penyimpanan dalam tabel.

Kueri menggunakan operator yang membuat kolom baru di tabel tujuan

Skema tabel tujuan ditentukan saat Anda membuat atau memperbarui aturan ringkasan. Jika kueri dalam aturan ringkasan menyertakan operator yang memungkinkan ekspansi skema output berdasarkan data masuk - misalnya, jika kueri menggunakan arg_max(expression, *) fungsi - Azure Monitor tidak menambahkan kolom baru ke tabel tujuan setelah Anda membuat atau memperbarui aturan ringkasan, dan data output yang memerlukan kolom ini akan dihilangkan. Untuk menambahkan bidang baru ke tabel tujuan, perbarui aturan ringkasan atau tambahkan kolom ke tabel Anda secara manual.

Data dalam kolom yang dihapus tetap berada di ruang kerja berdasarkan pengaturan retensi tabel

Saat Anda menghapus bidang dalam kueri, kolom dan data tetap berada di tujuan dan berdasarkan periode retensi yang ditentukan pada tabel atau ruang kerja. Jika Anda tidak memerlukan penghapusan dalam tabel tujuan, hapus kolom dari skema tabel. Jika Anda kemudian menambahkan kolom dengan nama yang sama, data apa pun yang tidak lebih lama sehingga periode retensi muncul lagi.

Konten terkait

• Pelajari selengkapnya tentang paket data Log Azure Monitor.
• Telusuri tutorial tentang menggunakan mode KQL di Analitik Log.
• Akses dokumentasi referensi lengkap untuk KQL.