Bagikan melalui

Normalisasi waktu penyerapan

  • Artikel

Penguraian waktu kueri

Sebagai diskusi dalam gambaran umum ASIM, Microsoft Sentinel menggunakan waktu kueri dan normalisasi waktu penyerapan untuk memanfaatkan keuntungan masing-masing.

Untuk menggunakan normalisasi waktu kueri, gunakan pengurai pemersatu waktu kueri, seperti _Im_Dns dalam kueri Anda. Normalisasi menggunakan penguraian waktu kueri memiliki beberapa keuntungan:

  • Mempertahankan format asli: Normalisasi waktu kueri tidak mengharuskan data dimodifikasi, sehingga mempertahankan format data asli yang dikirim oleh sumber.
  • Menghindari potensi penyimpanan duplikat: Karena data yang dinormalisasi hanyalah tampilan data asli, tidak perlu menyimpan data asli dan yang dinormalisasi.
  • Pengembangan yang lebih mudah: Karena pengurai waktu kueri menyajikan tampilan data dan tidak memodifikasi data, pengurai waktu kueri mudah dikembangkan. Mengembangkan, menguji, dan memperbaiki pengurai semuanya dapat dilakukan pada data yang ada. Selain itu, pengurai dapat diperbaiki ketika masalah ditemukan, dan perbaikan diterapkan ke data yang ada.

Menyerap penguraian waktu

Meskipun pengurai waktu kueri ASIM dioptimalkan, penguraian waktu kueri dapat memperlambat kueri, terutama pada himpunan data besar.

Penguraian waktu penyerapan memungkinkan transformasi peristiwa ke skema yang dinormalisasi saat diserap ke Microsoft Azure Sentinel dan menyimpannya dalam format yang dinormalisasi. Penguraian waktu penyerapan kurang fleksibel dan pengurai lebih sulit dikembangkan, tetapi karena data disimpan dalam format yang dinormalisasi, menawarkan performa yang lebih baik.

Data yang dinormalisasi dapat disimpan dalam tabel asli Microsoft Sentinel yang dinormalisasi, atau dalam tabel kustom yang menggunakan skema ASIM. Tabel kustom yang memiliki skema yang dekat dengan, tetapi tidak identik, dengan skema ASIM, juga memberikan manfaat performa normalisasi waktu penyerapan.

Saat ini, ASIM mendukung tabel asli yang dinormalisasi berikut sebagai tujuan untuk mencerna normalisasi waktu:

Keuntungan dari tabel asli yang dinormalisasi adalah tabel tersebut disertakan secara default dalam parser pemersatu ASIM. Tabel kustom yang dinormalisasi dapat disertakan dalam pengurai pemersatu, seperti yang dibahas dalam Mengelola Parser.

Menggabungkan waktu penyerapan dan normalisasi waktu kueri

Kueri harus selalu menggunakan pengurai pemersatu waktu kueri, seperti _Im_Dns untuk memanfaatkan waktu kueri dan menelan normalisasi waktu. Tabel asli yang dinormalisasi disertakan dalam data yang dikueri dengan menggunakan pengurai stub.

Pengurai stub adalah pengurai waktu kueri yang menggunakan sebagai input tabel yang dinormalisasi. Karena tabel yang dinormalisasi tidak memerlukan penguraian, pengurai stub efisien.

Pengurai stub menyajikan tampilan ke kueri panggilan yang ditambahkan ke tabel asli ASIM:

  • Alias - agar tidak membuang penyimpanan pada nilai berulang, alias tidak disimpan dalam tabel asli ASIM dan ditambahkan pada waktu kueri oleh pengurai stub.
  • Nilai konstanta - Seperti alias, dan karena alasan yang sama, tabel yang dinormalisasi ASIM juga tidak menyimpan nilai konstanta seperti EventSchema. Pengurai stub menambahkan bidang tersebut. Tabel yang dinormalisasi ASIM dibagikan oleh banyak sumber, dan pengurai waktu penyerapan dapat mengubah versi outputnya. Oleh karena itu, bidang seperti EventProduct, EventVendor, dan EventSchemaVersion tidak konstan dan tidak ditambahkan oleh pengurai stub.
  • Pemfilteran - pengurai stub juga mengimplementasikan pemfilteran. Meskipun tabel asli ASIM tidak memerlukan pemfilteran pengurai untuk mencapai performa yang lebih baik, pemfilteran diperlukan untuk mendukung penyertaan dalam pengurai pemersatu.
  • Pembaruan dan perbaikan - Menggunakan pengurai stub memungkinkan memperbaiki masalah lebih cepat. Misalnya jika data salah diserap, alamat IP mungkin tidak diekstrak dari bidang pesan selama penyerapan. Alamat IP dapat diekstrak oleh pengurai stub pada waktu kueri.

Saat menggunakan tabel yang dinormalisasi kustom, buat pengurai stub Anda sendiri untuk menerapkan fungsionalitas ini, dan tambahkan ke pengurai pemersatu seperti yang dibahas di Kelola Parser. Gunakan pengurai stub untuk tabel asli, seperti pengurai stub tabel asli DNS dan rekan pemfilterannya, sebagai titik awal. Jika tabel Anda semi normal, gunakan pengurai stub untuk melakukan penguraian dan normalisasi tambahan yang diperlukan.

Pelajari selengkapnya tentang menulis pengurai di Mengembangkan parser ASIM.

Menerapkan normalisasi waktu penyerapan

Untuk menormalkan data saat menyerap, Anda perlu menggunakan Aturan Pengumpulan Data (DCR). Prosedur untuk menerapkan DCR tergantung pada metode yang digunakan untuk menyerap data. Untuk informasi selengkapnya, lihat artikel Mengubah atau menyesuaikan data pada waktu penyerapan di Microsoft Azure Sentinel.

Kueri transformasi KQL adalah inti dari DCR. Versi KQL yang digunakan dalam DCR sedikit berbeda dari versi yang digunakan di tempat lain di Microsoft Azure Sentinel untuk mengakomodasi persyaratan pemrosesan peristiwa alur. Oleh karena itu, Anda perlu memodifikasi pengurai waktu kueri apa pun untuk menggunakannya dalam DCR. Untuk informasi selengkapnya tentang perbedaan, dan cara mengonversi pengurai waktu kueri ke pengurai waktu penyerapan, baca tentang batasan DCR KQL.

Langkah berikutnya

Untuk informasi selengkapnya, lihat: