Menyerap data dari Splunk ke Azure Data Explorer

Splunk Enterprise adalah platform perangkat lunak yang memungkinkan Anda menyerap data dari banyak sumber secara bersamaan. Pengindeks Splunk memproses data dan menyimpannya secara default dalam indeks utama atau indeks kustom tertentu. Mencari di Splunk menggunakan data terindeks untuk membuat metrik, dasbor, dan pemberitahuan. Azure Data Explorer adalah layanan eksplorasi data yang cepat dan sangat dapat diskalakan untuk data log dan telemetri.

Dalam artikel ini, Anda mempelajari cara add-on Azure Data Explorer Splunk untuk mengirim data dari Splunk ke tabel di kluster Anda. Anda awalnya membuat tabel dan pemetaan data, lalu mengarahkan Splunk untuk mengirim data ke dalam tabel, lalu memvalidasi hasilnya.

Skenario berikut ini paling cocok untuk menyerap data ke Azure Data Explorer:

• Data volume tinggi: Azure Data Explorer dibuat untuk menangani data dalam jumlah besar secara efisien. Jika organisasi Anda menghasilkan volume data signifikan yang membutuhkan analisis real time, Azure Data Explorer adalah pilihan yang sesuai.
• Data rangkaian waktu: Azure Data Explorer unggul dalam menangani data rangkaian waktu, seperti log, data telemetri, dan pembacaan sensor. Ini mengatur data dalam partisi berbasis waktu, sehingga mudah untuk melakukan analisis dan agregasi berbasis waktu.
• Analitik real time: Jika organisasi Anda memerlukan wawasan real time dari data yang mengalir, kemampuan Azure Data Explorer yang hampir real-time dapat bermanfaat.

Prasyarat

• Akun Microsoft atau identitas pengguna Microsoft Entra. Langganan Azure tidak diperlukan.
• Kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Splunk Enterprise 9 atau yang lebih baru.
• Perwakilan layanan Microsoft Entra. Buat perwakilan layanan Microsoft Entra.

Membuat tabel dan objek pemetaan

Setelah Anda memiliki kluster dan database, buat tabel dengan skema yang cocok dengan data Splunk Anda. Anda juga membuat objek pemetaan yang digunakan untuk mengubah data masuk menjadi skema tabel target.

Dalam contoh berikut, Anda membuat tabel bernama WeatherAlert dengan empat kolom: Timestamp, , TemperatureHumidity, dan Weather. Anda juga membuat pemetaan baru bernama WeatherAlert_Json_Mapping yang mengekstrak properti dari json masuk seperti yang dicatat oleh path dan menghasilkannya ke yang ditentukan column.

Di editor kueri antarmuka pengguna web, jalankan perintah berikut untuk membuat tabel dan pemetaan:

1. Buat tabel:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Verifikasi bahwa tabel WeatherAlert telah dibuat dan kosong:

   WeatherAlert
   | count
   

3. Buat objek pemetaan:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Gunakan perwakilan layanan dari Prasyarat untuk memberikan izin untuk bekerja dengan database.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Menginstal add-on Splunk Azure Data Explorer

Add-on Splunk berkomunikasi dengan Azure Data Explorer dan mengirim data ke tabel yang ditentukan.

1. Unduh add-on Azure Data Explorer.

2. Masuk ke instans Splunk Anda sebagai administrator.

3. Buka Aplikasi>Kelola Aplikasi.

4. Pilih Instal aplikasi dari file lalu file add-on Azure Data Explorer yang Anda unduh.

5. Ikuti perintah untuk menyelesaikan penginstalan.

6. Pilih Mulai Ulang Sekarang.

7. Verifikasi bahwa add-on diinstal dengan masuk ke Tindakan Pemberitahuan Dasbor> dan mencari add-on Azure Data Explorer.

   

Membuat indeks baru di Splunk

Buat indeks di Splunk yang menentukan kriteria untuk data yang ingin Anda kirim ke Azure Data Explorer.

1. Masuk ke instans Splunk Anda sebagai administrator.
2. Buka Indeks Pengaturan>.
3. Tentukan nama untuk indeks dan konfigurasikan kriteria untuk data yang ingin Anda kirim ke Azure Data Explorer.
4. Konfigurasikan properti yang tersisa sesuai kebutuhan lalu simpan indeks.

Mengonfigurasi add-on Splunk untuk mengirim data ke Azure Data Explorer

1. Masuk ke instans Splunk Anda sebagai administrator.

2. Buka dasbor dan cari menggunakan indeks yang Anda buat sebelumnya. Misalnya, jika Anda membuat indeks bernama WeatherAlerts, cari index="WeatherAlerts".

3. Pilih Simpan Sebagai>Pemberitahuan.

4. Tentukan nama, interval, dan kondisi sebagaimana diperlukan untuk pemberitahuan.

   

5. Di bawah Tindakan Pemicu, pilih Tambahkan Tindakan>Kirim ke Microsoft Azure Data Explorer.

   

6. Konfigurasikan detail koneksi, sebagai berikut:

   Pengaturan	Deskripsi
   URL Penyerapan Kluster	Tentukan URL penyerapan kluster Azure Data Explorer Anda. Contohnya,https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   ID klien	Tentukan ID klien aplikasi Microsoft Entra yang Anda buat sebelumnya.
   Rahasia Klien	Tentukan rahasia klien aplikasi Microsoft Entra yang Anda buat sebelumnya.
   ID Penyewa	Tentukan ID penyewa aplikasi Microsoft Entra yang Anda buat sebelumnya.
   Database	Tentukan nama database yang ingin Anda kirimi data.
   Table	Tentukan nama tabel yang ingin Anda kirimi data.
   Pemetaan	Tentukan nama objek pemetaan yang Anda buat sebelumnya.
   Hapus Bidang Tambahan	Pilih opsi ini untuk menghapus bidang kosong apa pun dari data yang dikirim ke kluster Anda.
   Mode Tahan Lama	Pilih opsi ini untuk mengaktifkan mode durabilitas selama penyerapan. Ketika diatur ke true, throughput penyerapan terpengaruh.

   

7. Pilih Simpan untuk menyimpan pemberitahuan.

8. Buka halaman Pemberitahuan dan verifikasi bahwa pemberitahuan Anda muncul dalam daftar pemberitahuan.

   

Verifikasi bahwa data diserap ke Azure Data Explorer

Setelah pemberitahuan dipicu, data dikirim ke tabel Azure Data Explorer Anda. Anda dapat memverifikasi bahwa data diserap dengan menjalankan kueri di editor kueri antarmuka pengguna web.

1. Jalankan kueri berikut untuk memverifikasi bahwa data diserap ke dalam tabel:

   WeatherAlert
   | count
   

2. Jalankan kueri berikut untuk menampilkan data:

   WeatherAlert
   | take 100
   

   

Konten terkait

• Menulis kueri