Menyerap data dari Splunk Universal Forwarder ke Azure Data Explorer

Splunk Universal Forwarder adalah versi ringan dari perangkat lunak Splunk Enterprise yang memungkinkan Anda menyerap data dari banyak sumber secara bersamaan. Ini dirancang untuk mengumpulkan dan meneruskan data log dan data mesin dari berbagai sumber ke server Splunk Enterprise pusat atau penyebaran Splunk Cloud. Splunk Universal Forwarder berfungsi sebagai agen yang menyederhanakan proses pengumpulan dan penerusan data, menjadikannya komponen penting dalam penyebaran Splunk. Azure Data Explorer adalah layanan eksplorasi data yang cepat dan sangat dapat diskalakan untuk data log dan telemetri.

Dalam artikel ini, pelajari cara menggunakan Kusto Splunk Universal Forwarder Connector untuk mengirim data ke tabel di kluster Anda. Anda awalnya membuat tabel dan pemetaan data, lalu mengarahkan Splunk untuk mengirim data ke dalam tabel, lalu memvalidasi hasilnya.

Prasyarat

• Splunk Universal Forwarder diunduh pada komputer yang sama tempat log berasal.
• Kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Docker diinstal pada sistem yang menjalankan konektor Kusto Splunk Universal Forwarder.
• Perwakilan layanan Microsoft Entra. Buat perwakilan layanan Microsoft Entra.

Membuat tabel Azure Data Explorer

Buat tabel untuk menerima data dari Splunk Universal Forwarder lalu berikan akses perwakilan layanan ke tabel ini.

Dalam langkah-langkah berikut, Anda membuat tabel bernama SplunkUFLogs dengan satu kolom (RawText). Ini karena Splunk Universal Forwarder mengirim data dalam format teks mentah secara default. Perintah berikut dapat dijalankan di editor kueri UI web.

1. Buat tabel:

   .create table SplunkUFLogs (RawText: string)
   

2. Verifikasi bahwa tabel SplunkUFLogs telah dibuat dan kosong:

   SplunkUFLogs
   | count
   

3. Gunakan perwakilan layanan dari Prasyarat untuk memberikan izin untuk bekerja dengan database yang berisi tabel Anda.

   .add database YOUR_DATABASE_NAME admins ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra service principal: Splunk UF'
   

Mengonfigurasi Splunk Universal Forwarder

Saat Anda mengunduh Splunk Universal Forwarder, wizard terbuka untuk mengonfigurasi penerus.

1. Dalam wizard, atur Pengindeks Penerima untuk menunjuk ke sistem yang menghosting konektor Kusto Splunk Universal Forwarder. Masukkan 127.0.0.1 untuk Nama Host atau IP dan 9997 untuk port. Biarkan Pengindeks Tujuan kosong.

   Untuk informasi selengkapnya, lihat Mengaktifkan penerima untuk Splunk Enterprise.

2. Buka folder tempat Splunk Universal Forwarder diinstal lalu ke folder /etc/system/local . Buat atau ubah file inputs.conf untuk memungkinkan penerus membaca log:

   [default]
   index = default
   disabled = false
   
   [monitor://C:\Program Files\Splunk\var\log\splunk\modinput_eventgen.log*]
   sourcetype = modinput_eventgen
   

   Untuk informasi selengkapnya, lihat Memantau file dan direktori dengan inputs.conf.

3. Buka folder tempat Splunk Universal Forwarder diinstal lalu ke folder /etc/system/local . Buat atau ubah file outputs.conf untuk menentukan lokasi tujuan untuk log, yang merupakan nama host dan port sistem yang menghosting konektor Kusto Splunk Universal Forwarder:

   [tcpout]
   defaultGroup = default-autolb-group
   sendCookedData = false
   
   [tcpout:default-autolb-group]
   server = 127.0.0.1:9997
   
   [tcpout-server://127.0.0.1:9997]
   

   Untuk informasi selengkapnya, lihat Mengonfigurasi penerusan dengan outputs.conf.

4. Mulai ulang Splunk Universal Forwarder.

Mengonfigurasi konektor Kusto Splunk Universal

Untuk mengonfigurasi konektor Kusto Splunk Universal untuk mengirim log ke tabel Azure Data Explorer Anda:

1. Unduh atau klon konektor dari repositori GitHub.

2. Buka direktori dasar konektor:

   cd .\SplunkADXForwarder\
   

3. Edit config.yml untuk berisi properti berikut ini:

   ingest_url: <ingest_url>
   client_id: <ms_entra_app_client_id>
   client_secret: <ms_entra_app_client_secret>
   authority: <ms_entra_authority>
   database_name: <database_name>
   table_name: <table_name>
   table_mapping_name: <table_mapping_name>
   data_format: csv
   

   Bidang	Deskripsi
   ingest_url	URL penyerapan untuk kluster Azure Data Explorer Anda. Anda dapat menemukannya di portal Azure di bawah URI Penyerapan data di tab Gambaran Umum kluster Anda. Ini harus dalam format https://ingest-<clusterName>.<region>.kusto.windows.net.
   client_id	ID klien pendaftaran aplikasi Microsoft Entra Anda yang dibuat di bagian Prasyarat .
   client_secret	Rahasia klien pendaftaran aplikasi Microsoft Entra Anda yang dibuat di bagian Prasyarat .
   authority	ID penyewa yang menyimpan pendaftaran aplikasi Microsoft Entra Anda yang dibuat di bagian Prasyarat .
   database_name	Nama database Azure Data Explorer Anda.
   table_name	Nama tabel tujuan Azure Data Explorer Anda.
   table_mapping_name	Nama pemetaan data penyerapan untuk tabel Anda. Jika Anda tidak memiliki pemetaan, Anda dapat menghilangkan properti ini dari file konfigurasi. Anda selalu dapat mengurai data ke dalam berbagai kolom nanti.
   data_format	Format data yang diharapkan untuk data masuk. Data masuk dalam format teks mentah, sehingga format yang direkomendasikan adalah csv, yang memetakan teks mentah ke indeks nol secara default.

4. Buat gambar docker:

   docker build -t splunk-forwarder-listener
   

5. Jalankan kontainer docker:

   docker run -p 9997:9997 splunk-forwarder-listener
   

Verifikasi bahwa data diserap ke Azure Data Explorer

Setelah docker berjalan, data dikirim ke tabel Azure Data Explorer Anda. Anda dapat memverifikasi bahwa data diserap dengan menjalankan kueri di editor kueri antarmuka pengguna web.

1. Jalankan kueri berikut untuk memverifikasi bahwa data diserap ke dalam tabel:

   SplunkUFLogs
   | count
   

2. Jalankan kueri berikut untuk menampilkan data:

   SplunkUFLogs
   | take 100
   

Konten terkait

• Menulis kueri