Menyerap data dari aliran Cribl ke Azure Data Explorer

Cribl Stream adalah mesin pemrosesan yang mengumpulkan, memproses, dan mengalirkan data peristiwa mesin dengan aman dari sumber apa pun. Ini memungkinkan Anda untuk mengurai dan memproses data tersebut untuk tujuan apa pun untuk analisis dan manajemen dengan cara yang aman.

Artikel ini memperlihatkan cara menyerap data dengan Cribl Stream.

Untuk daftar lengkap konektor data, lihat Gambaran umum integrasi data.

Prasyarat

• Akun Cribl Stream
• Kluster dan database Azure Data Explorer dengan kebijakan cache dan retensi default.
• Lingkungan kueri. Untuk informasi selengkapnya, lihat Gambaran umum integrasi kueri.
• URI kluster Kusto Anda untuk nilai TargetURI dalam kluster> formathttps://ingest-<.<region.kusto.windows.net>. Untuk informasi selengkapnya, lihat Menambahkan koneksi kluster.

Membuat perwakilan layanan Microsoft Entra

Perwakilan layanan Microsoft Entra dapat dibuat melalui portal Azure atau secara terprogram, seperti dalam contoh berikut.

Perwakilan layanan ini adalah identitas yang digunakan oleh konektor untuk menulis data ke tabel Anda di Kusto. Anda memberikan izin bagi perwakilan layanan ini untuk mengakses sumber daya Kusto.

1. Masuk ke langganan Azure Anda melalui Azure CLI. Kemudian autentikasi di browser.

   az login
   

2. Pilih langganan untuk menghosting perwakilan. Langkah ini diperlukan saat Anda memiliki beberapa langganan.

   az account set --subscription YOUR_SUBSCRIPTION_GUID
   

3. Buat perwakilan layanan. Dalam contoh ini, perwakilan layanan disebut my-service-principal.

   az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
   

4. Dari data JSON yang dikembalikan, salin appId, password, dan tenant untuk penggunaan di masa mendatang.

   {
     "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "displayName": "my-service-principal",
     "name": "my-service-principal",
     "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
   }
   

Anda telah membuat aplikasi Microsoft Entra dan perwakilan layanan Anda.

Membuat tabel target

Buat tabel target untuk data masuk dan pemetaan penyerapan untuk memetakan kolom data yang diserap ke kolom dalam tabel target.

1. Jalankan perintah pembuatan tabel berikut di editor kueri Anda, ganti tableName tempat penampung dengan nama tabel target:

   .create table <TableName> (_raw: string, _time: long, cribl_pipe: dynamic)
   

2. Jalankan perintah buat pemetaan penyerapan berikut, ganti tableName tempat penampung dengan nama tabel target dan TableNameMapping dengan nama pemetaan penyerapan:

   .create table <TableName> ingestion csv mapping '<TableNameMapping>' 'CriblLogMapping' '[{"Name":"_raw","DataType":"string","Ordinal":"0","ConstValue":null},{"Name":"_time","DataType":"long","Ordinal":"1","ConstValue":null},{"Name":"cribl_pipe","DataType":"dynamic","Ordinal":"2","ConstValue":null}]'
   

3. Berikan perwakilan layanan dari Membuat izin peran ingestor database utama layanan Microsoft Entra untuk bekerja dengan database. Untuk informasi selengkapnya, lihat Contoh. Ganti tempat penampung DatabaseName dengan nama database target dan ApplicationID dengan nilai yang AppId Anda simpan saat membuat perwakilan layanan Microsoft Entra.

   .add database <DatabaseName> ingestors ('aadapp=<ApplicationID>') 'App Registration'
   

Membuat tujuan Cribl Stream

Bagian berikut menjelaskan cara membuat tujuan Cribl Stream yang menulis data ke tabel Anda di Kusto. Setiap tabel memerlukan konektor tujuan Cribl Stream terpisah.

Pilih tujuan

Untuk menyambungkan Cribl Stream ke tabel Anda:

1. Dari navigasi atas di Cribl, pilih Kelola lalu pilih Grup Pekerja.

2. Pilih Perutean>QuickConnect (Stream)>Tambahkan Tujuan.

3. Di jendela Siapkan Tujuan QuickConnect baru, pilih Azure Data Explorer, lalu Tambahkan sekarang.

Menyiapkan pengaturan umum

Di jendela Data Explorer Baru, di Pengaturan Umum atur pengaturan berikut:

Setelah selesai, pilih Berikutnya.

Pengaturan autentikasi

Pilih Pengaturan Autentikasi di bilah samping. Gunakan nilai yang Anda simpan di Membuat perwakilan layanan Microsoft Entra bersama dengan URI dasar Anda sebagai berikut:

Kemudian pilih Berikutnya.

Antrean Persisten

Ditampilkan ketika mode Penyerapan diatur ke Streaming, dan Perilaku backpressure diatur ke Antrean Persisten.

Setelah selesai, pilih Berikutnya.

Pengaturan pemrosesan

Setelah selesai, pilih Berikutnya.

Pengaturan parquet

Menampilkan ketika Parquet dipilih untuk Format Data.

Memilih Parquet membuka tab Pengaturan Parquet, untuk memilih skema Parquet.

Percobaan kembali

Ditampilkan ketika mode Penyerapan diatur ke Streaming.

Setelah selesai, pilih Berikutnya.

Pengaturan tingkat lanjut

Pilih Pengaturan Tingkat Lanjut dari bilah samping. Berikut ini menjelaskan pengaturan tingkat lanjut saat Batching dipilih:

Setelah selesai, pilih Simpan.

Konfigurasi koneksi

Dari jendela Konfigurasi Koneksi yang terbuka, pilih Koneksi Passthru lalu Simpan. Konektor mulai mengantrekan data.

Mengonfirmasi penyerapan data

1. Setelah data tiba dalam tabel, konfirmasikan transfer data, dengan memeriksa jumlah baris:

   <Tablename> 
   | count
   

2. Konfirmasikan penyerapan yang diantrekan dalam lima menit terakhir:

   .show commands-and-queries 
   | where Database == "" and CommandType == "DataIngestPull" 
   | where LastUpdatedOn >= ago(5m)
   

3. Konfirmasikan bahwa tidak ada kegagalan dalam proses penyerapan:

   • Untuk batching:

   .show ingestion failures
   

   • Untuk streaming:

   .show streamingingestion failures 
   | order by LastFailureOn desc
   

4. Verifikasi data dalam tabel Anda:

   <TableName>
   | take 10
   

Untuk contoh dan panduan kueri, lihat Menulis kueri dalam dokumentasi KQL dan Bahasa Kueri Kusto.

Konten terkait

• Gambaran umum integrasi data
• Gambaran umum Bahasa Kueri Kusto (KQL)