Pemberitahuan untuk beban kerja AI (Pratinjau)
Artikel ini mencantumkan pemberitahuan keamanan yang mungkin Anda dapatkan untuk beban kerja AI dari Microsoft Defender untuk Cloud dan paket Pertahanan Microsoft apa pun yang Anda aktifkan. Peringatan yang ditampilkan pada lingkungan Anda tergantung pada sumber daya dan layanan yang dilindungi, serta konfigurasi yang disesuaikan.
Catatan
Beberapa pemberitahuan yang baru ditambahkan didukung oleh Inteligensi Ancaman Microsoft Defender dan Microsoft Defender untuk Titik Akhir mungkin tidak terdokumentasi.
Pelajari cara menanggapi pemberitahuan ini.
Pelajari cara mengekspor pemberitahuan.
Catatan
Pemberitahuan dari sumber yang berbeda mungkin membutuhkan waktu yang berbeda untuk muncul. Misalnya, pemberitahuan yang memerlukan analisis lalu lintas jaringan mungkin membutuhkan waktu lebih lama untuk muncul daripada pemberitahuan yang terkait dengan proses mencurigakan yang berjalan pada komputer virtual.
Pemberitahuan beban kerja AI
Upaya pencurian kredensial yang terdeteksi pada penyebaran model Azure AI
(AI. Azure_CredentialTheftAttempt)
Deskripsi: Pemberitahuan pencurian kredensial dirancang untuk memberi tahu SOC ketika kredensial terdeteksi dalam respons model GenAI terhadap permintaan pengguna, menunjukkan potensi pelanggaran. Pemberitahuan ini sangat penting untuk mendeteksi kasus kebocoran kredensial atau pencurian, yang unik untuk AI generatif dan dapat memiliki konsekuensi parah jika berhasil.
Taktik MITRE: Akses Kredensial, Gerakan Lateral, Eksfiltrasi
Tingkat keparahan: Sedang
Upaya Jailbreak pada penyebaran model Azure AI diblokir oleh Azure AI Content Safety Prompt Shields
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Deskripsi: Pemberitahuan Jailbreak, dilakukan menggunakan teknik injeksi prompt langsung, dirancang untuk memberi tahu SOC ada upaya untuk memanipulasi prompt sistem untuk melewati perlindungan AI generatif, yang berpotensi mengakses data sensitif atau fungsi istimewa. Ini menunjukkan bahwa upaya tersebut diblokir oleh Azure Responsible AI Content Safety (juga dikenal sebagai Prompt Shields), memastikan integritas sumber daya AI dan keamanan data.
Taktik MITRE: Eskalasi Hak Istimewa, Penghindarian Pertahanan
Tingkat keparahan: Sedang
Upaya Jailbreak pada penyebaran model Azure AI terdeteksi oleh Azure AI Content Safety Prompt Shields
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Deskripsi: Pemberitahuan Jailbreak, dilakukan menggunakan teknik injeksi prompt langsung, dirancang untuk memberi tahu SOC ada upaya untuk memanipulasi prompt sistem untuk melewati perlindungan AI generatif, yang berpotensi mengakses data sensitif atau fungsi istimewa. Ini menunjukkan bahwa upaya tersebut terdeteksi oleh Azure Responsible AI Content Safety (juga dikenal sebagai Prompt Shields), tetapi tidak diblokir karena pengaturan pemfilteran konten atau karena kepercayaan diri yang rendah.
Taktik MITRE: Eskalasi Hak Istimewa, Penghindarian Pertahanan
Tingkat keparahan: Sedang
Paparan Data Sensitif Terdeteksi dalam Penyebaran Model Azure AI
(AI. Azure_DataLeakInModelResponse.Sensitif)
Deskripsi: Pemberitahuan kebocoran data sensitif dirancang untuk memberi tahu SOC bahwa model GenAI merespons permintaan pengguna dengan informasi sensitif, berpotensi karena pengguna jahat yang mencoba melewati perlindungan AI generatif untuk mengakses data sensitif yang tidak sah.
Taktik MITRE: Koleksi
Tingkat keparahan: Rendah
Aplikasi AI yang rusak\model\data mengarahkan upaya pengelabuan pada pengguna
(AI. Azure_PhishingContentInModelResponse)
Deskripsi: Pemberitahuan ini menunjukkan kerusakan aplikasi AI yang dikembangkan oleh organisasi, karena telah secara aktif membagikan URL berbahaya yang diketahui digunakan untuk phishing dengan pengguna. URL yang berasal dari dalam aplikasi itu sendiri, model AI, atau data yang dapat diakses aplikasi.
Taktik MITRE: Dampak (Defacement)
Tingkat keparahan: Tinggi
URL pengelabuan yang dibagikan dalam aplikasi AI
(AI. Azure_PhishingContentInAIApplication)
Deskripsi: Pemberitahuan ini menunjukkan potensi kerusakan aplikasi AI, atau upaya pengelabuan oleh salah satu pengguna akhir. Pemberitahuan menentukan bahwa URL berbahaya yang digunakan untuk phishing diteruskan selama percakapan melalui aplikasi AI, namun asal URL (pengguna atau aplikasi) tidak jelas.
Taktik MITRE: Dampak (Defacement), Koleksi
Tingkat keparahan: Tinggi
Upaya pengelabuan terdeteksi dalam aplikasi AI
(AI. Azure_PhishingContentInUserPrompt)
Deskripsi: Pemberitahuan ini menunjukkan URL yang digunakan untuk serangan pengelabuan dikirim oleh pengguna ke aplikasi AI. Konten biasanya memikat pengunjung untuk memasukkan kredensial perusahaan atau informasi keuangan mereka ke situs web yang terlihat sah. Mengirim ini ke aplikasi AI mungkin untuk tujuan merusaknya, meracuni sumber data yang dapat diaksesnya, atau mendapatkan akses ke karyawan atau pelanggan lain melalui alat aplikasi.
Taktik MITRE: Koleksi
Tingkat keparahan: Tinggi
Agen pengguna yang mencurigakan terdeteksi
(AI. Azure_AccessFromSuspiciousUserAgent)
Deskripsi: Agen pengguna permintaan yang mengakses salah satu sumber daya Azure AI Anda berisi nilai anomali yang menunjukkan upaya untuk menyalahgunakan atau memanipulasi sumber daya. Agen pengguna mencurigakan yang dimaksud telah dipetakan oleh inteligensi ancaman Microsoft karena dicurigai memiliki niat jahat dan karenanya sumber daya Anda kemungkinan disusupi.
Taktik MITRE: Eksekusi, Pengintaian, Akses awal
Tingkat keparahan: Sedang
Injeksi permintaan penyelundupan ASCII terdeteksi
(AI. Azure_ASCIISmuggling)
Deskripsi: Teknik penyelundupan ASCII memungkinkan penyerang mengirim instruksi yang tidak terlihat ke model AI. Serangan ini biasanya dikaitkan dengan injeksi prompt tidak langsung, di mana pelaku ancaman berbahaya melewati instruksi tersembunyi untuk melewati pagar pembatas aplikasi dan model. Serangan ini biasanya diterapkan tanpa sepengetahuan pengguna mengingat kurangnya visibilitas mereka dalam teks dan dapat membahayakan alat aplikasi atau himpunan data yang terhubung.
Taktik MITRE: Dampak
Tingkat keparahan: Tinggi
Akses dari IP Tor
(AI. Azure_AccessFromAnonymizedIP)
Deskripsi: Alamat IP dari jaringan Tor mengakses salah satu sumber daya AI. Tor adalah jaringan yang memungkinkan orang mengakses Internet sambil menjaga IP asli mereka tetap tersembunyi. Meskipun ada penggunaan yang sah, sering digunakan oleh penyerang untuk menyembunyikan identitas mereka ketika mereka menargetkan sistem orang secara online.
Taktik MITRE: Eksekusi
Tingkat keparahan: Tinggi
Akses dari IP yang mencurigakan
(AI. Azure_AccessFromSuspiciousIP)
Deskripsi: Alamat IP yang mengakses salah satu layanan AI Anda diidentifikasi oleh Inteligensi Ancaman Microsoft karena memiliki kemungkinan besar menjadi ancaman. Saat mengamati lalu lintas Internet berbahaya, IP ini muncul karena terlibat dalam menyerang target online lainnya.
Taktik MITRE: Eksekusi
Tingkat keparahan: Tinggi
Dugaan serangan dompet - permintaan berulang
(AI. Azure_DOWDuplicateRequests)
Deskripsi: Serangan dompet adalah keluarga serangan yang umum untuk sumber daya AI yang terdiri dari pelaku ancaman yang secara berlebihan terlibat dengan sumber daya AI secara langsung atau melalui aplikasi dengan harapan menyebabkan kerusakan finansial besar organisasi. Deteksi ini melacak volume tinggi permintaan identik yang menargetkan sumber daya AI yang sama yang mungkin disebabkan oleh serangan yang sedang berlangsung.
Taktik MITRE: Dampak
Tingkat keparahan: Sedang
Dugaan serangan dompet - anomali volume
(AI. Azure_DOWVolumeAnomaly)
Deskripsi: Serangan dompet adalah keluarga serangan yang umum untuk sumber daya AI yang terdiri dari pelaku ancaman yang secara berlebihan terlibat dengan sumber daya AI secara langsung atau melalui aplikasi dengan harapan menyebabkan kerusakan finansial besar organisasi. Deteksi ini melacak permintaan dan respons dalam volume tinggi oleh sumber daya yang tidak konsisten dengan patter penggunaan historisnya.
Taktik MITRE: Dampak
Tingkat keparahan: Sedang
Mengakses anomali dalam sumber daya AI
(AI. Azure_AccessAnomaly)
Deskripsi: Pemberitahuan ini melacak anomali dalam pola akses ke sumber daya AI. Perubahan parameter permintaan oleh pengguna atau aplikasi seperti agen pengguna, rentang IP, metode autentikasi, dll. dapat menunjukkan sumber daya yang disusupi yang sekarang diakses oleh aktor jahat. Pemberitahuan ini dapat memicu ketika permintaan valid jika mewakili perubahan signifikan dalam pola akses sebelumnya ke sumber daya tertentu.
Taktik MITRE: Eksekusi, Pengintaian, Akses awal
Tingkat keparahan: Sedang
Catatan
Untuk lansiran yang ada dalam pratinjau: Persyaratan Tambahan Pratinjau Azure mencakup persyaratan hukum tambahan yang berlaku untuk fitur Azure yang masih dalam versi beta, pratinjau, atau belum dirilis ke ketersediaan umum.