تنبيهات لأحمال العمل الذكاء الاصطناعي (معاينة)
تسرد هذه المقالة تنبيهات الأمان التي قد تحصل عليها لأحمال العمل الذكاء الاصطناعي من Microsoft Defender for Cloud وأي خطط Microsoft Defender قمت بتمكينها. تعتمد التنبيهات المعروضة في بيئتك على الموارد والخدمات التي تحميها، والتكوين المخصص.
إشعار
قد تكون بعض التنبيهات المضافة مؤخرا التي يتم تشغيلها بواسطة تحليل ذكي للمخاطر في Microsoft Defender Microsoft Defender لنقطة النهاية غير مستندة.
تعرف على كيفية الاستجابة لهذه التنبيهات.
تعرف على كيفية تصدير التنبيهات.
إشعار
قد تستغرق التنبيهات من مصادر مختلفة وقتاً مختلفاً للظهور. مثلاً، قد تستغرق التنبيهات التي تتطلب تحليل حركة مرور الشبكة وقتاً أطول من التنبيهات المتعلقة بالعمليات المشبوهة التي تعمل على الأجهزة الظاهرية.
تنبيهات حمل العمل الذكاء الاصطناعي
اكتشاف محاولات سرقة بيانات الاعتماد على توزيع نموذج Azure الذكاء الاصطناعي
(الذكاء الاصطناعي. Azure_CredentialTheftAttempt)
الوصف: تم تصميم تنبيه سرقة بيانات الاعتماد لإعلام SOC عند اكتشاف بيانات الاعتماد داخل استجابات نموذج GenAI لمطالبة المستخدم، مما يشير إلى خرق محتمل. يعد هذا التنبيه أمرا بالغ الأهمية للكشف عن حالات تسرب بيانات الاعتماد أو سرقتها، وهي فريدة من نوعها الذكاء الاصطناعي التوليدية ويمكن أن يكون لها عواقب وخيمة إذا نجحت.
تكتيكات MITRE: الوصول إلى بيانات الاعتماد، الحركة الجانبية، النقل غير المصرح به
الخطورة: متوسط
تم حظر محاولة الهروب من السجن لتوزيع نموذج Azure الذكاء الاصطناعي بواسطة Azure الذكاء الاصطناعي Content Safety Prompt Shields
(الذكاء الاصطناعي. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
الوصف: تم تصميم تنبيه كسر السجن، الذي تم تنفيذه باستخدام تقنية حقن موجه مباشر، لإعلام SOC كانت هناك محاولة لمعالجة مطالبة النظام لتجاوز ضمانات الذكاء الاصطناعي التوليدية، والتي يحتمل أن تصل إلى البيانات الحساسة أو الوظائف المتميزة. وأشارت إلى أن مثل هذه المحاولات تم حظرها بواسطة Azure المسؤول الذكاء الاصطناعي Content Safety (المعروف أيضا باسم Prompt Shields)، ما يضمن تكامل موارد الذكاء الاصطناعي وأمان البيانات.
تكتيكات MITRE: تصعيد الامتياز، التهرب الدفاعي
الخطورة: متوسط
تم الكشف عن محاولة اختراق الحماية لتوزيع نموذج Azure الذكاء الاصطناعي بواسطة Azure الذكاء الاصطناعي Content Safety Prompt Shields
(الذكاء الاصطناعي. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
الوصف: تم تصميم تنبيه كسر السجن، الذي تم تنفيذه باستخدام تقنية حقن موجه مباشر، لإعلام SOC كانت هناك محاولة لمعالجة مطالبة النظام لتجاوز ضمانات الذكاء الاصطناعي التوليدية، والتي يحتمل أن تصل إلى البيانات الحساسة أو الوظائف المتميزة. وأشارت إلى أنه تم الكشف عن مثل هذه المحاولات بواسطة Azure المسؤول الذكاء الاصطناعي Content Safety (المعروف أيضا باسم Prompt Shields)، ولكن لم يتم حظرها بسبب إعدادات تصفية المحتوى أو بسبب انخفاض الثقة.
تكتيكات MITRE: تصعيد الامتياز، التهرب الدفاعي
الخطورة: متوسط
الكشف عن تعرض البيانات الحساسة في توزيع نموذج Azure الذكاء الاصطناعي
(الذكاء الاصطناعي. Azure_DataLeakInModelResponse.حساس)
الوصف: تم تصميم تنبيه تسرب البيانات الحساسة لإعلام SOC بأن نموذج GenAI استجاب لمطالبة مستخدم بمعلومات حساسة، يحتمل أن يكون ذلك بسبب محاولة مستخدم ضار تجاوز ضمانات الذكاء الاصطناعي التوليدية للوصول إلى البيانات الحساسة غير المصرح بها.
تكتيكات MITRE: المجموعة
الخطورة: منخفض
قام تطبيق الذكاء الاصطناعي تالف\model\data بتوجيه محاولة تصيد احتيالي إلى مستخدم
(الذكاء الاصطناعي. Azure_PhishingContentInModelResponse)
الوصف: يشير هذا التنبيه إلى تلف تطبيق الذكاء الاصطناعي طورته المؤسسة، حيث شارك بنشاط عنوان URL ضار معروف يستخدم للتصيد الاحتيالي مع مستخدم. تم إنشاء عنوان URL داخل التطبيق نفسه أو نموذج الذكاء الاصطناعي أو البيانات التي يمكن للتطبيق الوصول إليها.
تكتيكات MITRE: التأثير (التشويه)
الخطورة: عالية
عنوان URL للتصيد الاحتيالي المشترك في تطبيق الذكاء الاصطناعي
(الذكاء الاصطناعي. Azure_PhishingContentInAIApplication)
الوصف: يشير هذا التنبيه إلى تلف محتمل لتطبيق الذكاء الاصطناعي، أو محاولة تصيد احتيالي من قبل أحد المستخدمين النهائيين. يحدد التنبيه أنه تم تمرير عنوان URL ضار يستخدم للتصيد الاحتيالي أثناء محادثة عبر تطبيق الذكاء الاصطناعي، ولكن أصل عنوان URL (المستخدم أو التطبيق) غير واضح.
تكتيكات MITRE: التأثير (التشويه)، المجموعة
الخطورة: عالية
تم الكشف عن محاولة التصيد الاحتيالي في تطبيق الذكاء الاصطناعي
(الذكاء الاصطناعي. Azure_PhishingContentInUserPrompt)
الوصف: يشير هذا التنبيه إلى أن عنوان URL المستخدم في هجوم التصيد الاحتيالي تم إرساله من قبل مستخدم إلى تطبيق الذكاء الاصطناعي. عادة ما يغرى المحتوى الزوار بإدخال بيانات اعتماد الشركة أو المعلومات المالية الخاصة بهم في موقع ويب شرعي المظهر. قد يكون إرسال هذا إلى تطبيق الذكاء الاصطناعي بغرض إتلافه أو تسميم مصادر البيانات التي لديه حق الوصول إليها أو الوصول إلى الموظفين أو العملاء الآخرين عبر أدوات التطبيق.
تكتيكات MITRE: المجموعة
الخطورة: عالية
تم الكشف عن عامل مستخدم مريب
(الذكاء الاصطناعي. Azure_AccessFromSuspiciousUserAgent)
الوصف: احتوى وكيل المستخدم لطلب يصل إلى أحد موارد Azure الذكاء الاصطناعي على قيم شاذة تدل على محاولة إساءة استخدام المورد أو معالجته. تم تعيين عامل المستخدم المشبوه المعني بواسطة التحليل الذكي للمخاطر من Microsoft على أنه يشتبه في وجود نية ضارة ومن ثم من المحتمل أن تكون مواردك قد تعرضت للخطر.
تكتيكات MITRE: التنفيذ، الاستطلاع، الوصول الأولي
الخطورة: متوسط
الكشف عن حقن موجه تهريب ASCII
(الذكاء الاصطناعي. Azure_ASCIISmuggling)
الوصف: تسمح تقنية تهريب ASCII للمهاجم بإرسال تعليمات غير مرئية إلى نموذج الذكاء الاصطناعي. عادة ما تعزى هذه الهجمات إلى حقن المطالبة غير المباشرة، حيث يقوم ممثل التهديد الضار بتمرير تعليمات مخفية لتجاوز حواجز حماية التطبيق والنموذج. عادة ما يتم تطبيق هذه الهجمات دون معرفة المستخدم نظرا لعدم وضوحها في النص ويمكن أن تعرض أدوات التطبيق أو مجموعات البيانات المتصلة للخطر.
تكتيكات MITRE: التأثير
الخطورة: عالية
الوصول من عنوان IP الخاص ب Tor
(الذكاء الاصطناعي. Azure_AccessFromAnonymizedIP)
الوصف: تم الوصول إلى عنوان IP من شبكة Tor إلى أحد موارد الذكاء الاصطناعي. Tor هي شبكة تسمح للأشخاص بالوصول إلى الإنترنت مع الاحتفاظ ب IP الحقيقي الخاص بهم مخفيا. على الرغم من وجود استخدامات مشروعة، فإنه غالبا ما يستخدم من قبل المهاجمين لإخفاء هويتهم عندما يستهدفون أنظمة الأشخاص عبر الإنترنت.
تكتيكات MITRE: التنفيذ
الخطورة: عالية
الوصول من IP المشبوه
(الذكاء الاصطناعي. Azure_AccessFromSuspiciousIP)
الوصف: تم تحديد عنوان IP الذي يصل إلى إحدى خدمات الذكاء الاصطناعي من قبل Microsoft Threat Intelligence على أنه لديه احتمال كبير بأن يكون تهديدا. أثناء مراقبة حركة مرور الإنترنت الضارة، جاء عنوان IP هذا على أنه متورط في مهاجمة أهداف أخرى عبر الإنترنت.
تكتيكات MITRE: التنفيذ
الخطورة: عالية
هجوم المحفظة المشتبه به - الطلبات المتكررة
(الذكاء الاصطناعي. Azure_DOWDuplicateRequests)
الوصف: هجمات المحفظة هي مجموعة من الهجمات الشائعة لموارد الذكاء الاصطناعي التي تتكون من جهات التهديد التي تتفاعل بشكل مفرط مع مورد الذكاء الاصطناعي مباشرة أو من خلال تطبيق على أمل التسبب في أضرار مالية كبيرة للمؤسسة. يتتبع هذا الكشف كميات كبيرة من الطلبات المتطابقة التي تستهدف نفس مورد الذكاء الاصطناعي الذي قد يحدث بسبب هجوم مستمر.
تكتيكات MITRE: التأثير
الخطورة: متوسط
هجوم المحفظة المشتبه به - شذوذ في مستوى الصوت
(الذكاء الاصطناعي. Azure_DOWVolumeAnomaly)
الوصف: هجمات المحفظة هي مجموعة من الهجمات الشائعة لموارد الذكاء الاصطناعي التي تتكون من جهات التهديد التي تتفاعل بشكل مفرط مع مورد الذكاء الاصطناعي مباشرة أو من خلال تطبيق على أمل التسبب في أضرار مالية كبيرة للمؤسسة. يتتبع هذا الكشف كميات كبيرة من الطلبات والاستجابات بواسطة المورد غير المتناسقة مع علامات الاستخدام التاريخية الخاصة به.
تكتيكات MITRE: التأثير
الخطورة: متوسط
الوصول إلى الحالات الشاذة في مورد الذكاء الاصطناعي
(الذكاء الاصطناعي. Azure_AccessAnomaly)
الوصف: يتتبع هذا التنبيه الحالات الشاذة في أنماط الوصول إلى مورد الذكاء الاصطناعي. يمكن أن تشير التغييرات في معلمات الطلب من قبل المستخدمين أو التطبيقات مثل عوامل المستخدم ونطاقات IP وأساليب المصادقة وما إلى ذلك إلى مورد مخترق يتم الوصول إليه الآن من قبل جهات ضارة. قد يتم تشغيل هذا التنبيه عندما تكون الطلبات صالحة إذا كانت تمثل تغييرات كبيرة في نمط الوصول السابق إلى مورد معين.
تكتيكات MITRE: التنفيذ، الاستطلاع، الوصول الأولي
الخطورة: متوسط
إشعار
للتنبيهات في المعاينة: تتضمن شروط Azure Preview التكميلية شروطًا قانونية إضافية تنطبق على ميزات Azure الموجودة في الإصدار التجريبي أو المعاينة أو التي لم يتم إصدارها بعد في الإتاحة العامة.