مشاركة عبر

استجابات ذاكرة التخزين المؤقت لطلبات واجهة برمجة تطبيقات نموذج اللغة الكبيرة

  • مقالة

ينطبق على: جميع مستويات إدارة واجهة برمجة التطبيقات

يقوم llm-semantic-cache-store النهج بتخزين الاستجابات مؤقتا لواجهة برمجة تطبيقات إكمال الدردشة وإكمال طلبات واجهة برمجة التطبيقات إلى ذاكرة تخزين مؤقت خارجية تم تكوينها. يقلل التخزين المؤقت للاستجابة من متطلبات النطاق الترددي والمعالجة المفروضة على واجهة برمجة تطبيقات Azure OpenAI الخلفية ويقلل من زمن الانتقال الذي يراه مستهلكو واجهة برمجة التطبيقات.

إشعار

إشعار

تعيين عناصر النهج والعناصر التابعة بالترتيب الوارد في بيان النهج. تعلم كيفية إعداد نُهج APIM أو تعديلها.

النماذج المدعومة

استخدم النهج مع واجهات برمجة تطبيقات LLM المضافة إلى Azure API Management المتوفرة من خلال Azure الذكاء الاصطناعي Model Inference API.

نهج السياسة

<llm-semantic-cache-store duration="seconds"/>

سمات

السمة ‏‏الوصف مطلوبة افتراضي
المدة مدة بقاء الإدخالات المخزنة مؤقتًا، محددة بالثواني. يتم السماح بتعبيرات النهج. ‏‏نعم‬ غير متوفر

الاستخدام

ملاحظات الاستخدام

  • يمكن استخدام هذا النهج مرة واحدة فقط في قسم النهج.
  • إذا فشل البحث عن ذاكرة التخزين المؤقت، فإن استدعاء API الذي يستخدم العملية المتعلقة بذاكرة التخزين المؤقت لا يثير خطأ، وتكتمل عملية ذاكرة التخزين المؤقت بنجاح.

الأمثلة

مثال مع نهج بحث llm-semantic-cache-lookup المطابق

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

المحتوى ذو الصلة

لمزيد من المعلومات حول العمل مع النُهج، راجع: