إصدار مقاييس لاستهلاك الرموز المميزة لنموذج اللغة الكبيرة

ينطبق على: جميع مستويات إدارة واجهة برمجة التطبيقات

يرسل النهج llm-emit-token-metric مقاييس مخصصة إلى Application Insights حول استهلاك الرموز المميزة لنموذج اللغة الكبيرة (LLM) من خلال واجهات برمجة تطبيقات LLM. تتضمن مقاييس عدد الرموز المميزة: إجمالي الرموز المميزة والرموز المميزة للمطالبة ورمز الإكمال المميز.

النماذج المدعومة

استخدم النهج مع واجهات برمجة تطبيقات LLM المضافة إلى Azure API Management المتوفرة من خلال Azure الذكاء الاصطناعي Model Inference API.

حدود المقاييس المخصصة

يفرض Azure Monitor حدود استخدام للمقاييس المخصصة التي قد تؤثر على قدرتك على إصدار مقاييس من APIM. على سبيل المثال، يعين Azure Monitor حاليا حدا قدره 10 مفاتيح أبعاد لكل مقياس، وحدود 50000 سلسلة زمنية نشطة إجمالية لكل منطقة في اشتراك (خلال فترة 12 ساعة).

هذه الحدود لها الآثار التالية لتكوين مقاييس مخصصة في نهج إدارة واجهة برمجة التطبيقات مثل emit-metric أو azure-openai-emit-token-metric:

• يمكنك تكوين 10 أبعاد مخصصة كحد أقصى لكل نهج.

• عدد السلاسل الزمنية النشطة التي تم إنشاؤها بواسطة النهج خلال فترة 12 ساعة هو نتاج عدد القيم الفريدة لكل بعد تم تكوينه خلال الفترة. على سبيل المثال، إذا تم تكوين ثلاثة أبعاد مخصصة في النهج، وكان لكل بعد 10 قيم محتملة خلال الفترة، فإن النهج سيساهم بسلسلة زمنية نشطة 1000 (10 × 10 × 10).

• إذا قمت بتكوين النهج في مثيلات APIM متعددة موجودة في نفس المنطقة في اشتراك، يمكن لجميع المثيلات المساهمة في حد السلاسل الزمنية النشطة الإقليمية.

تعرف على المزيد حول قيود التصميم واعتبارات المقاييس المخصصة في Azure Monitor.

المتطلبات الأساسية

• يجب إضافة واحد أو أكثر من واجهات برمجة تطبيقات LLM إلى مثيل APIM.
• يجب دمج مثيل APIM الخاص بك مع Application insights. لمزيد من المعلومات، راجع كيفية تكامل Azure API Management مع Azure Application Insights.
• تمكين تسجيل Application Insights لواجهات برمجة تطبيقات LLM الخاصة بك.
• تمكين المقاييس المخصصة ذات الأبعاد في Application Insights. لمزيد من المعلومات، راجع إرسال مقاييس مخصصة.

نهج السياسة

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

سمات

عناصر

سمات البعد

أسماء الأبعاد الافتراضية التي يمكن استخدامها بدون قيمة

• معرف واجهة برمجة التطبيقات
• معرف العملية
• معرف المنتج
• معرِف المستخدم
• مُعرّف الاشتراك
• الموقع
• معرف البوابة

الاستخدام

• أقسام النهج:الواردة.
• نطاقات النهج: العمومية، ومساحة العمل، والمنتج، وواجهة برمجة التطبيقات، والتشغيل
• البوابات: الكلاسيكية، الإصدار 2، الاستهلاك، المستضافة ذاتيا، مساحة العمل

ملاحظات الاستخدام

• يمكن استخدام هذا النهج عدة مرات لكل تعريف نهج.
• يمكنك تكوين 10 أبعاد مخصصة على الأكثر لهذا النهج.
• عند توفرها، يتم استخدام القيم في قسم الاستخدام للاستجابة من واجهة برمجة تطبيقات LLM لتحديد مقاييس الرمز المميز.
• تدعم بعض نقاط نهاية LLM تدفق الاستجابات. عند stream تعيين إلى true في طلب واجهة برمجة التطبيقات لتمكين الدفق، يتم تقدير مقاييس الرمز المميز.

مثال

يرسل المثال التالي مقاييس عدد رموز LLM المميزة إلى Application Insights جنبا إلى جنب مع معرف واجهة برمجة التطبيقات كبعد مخصص.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

النهج ذات الصلة

• تسجيل
• نهج المقياس المنبعث
• نهج azure-openai-emit-token-metric
• نهج الحد من الرمز المميز llm

المحتوى ذو الصلة

لمزيد من المعلومات حول العمل مع النُهج، راجع:

• البرنامج التعليمي: تحويل واجهة برمجة التطبيقات الخاصة بك وحمايتها
• Policy reference لقائمة كاملة من بيانات النُهج وإعداداتها
• تعبيرات النهج
• تعيين النهج أو تحريرها
• إعادة استخدام التكوينات الخاصة بالنهج
• مستودع القصاصات البرمجية للنهج
• مجموعة أدوات نهج إدارة واجهة برمجة تطبيقات Azure
• نهج المؤلف باستخدام Microsoft Copilot في Azure