Baca dalam bahasa Inggris

Bagikan melalui

Memancarkan metrik untuk konsumsi token model bahasa besar

  • Artikel

BERLAKU UNTUK: Semua tingkatAN API Management

Kebijakan ini llm-emit-token-metric mengirimkan metrik kustom ke Application Insights tentang konsumsi token model bahasa besar (LLM) melalui API LLM. Metrik jumlah token meliputi: Token Total, Token Prompt, dan Token Penyelesaian.

Catatan

Saat ini, kebijakan ini sedang dalam pratinjau.

Catatan

Tetapkan elemen kebijakan dan elemen turunan dalam urutan yang disediakan dalam pernyataan kebijakan. Pelajari lebih lanjut cara mengatur atau mengedit kebijakan API Management.

Model yang didukung

Gunakan kebijakan dengan API LLM yang ditambahkan ke Azure API Management yang tersedia melalui Azure AI Model Inference API.

Batas metrik kustom

Azure Monitor memberlakukan batas penggunaan untuk metrik kustom yang dapat memengaruhi kemampuan Anda untuk memancarkan metrik dari API Management. Misalnya, Azure Monitor saat ini menetapkan batas 10 kunci dimensi per metrik, dan batas 50.000 total rangkaian waktu aktif per wilayah dalam langganan (dalam periode 12 jam).

Batas ini memiliki implikasi berikut untuk mengonfigurasi metrik kustom dalam kebijakan API Management seperti emit-metric atau azure-openai-emit-token-metric:

  • Anda dapat mengonfigurasi maksimum 10 dimensi kustom per kebijakan.

  • Jumlah rangkaian waktu aktif yang dihasilkan oleh kebijakan dalam periode 12 jam adalah produk dari jumlah nilai unik dari setiap dimensi yang dikonfigurasi selama periode tersebut. Misalnya, jika tiga dimensi kustom dikonfigurasi dalam kebijakan, dan setiap dimensi memiliki 10 nilai yang mungkin dalam periode tersebut, kebijakan akan berkontribusi 1.000 (10 x 10 x 10) rangkaian waktu aktif.

  • Jika Anda mengonfigurasi kebijakan dalam beberapa instans API Management yang berada di wilayah yang sama dalam langganan, semua instans dapat berkontribusi pada batas rangkaian waktu aktif regional.

Pelajari selengkapnya tentang batasan dan pertimbangan desain untuk metrik kustom di Azure Monitor.

Prasyarat

  • Satu atau beberapa API LLM harus ditambahkan ke instans API Management Anda.
  • Instans API Management Anda harus terintegrasi dengan Application insights. Untuk informasi selengkapnya, lihat Cara mengintegrasikan Azure API Management dengan Azure Application Insights.
  • Aktifkan pengelogan Application Insights untuk API LLM Anda.
  • Aktifkan metrik kustom dengan dimensi di Application Insights. Untuk informasi selengkapnya, lihat Memancarkan metrik kustom.

Pernyataan kebijakan

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Atribut

Atribut Deskripsi Wajib diisi Nilai default
namespace String . Namespace metrik. Ekspresi kebijakan tidak diizinkan. No API Management

Elemen

Elemen Deskripsi Wajib diisi
dimensi Tambahkan satu atau beberapa elemen ini untuk setiap dimensi yang disertakan dalam metrik. Ya

atribut dimensi

Atribut Deskripsi Wajib diisi Nilai default
nama String atau ekspresi kebijakan. Nama dimensi. Ya T/A
value String atau ekspresi kebijakan. Nilai dimensi. Hanya dapat dihilangkan jika name cocok dengan salah satu dimensi default. Jika demikian, nilai disediakan berdasarkan nama dimensi. No T/A

Nama dimensi default yang dapat digunakan tanpa nilai

  • ID API
  • ID Operasi
  • ID Produk
  • Id Pengguna
  • ID Langganan
  • Lokasi
  • ID Gateway

Penggunaan

Catatan penggunaan

  • Kebijakan ini dapat digunakan beberapa kali per definisi kebijakan.
  • Anda dapat mengonfigurasi paling banyak 10 dimensi kustom untuk kebijakan ini.
  • Jika tersedia, nilai di bagian penggunaan respons dari LLM API digunakan untuk menentukan metrik token.
  • Titik akhir LLM tertentu mendukung streaming respons. Ketika stream diatur ke true dalam permintaan API untuk mengaktifkan streaming, metrik token diperkirakan.

Contoh

Contoh berikut mengirimkan metrik jumlah token LLM ke Application Insights bersama dengan ID API sebagai dimensi kustom.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Konten terkait

Untuk informasi selengkapnya tentang bekerja dengan kebijakan, lihat: