Összefoglalás

  • 4 perc

Ebben a modulban bemutattuk, hogyan használhatja az Azure OpenAI-t az Azure API Managementtel együtt. A szolgáltatások kombinálásával kezelheti és biztonságossá teheti az AI-modellekhez való hozzáférést.

Először bemutattuk a terheléselosztás problémáját, valamint azt, hogy az Azure API Management hogyan segítheti a forgalom kezelését és a terhelés egyenletes elosztását a háttérrendszerek között. Az áramkör-megszakítókat is megvizsgáltuk, és hogyan segíthetnek a forgalom irányításában a nem megfelelő háttérrendszerektől.

A következőkben bemutattuk a jogkivonatalapú sebességkorlátozást, és azt, hogy hogyan szabályozhatja az API-khoz való hozzáférést. Fontos tanulság volt a túlzott fogyasztás és az úgynevezett "zajos szomszédok" elkerülése a jogkivonat-használat korlátainak beállításával.

Végül bemutattuk, hogyan monitorozhatja és elemezheti a tokenhasználati mintákat az Azure OpenAI-kibocsátó tokenmetrikaszabályzatával. Átfogó metrikák biztosításával optimalizálhatja az erőforrások lefoglalását, javíthatja a döntéshozatalt és javíthatja a teljesítményfigyelést.

Következő lépések

Az alábbiakban javasolt következő lépéseket követjük: