Podsumowanie
W tym module omówiliśmy sposób korzystania z usługi Azure OpenAI razem z usługą Azure API Management. Łącząc te usługi, możesz zarządzać i zabezpieczać dostęp do modeli sztucznej inteligencji.
Najpierw omówiliśmy problem równoważenia obciążenia i sposób, w jaki usługa Azure API Management może pomóc w zarządzaniu ruchem i zapewnić równomierne rozłożenie obciążenia między zaplecza. Przyjrzeliśmy się również wyłącznikom i sposobom, w jaki mogą pomóc w kierowaniu ruchu z dala od zapleczy w złej kondycji.
Następnie omówiliśmy ograniczanie szybkości opartej na tokenach i sposób jej używania do kontrolowania dostępu do interfejsów API. Ważnym uczeniem było unikanie nadmiernego użycia i tak zwane "hałaśliwych sąsiadów", ustawiając limity użycia tokenów.
Na koniec omówiliśmy, jak można monitorować i analizować wzorce użycia tokenów przy użyciu zasad metryk tokenu emitowania usługi Azure OpenAI. Udostępniając kompleksowe metryki, można zoptymalizować alokację zasobów, poprawić podejmowanie decyzji i zwiększyć monitorowanie wydajności.
Następne kroki
Poniżej przedstawiono zalecane następne kroki:
- Przykład usługi APIM i azure OpenAI
- Tożsamość zarządzana w usłudze APIM
- Zasady limitu tokenów zasad -metryki tokenu
- Zaplecze usługi APIM
- Dokumentacja usługi Azure API Management
- Dokumentacja usługi Azure OpenAI
- Cennik usługi Azure API Management